BERT研究进展—从传统架构到ModernBERT的演进(截至2025年初)
作为一名前ChatGPT时代的NLP算法工程师,可以毫不夸张的说,我的职业生涯都是靠BERT活下来的。在面对标注数据稀缺的场景,它的性能足够好,训练足够简单,结果足够可控,改起来也足够简单。ChatGPT出现之后,以GPT架构为基础的各种大模型层出不穷,BERT的声音似乎越来越小了。不过,ModernBERT的出现,让我又看到了世界上还是有那么一群人,依旧在发掘它的潜力和价值。
作为一名前ChatGPT时代的NLP算法工程师,可以毫不夸张的说,我的职业生涯都是靠BERT活下来的。在面对标注数据稀缺的场景,它的性能足够好,训练足够简单,结果足够可控,改起来也足够简单。ChatGPT出现之后,以GPT架构为基础的各种大模型层出不穷,BERT的声音似乎越来越小了。不过,ModernBERT的出现,让我又看到了世界上还是有那么一群人,依旧在发掘它的潜力和价值。
在国内使用Docker时,我们经常会遇到镜像下载速度慢,甚至无法下载的问题。虽然网上有很多Docker镜像源推荐,但是这些镜像源的可用性经常变化。今天,我要分享一个我写的Python脚本,它可以自动获取、测试并配置可用的Docker镜像源,让你告别手动配置的烦恼。
作为开发者,我们经常需要在新的Ubuntu系统上搭建开发环境。这个过程不仅繁琐,而且容易遗漏重要的配置步骤。本文将介绍一个自动化脚本,帮助你快速配置一个适合中国开发者使用的Ubuntu开发环境,包括系统语言、时区、包管理镜像源等常用配置。
这个脚本具有以下核心功能:
自从上周升级了PowerShell到7.5之后,便发现conda命令失效了,输入任何conda命令都出现报错
本周的总收听时长为1344 分钟,具体收听情况如下:
名称 | 播客名称 | 发布日期 | 时长 | 完整收听 | 播放日期 |
---|---|---|---|---|---|
E110 与张云帆聊《芒格之道》:对知识诚实,是你能给自己最好的礼物 | 知行小酒馆 | 2023年10月13日 20:00:00 | 01:26:32 | 是 | 2023年10月25日 21:03:52 |
E113 买完房秒进维权群,今年的上海楼市有多魔幻?(附 2023 科学买房指南) | 知行小酒馆 | 2023年11月03日 20:00:00 | 01:41:31 | 是 | 2023年11月07日 20:01:23 |
把冰箱用明白,拢共分几步?(上) | 津津有味 | 2023年10月09日 00:00:00 | 58:23 | 是 | 2023年10月10日 19:27:40 |
不叁不肆:我们做播客这些年的自我进化 | 津津乐道 | 2023年10月19日 00:49:00 | 01:29:44 | 是 | 2023年10月23日 23:55:00 |
我希望他们都能活着到急诊 | 津津乐道 | 2023年11月20日 00:00:00 | 01:24:52 | 是 | 2023年11月23日 09:21:29 |
47: VC的春秋大梦:和明浩聊聊基金和创业的困境 | 串台《屠龙之术》 | 晚点聊 LateTalk | 2023年10月09日 07:15:00 | 52:29 | 是 | 2023年10月12日 19:26:29 |
[S2E8 告别无效上班?劳动力管理让打工人实现多劳多得](https://justpodmedia.com/justpod/episode/S2E8 告别无效上班?劳动力管理让打工人实现多劳多得/) | 投资笔记 | 2023年11月07日 05:59:59 | 34:53 | 是 | 2023年11月08日 19:07:06 |
地铁运营十有九亏,为何港铁偏偏能赚钱? | 声动早咖啡 | 2023年10月09日 07:00:00 | 16:31 | 是 | 2023年10月09日 09:05:07 |
华为新车订单量超 5 万,PRADA 将为 NASA 设计登月宇航服 | 声动早咖啡 | 2023年10月10日 07:00:00 | 11:38 | 是 | 2023年10月10日 09:02:15 |
十五万人工会抗议劳资协议,美国三大车企为何同时停工? | 声动早咖啡 | 2023年10月11日 07:00:00 | 15:11 | 是 | 2023年10月11日 09:09:58 |
LVMH 营收增速下滑,荣耀重返印度手机市场 | 声动早咖啡 | 2023年10月12日 07:00:00 | 12:02 | 是 | 2023年10月12日 09:00:26 |
咖啡豆|「超市界天花板」之一的胖东来,为何坚持不走出河南? | 声动早咖啡 | 2023年10月13日 07:00:00 | 16:58 | 是 | 2023年10月13日 09:08:35 |
关店也挡不住利润猛增,换帅后的 Zara 如何做到强劲复苏? | 声动早咖啡 | 2023年10月16日 07:00:00 | 14:41 | 是 | 2023年10月16日 09:10:59 |
安踏收购国产瑜伽品牌,Netflix 将开设线下主题门店 | 声动早咖啡 | 2023年10月17日 07:00:00 | 10:58 | 是 | 2023年10月17日 09:02:01 |
又一头部鲜花电商凋零,网上「贩卖浪漫」为何如此艰难? | 声动早咖啡 | 2023年10月18日 07:00:00 | 17:28 | 是 | 2023年10月18日 09:11:15 |
平价永辉试水折扣店, 商超们为何纷纷走起「奥莱风」? | 声动早咖啡 | 2023年10月23日 07:00:00 | 18:29 | 是 | 2023年10月24日 08:20:02 |
《王者荣耀》蝉联手游收入冠军,谷歌因性别歧视向女高管赔偿百万美元 | 声动早咖啡 | 2023年10月24日 07:00:00 | 11:48 | 是 | 2023年10月25日 09:03:43 |
不只是职场社交:20 年历史的 LinkedIn 为何能重新增长? | 声动早咖啡 | 2023年10月25日 07:00:00 | 18:08 | 是 | 2023年10月25日 14:32:18 |
农夫山泉创始人蝉联首富,苹果月底将发布新款 Mac 电脑 | 声动早咖啡 | 2023年10月26日 07:00:00 | 11:56 | 是 | 2023年10月27日 18:56:39 |
咖啡豆|推着购物车买大牌,山姆和 Costco 有什么服装生意经? | 声动早咖啡 | 2023年10月27日 07:00:00 | 18:14 | 是 | 2023年10月27日 09:10:56 |
从五月天到 Taylor Swift,为什么明星爱把演唱会搬进电影院? | 声动早咖啡 | 2023年10月30日 07:00:00 | 16:52 | 是 | 2023年11月01日 19:10:45 |
ChatGPT 对手再获谷歌投资,OpenAI 组团队防范 AI 风险 | 声动早咖啡 | 2023年10月31日 07:00:00 | 10:32 | 是 | 2023年10月31日 09:09:29 |
从降糖到减重,司美格鲁肽热卖背后还有哪些影响? | 声动早咖啡 | 2023年11月01日 07:00:00 | 15:28 | 是 | 2023年11月01日 09:17:01 |
国内社媒推进前台实名,阿里云发布大模型开发平台「百炼」 | 声动早咖啡 | 2023年11月02日 07:00:00 | 11:20 | 是 | 2023年11月02日 09:26:31 |
咖啡豆|双十一战线越拉越长,平台商家为何都爱搞「预售」? | 声动早咖啡 | 2023年11月03日 07:00:00 | 15:45 | 是 | 2023年11月03日 09:05:13 |
卡戴珊创业 4 年估值 40 亿,服装品牌 Skims 还有哪些吸金秘诀? | 声动早咖啡 | 2023年11月06日 07:00:00 | 17:46 | 是 | 2023年11月06日 09:35:34 |
比亚迪计划到匈牙利建厂,雅诗兰黛利润暴跌 | 声动早咖啡 | 2023年11月07日 07:00:00 | 13:25 | 是 | 2023年11月07日 09:10:03 |
李宁营收下滑业绩掉队,曾经的「国货之光」为何陷入中年危机? | 声动早咖啡 | 2023年11月08日 07:00:00 | 17:42 | 是 | 2023年11月08日 09:15:05 |
任天堂将推出塞尔达真人电影,耐克起诉新百伦和斯凯奇 | 声动早咖啡 | 2023年11月09日 07:00:00 | 12:47 | 是 | 2023年11月09日 09:14:43 |
咖啡豆|从年入 10 亿到欠薪风波,「雪糕中的爱马仕」钟薛高缘何跌落? | 声动早咖啡 | 2023年11月10日 07:00:00 | 18:09 | 是 | 2023年11月10日 09:07:25 |
又土又潮的摇粒绒,如何能成为年轻人衣柜里的「平价貂」? | 声动早咖啡 | 2023年11月13日 07:00:00 | 18:18 | 是 | 2023年11月13日 19:02:12 |
Meta 与亚马逊打通社媒购物,《惊奇队长 2》创漫威最差记录 | 声动早咖啡 | 2023年11月14日 07:00:00 | 11:51 | 是 | 2023年11月14日 19:36:10 |
线上基因浓厚的盒马,为什么推出「线下专享折扣价」? | 声动早咖啡 | 2023年11月15日 07:00:00 | 15:36 | 是 | 2023年11月15日 09:12:25 |
字节收入增速超过 Meta,特朗普社媒亏损已超三千万 | 声动早咖啡 | 2023年11月16日 07:00:00 | 10:33 | 是 | 2023年11月16日 19:08:03 |
咖啡豆|比亚迪们扎堆「驶向」欧洲小国, 匈牙利为何成为新能源热土? | 声动早咖啡 | 2023年11月17日 07:00:00 | 16:38 | 是 | 2023年11月17日 09:08:14 |
OpenAI 董事会讨论恢复奥特曼职务,塞尔达真人电影改编难 | 声动早咖啡 | 2023年11月20日 07:00:00 | 17:24 | 是 | 2023年11月20日 09:15:53 |
微软 CEO 宣布奥特曼加入微软,Open AI 三天内迎来第三位 CEO | 声动早咖啡 | 2023年11月21日 07:00:00 | 10:42 | 是 | 2023年11月21日 09:03:04 |
OpenAI 超 9 成员工闹离职,Temu 选择和拼多多相反战略加速扩张 | 声动早咖啡 | 2023年11月22日 07:00:00 | 17:11 | 是 | 2023年11月22日 09:08:12 |
奥特曼重返 OpenAI,飞书发布 AI 最新产品「飞书智能伙伴」 | 声动早咖啡 | 2023年11月23日 07:00:00 | 11:56 | 是 | 2023年11月23日 09:11:18 |
咖啡豆|花式劝大人学外语,多邻国靠什么吸引上亿用户? | 声动早咖啡 | 2023年11月24日 07:00:00 | 14:57 | 是 | 2023年11月24日 09:16:40 |
Vol.131 恒大的债为什么越滚越大 | 商业就是这样 | 2023年10月12日 07:00:00 | 36:29 | 是 | 2023年10月13日 19:10:29 |
Vol.132 2023“金字招牌”特辑:东方不BUY | 商业就是这样 | 2023年10月19日 07:00:00 | 37:32 | 是 | 2023年10月19日 19:20:06 |
S5 Vol.33 高维学堂刘军:创业是一门科学 | 创业内幕 Startup Insider | 2023年11月17日 06:00:00 | 46:27 | 是 | 2023年11月23日 20:06:47 |
INDIGO TALK / 从现场视角看 OpenAI DevDay - EP08 | INDIGO TALK | 2023年11月10日 05:50:03 | 01:04:24 | 是 | 2023年11月12日 00:22:47 |
123. 谁在背后操纵你的美丽? | 贝望录 | 2023年10月11日 08:00:00 | 01:03:39 | 否 | 2023年10月27日 20:59:01 |
E70|携隐:MBTI 不同人格的工作指南 | 组织进化论 | 2023年11月08日 06:00:00 | 01:30:15 | 否 | 2023年11月09日 09:27:41 |
EP35 构建AI产品必听:关于LLM那些必须知道的事 | 硬地骇客 | 2023年11月14日 06:00:00 | 01:01:28 | 否 | 2023年11月26日 12:55:38 |
对谈黄钊:产品经理进军AI行业指南,详解求职策略! | 深入聊聊 | 2023年10月19日 12:09:11 | 47:03 | 否 | 2023年10月19日 19:51:31 |
编码人声:从黑白电视到《孤注一掷》,聊聊冰山下的高清技术 | 津津乐道 | 2023年11月09日 00:16:35 | 01:03:07 | 否 | 2023年11月09日 09:17:14 |
编码人声:几千块钱换来的 OpenAI 新功能体验报告 | 津津乐道 | 2023年11月13日 00:09:04 | 39:49 | 否 | 2023年11月15日 11:11:10 |
S2E8丨对话清华大学欧智坚:大模型的野望与教育的边界 | 泰度Voice | 2023年10月13日 16:54:59 | 44:05 | 否 | 2023年10月17日 09:14:51 |
49: 3nm 是谎言?光刻工厂真能造芯片?与汪波聊芯片行业那些流传的误解 | 晚点聊 LateTalk | 2023年10月26日 07:15:00 | 01:02:50 | 否 | 2023年10月27日 20:09:20 |
Vol.06 和Momo聊聊CVC与当下的一级市场 | 屠龙之术 | 2023年10月27日 14:13:22 | 01:09:55 | 否 | 2023年11月01日 19:29:39 |
095.当两个INFP一起冲动创业:与其等待35岁被裁,不如给自己打工 | 宇宙尽头小酒馆 | 2023年10月19日 07:00:00 | 01:12:57 | 否 | 2023年10月19日 19:51:40 |
096.大厂HR坦白局:找工作像谈恋爱?职业规划是伪命题吗? | 宇宙尽头小酒馆 | 2023年11月02日 11:01:32 | 01:12:26 | 否 | 2023年11月04日 08:58:38 |
#273 被迫的幕后英雄:我们该如何讲述「女性知识分子」的故事? | 声东击西 | 2023年10月19日 07:00:00 | 54:19 | 否 | 2023年10月25日 21:05:55 |
[S7E32 | 硬核对话:当音乐和播客,遇上生成式 AI](http://www.shengfm.cn//20220189) | What’s Next|科技早知道 | 2023年10月18日 07:00:00 | 47:46 | 否 |
arXiv Publication Patterns | Data Skeptic | 2023年10月24日 01:20:00 | 28:23 | 否 | 2023年10月25日 21:21:23 |
Charlie Munger | Acquired | 2023年10月30日 09:49:26 | 01:06:45 | 否 | 2023年11月09日 11:42:17 |
NVIDIA CEO Jensen Huang | Acquired | 2023年10月16日 11:09:44 | 01:29:47 | 否 | 2023年11月10日 16:33:50 |
本周的总收听时长为821 分钟,具体收听情况如下:
名称 | 播客名称 | 发布日期 | 时长 | 完整收听 | 播放日期 |
---|---|---|---|---|---|
E113 买完房秒进维权群,今年的上海楼市有多魔幻?(附 2023 科学买房指南) | 知行小酒馆 | 2023年11月03日 20:00:00 | 01:41:31 | 是 | 2023年11月07日 20:01:23 |
我希望他们都能活着到急诊 | 津津乐道 | 2023年11月20日 00:00:00 | 01:24:52 | 是 | 2023年11月23日 09:21:29 |
[S2E8 告别无效上班?劳动力管理让打工人实现多劳多得](https://justpodmedia.com/justpod/episode/S2E8 告别无效上班?劳动力管理让打工人实现多劳多得/) | 投资笔记 | 2023年11月07日 05:59:59 | 34:53 | 是 | 2023年11月08日 19:07:06 |
平价永辉试水折扣店, 商超们为何纷纷走起「奥莱风」? | 声动早咖啡 | 2023年10月23日 07:00:00 | 18:29 | 是 | 2023年10月24日 08:20:02 |
《王者荣耀》蝉联手游收入冠军,谷歌因性别歧视向女高管赔偿百万美元 | 声动早咖啡 | 2023年10月24日 07:00:00 | 11:48 | 是 | 2023年10月25日 09:03:43 |
不只是职场社交:20 年历史的 LinkedIn 为何能重新增长? | 声动早咖啡 | 2023年10月25日 07:00:00 | 18:08 | 是 | 2023年10月25日 14:32:18 |
农夫山泉创始人蝉联首富,苹果月底将发布新款 Mac 电脑 | 声动早咖啡 | 2023年10月26日 07:00:00 | 11:56 | 是 | 2023年10月27日 18:56:39 |
咖啡豆|推着购物车买大牌,山姆和 Costco 有什么服装生意经? | 声动早咖啡 | 2023年10月27日 07:00:00 | 18:14 | 是 | 2023年10月27日 09:10:56 |
从五月天到 Taylor Swift,为什么明星爱把演唱会搬进电影院? | 声动早咖啡 | 2023年10月30日 07:00:00 | 16:52 | 是 | 2023年11月01日 19:10:45 |
ChatGPT 对手再获谷歌投资,OpenAI 组团队防范 AI 风险 | 声动早咖啡 | 2023年10月31日 07:00:00 | 10:32 | 是 | 2023年10月31日 09:09:29 |
从降糖到减重,司美格鲁肽热卖背后还有哪些影响? | 声动早咖啡 | 2023年11月01日 07:00:00 | 15:28 | 是 | 2023年11月01日 09:17:01 |
国内社媒推进前台实名,阿里云发布大模型开发平台「百炼」 | 声动早咖啡 | 2023年11月02日 07:00:00 | 11:20 | 是 | 2023年11月02日 09:26:31 |
咖啡豆|双十一战线越拉越长,平台商家为何都爱搞「预售」? | 声动早咖啡 | 2023年11月03日 07:00:00 | 15:45 | 是 | 2023年11月03日 09:05:13 |
卡戴珊创业 4 年估值 40 亿,服装品牌 Skims 还有哪些吸金秘诀? | 声动早咖啡 | 2023年11月06日 07:00:00 | 17:46 | 是 | 2023年11月06日 09:35:34 |
比亚迪计划到匈牙利建厂,雅诗兰黛利润暴跌 | 声动早咖啡 | 2023年11月07日 07:00:00 | 13:25 | 是 | 2023年11月07日 09:10:03 |
李宁营收下滑业绩掉队,曾经的「国货之光」为何陷入中年危机? | 声动早咖啡 | 2023年11月08日 07:00:00 | 17:42 | 是 | 2023年11月08日 09:15:05 |
任天堂将推出塞尔达真人电影,耐克起诉新百伦和斯凯奇 | 声动早咖啡 | 2023年11月09日 07:00:00 | 12:47 | 是 | 2023年11月09日 09:14:43 |
咖啡豆|从年入 10 亿到欠薪风波,「雪糕中的爱马仕」钟薛高缘何跌落? | 声动早咖啡 | 2023年11月10日 07:00:00 | 18:09 | 是 | 2023年11月10日 09:07:25 |
又土又潮的摇粒绒,如何能成为年轻人衣柜里的「平价貂」? | 声动早咖啡 | 2023年11月13日 07:00:00 | 18:18 | 是 | 2023年11月13日 19:02:12 |
Meta 与亚马逊打通社媒购物,《惊奇队长 2》创漫威最差记录 | 声动早咖啡 | 2023年11月14日 07:00:00 | 11:51 | 是 | 2023年11月14日 19:36:10 |
线上基因浓厚的盒马,为什么推出「线下专享折扣价」? | 声动早咖啡 | 2023年11月15日 07:00:00 | 15:36 | 是 | 2023年11月15日 09:12:25 |
字节收入增速超过 Meta,特朗普社媒亏损已超三千万 | 声动早咖啡 | 2023年11月16日 07:00:00 | 10:33 | 是 | 2023年11月16日 19:08:03 |
咖啡豆|比亚迪们扎堆「驶向」欧洲小国, 匈牙利为何成为新能源热土? | 声动早咖啡 | 2023年11月17日 07:00:00 | 16:38 | 是 | 2023年11月17日 09:08:14 |
OpenAI 董事会讨论恢复奥特曼职务,塞尔达真人电影改编难 | 声动早咖啡 | 2023年11月20日 07:00:00 | 17:24 | 是 | 2023年11月20日 09:15:53 |
微软 CEO 宣布奥特曼加入微软,Open AI 三天内迎来第三位 CEO | 声动早咖啡 | 2023年11月21日 07:00:00 | 10:42 | 是 | 2023年11月21日 09:03:04 |
OpenAI 超 9 成员工闹离职,Temu 选择和拼多多相反战略加速扩张 | 声动早咖啡 | 2023年11月22日 07:00:00 | 17:11 | 是 | 2023年11月22日 09:08:12 |
奥特曼重返 OpenAI,飞书发布 AI 最新产品「飞书智能伙伴」 | 声动早咖啡 | 2023年11月23日 07:00:00 | 11:56 | 是 | 2023年11月23日 09:11:18 |
咖啡豆|花式劝大人学外语,多邻国靠什么吸引上亿用户? | 声动早咖啡 | 2023年11月24日 07:00:00 | 14:57 | 是 | 2023年11月24日 09:16:40 |
S5 Vol.33 高维学堂刘军:创业是一门科学 | 创业内幕 Startup Insider | 2023年11月17日 06:00:00 | 46:27 | 是 | 2023年11月23日 20:06:47 |
INDIGO TALK / 从现场视角看 OpenAI DevDay - EP08 | INDIGO TALK | 2023年11月10日 05:50:03 | 01:04:24 | 是 | 2023年11月12日 00:22:47 |
E70|携隐:MBTI 不同人格的工作指南 | 组织进化论 | 2023年11月08日 06:00:00 | 01:30:15 | 否 | 2023年11月09日 09:27:41 |
编码人声:从黑白电视到《孤注一掷》,聊聊冰山下的高清技术 | 津津乐道 | 2023年11月09日 00:16:35 | 01:03:07 | 否 | 2023年11月09日 09:17:14 |
编码人声:几千块钱换来的 OpenAI 新功能体验报告 | 津津乐道 | 2023年11月13日 00:09:04 | 39:49 | 否 | 2023年11月15日 11:11:10 |
49: 3nm 是谎言?光刻工厂真能造芯片?与汪波聊芯片行业那些流传的误解 | 晚点聊 LateTalk | 2023年10月26日 07:15:00 | 01:02:50 | 否 | 2023年10月27日 20:09:20 |
Vol.06 和Momo聊聊CVC与当下的一级市场 | 屠龙之术 | 2023年10月27日 14:13:22 | 01:09:55 | 否 | 2023年11月01日 19:29:39 |
096.大厂HR坦白局:找工作像谈恋爱?职业规划是伪命题吗? | 宇宙尽头小酒馆 | 2023年11月02日 11:01:32 | 01:12:26 | 否 | 2023年11月04日 08:58:38 |
arXiv Publication Patterns | Data Skeptic | 2023年10月24日 01:20:00 | 28:23 | 否 | 2023年10月25日 21:21:23 |
Charlie Munger | Acquired | 2023年10月30日 09:49:26 | 01:06:45 | 否 | 2023年11月09日 11:42:17 |