蒸馏被妖魔化了,但过度的蒸馏也有代价
蒸馏被妖魔化了,但过度的蒸馏也有代价“蒸馏”一词再次成为舆论的关注焦点。这一次,站在聚光灯下的不是多次指控国产模型蒸馏的强硬派Anthropic,而是久未公开露面的张一鸣。张一鸣在最近的字节全员会上罕见发话:字节宁愿忍受模型的落后,也不希望依赖蒸馏实现短时的智能爬坡。
搜索
“蒸馏”一词再次成为舆论的关注焦点。这一次,站在聚光灯下的不是多次指控国产模型蒸馏的强硬派Anthropic,而是久未公开露面的张一鸣。张一鸣在最近的字节全员会上罕见发话:字节宁愿忍受模型的落后,也不希望依赖蒸馏实现短时的智能爬坡。
今天,英国《金融时报》援引知情人士报道,字节跳动正在训练一个参数量高达10万亿的AI模型。而这一数字,在昨日晚间的晚点LatePost独家报道中还是“超5万亿”。即使是5万亿,这一模型的规模也已经超过目前中国已发布的最大模型Kimi K3,接近Anthropic的Fable 5;如果是10万亿,那字节的新模型规模将超越约有8万亿参数的Mythos 5。
新智元报道 这个 8 月,AI 视频赛道的军备竞赛又升级了。 字节跳动发布 Seedance 2.5,把单次视频生成时长从 15 秒翻倍到 30 秒。同一天 MiniMax H3 开源,价格只要闭源旗
据 The Information报道,创始人张一鸣在上个月的一场内部会议上向员工明确表达了这一立场,也让外界难得一窥他对字节跳动AI发展路线的思考。外媒披露,在Seed团队内部,关于公司是否应该转向蒸馏技术的争论由来已久。今年,国内竞争对手开源模型的快速发展给字节跳动带来了更大的压力。员工们称,每当有一个强大的中国开源新模型发布,字节跳动内部关于蒸馏的争论就会升温。
在AI应用生成这个赛道上,选手已经排到了两位数。腾讯有吐司,百度有秒哒,字节有Trae,阿里自家就有Qoder,现在又冒出来一个「袋马」。
7 月 30 日早上,字节用一封邮件为一场长达十年的商业实验作出了解答:飞书与豆包产品团队合并,统一交由豆包负责人赵祺管理,谢欣改向赵祺汇报。飞书的市场与销售团队,则与火山引擎整合。
就在刚刚,字节跳动正式发布了自研视频模型Seedance 2.5,而我们熟悉的「即梦AI」作为模型的官方体验入口也第一时间妥妥接入。贴心的我呢,也直接帮友友们把这次新模型最夯夯夯夯的能力都扒好了,咱先一睹为快——
词元无限的创业赛道很明确,ToB Coding。做 Coding 是因为创始人杨萍之前在字节内部的 Coding 项目经历,一个好的 Coding 产品+内部的数据,就能很好在字节内部落地,真正解决问题。
字节跳动下发内部邮件,完成了近年来力度最大的一次 ToB 业务架构调整:飞书产品团队与豆包产品团队整合,成立新的豆包产品团队,由豆包负责人赵祺统筹,飞书负责人谢欣向其汇报;飞书商业化团队则与火山引擎整合,成立新的 ToB GTM 组织「创造力服务平台」,由火山引擎负责人谭待负责。
让AI在真实社会中自由生长、进化。