# 热门搜索 #
大模型
人工智能
openai
融资
chatGPT
“从硅谷到伦敦，这次大厂押对了吗？”
据雷峰网独家获悉，一位 Google Gemini 的预训练专家，于近期已加入国内某互联网大厂。
该研究员在 Google 的职级或是 L7- L8，接近总监级别，长期在英国工作，入职后主要从事预训练相关工作，也经常往返国内出差。
一位知情人士看来，这可能是国内大厂这一轮争抢 Gemini 人才以来，第一次真正“找对了人”。
上述人士告诉雷峰网，此前多家大厂均从 Gemini 引入过人才，但部分人选并未触及核心。
他们之中，或只参与预/后训练边缘环节，或是只从事管理工作，职责却并不覆盖预训练最为核心的内容。
去年底，国内基模团队对海外 AI 人才的关注，明显向“预训练”靠拢。
一位业内人士告诉雷峰网，以前国内大模型的主线是追赶规模——堆算力、堆数据；但堆数字的做法很快就碰到了 Scaling law 的天花板，性能提升变得愈发困难。
而真正拉开差距的，是预训练阶段的技术路线选择、数据分布策略以及一二阶优化器的应用方法。
每一个策略上的微小失误，都会在时间和算力资源上造成巨大浪费。譬如，各大厂及Kimi、智谱等明星大模型公司，光在预训练优化器选型上，内部就有诸多分歧，各家的优化策略也截然不同。
而这类“提升”和“避坑”经验，很多并不写在论文里。比如，一种优化方法理论上有效，但放到真实的大模型训练中，究竟什么时候用、怎么调整，可能需要经历完整的训练过程才能知道。不同训练方案之间怎么取舍，也很少会被完整公开。
多位大厂基模专家曾向雷峰网提到，在大模型团队内部，类似的技术路线选择，往往会受到团队过往经验影响。他解释道，此前参与 Scaling 相关工作时，就曾接触过多种训练技术，但一些方法最终并没有被完整采用，原因并不只是“技术行不行”，还包括对稳定性、风险和实际收益的判断。
于是，能把模型训到前沿水平的海外实验室，成了国内公司挖猎人才的首选目标。
Gemini 是其中最典型的目标。部分公司人员认为，Gemini 的技术底子够厚、人才密度够高，而 Google 庞大的组织和频繁的调整，恰好留出了挖人的窗口。
当时一些公司的思路很直接：既然自己的预训练遇到了瓶颈，那就去找已经把前沿模型训练出来的人。
但在真正接触之后，他们才发现，能掌握 Gemini 核心预训练的人少之又少。
一开始，不少人的第一反应是去 Google 的硅谷大本营找。
毕竟 Google 的核心 AI 业务长期与美国科技产业中心紧密相连，OpenAI、Anthropic、Meta 等公司的核心团队也主要集中在美国。
但实际情况有点特殊，硅谷的 AI 预训练研究员告诉雷峰网，Google 有意把最核心的预训练人才留在 Deepmind 英国办公室，与硅谷的高曝光区隔开，以降低被“挖墙角”的风险。
再看国内。从今年7月入职腾讯的田永龙，到此前加入字节的吴永辉、乔思远，再到阿里的周浩等等，越来越多有 DeepMind 或 Gemini 背景的人，开始进入中国大厂。
外界看来，这样的履历足够有分量。但 Gemini 员工向雷峰网坦言，很多科学家都来自硅谷办公室，而非英国，因此并没有真正掌握 Gemini 预训练的核心方法，所以各家公司只能在预训练上摸着石头过河。
这也让一些国内公司意识到：如果目标是寻找掌握关键方法的 DeepMind 预训练人才，不能只盯着硅谷，天高皇帝远的英国办公室，才是藏龙卧虎之地。
而近期该互联网大厂的动作，从硅谷到伦敦，让高招目标正变得越来越具体。
文章来自于微信公众号 “雷峰网”，作者 “雷峰网”
