RNN效率媲美Transformer,谷歌新架构两连发:同等规模强于Mamba
RNN效率媲美Transformer,谷歌新架构两连发:同等规模强于Mamba去年 12 月,新架构 Mamba 引爆了 AI 圈,向屹立不倒的 Transformer 发起了挑战。如今,谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。
搜索
去年 12 月,新架构 Mamba 引爆了 AI 圈,向屹立不倒的 Transformer 发起了挑战。如今,谷歌 DeepMind「Hawk 」和「Griffin 」的推出为 AI 圈提供了新的选择。
近期,清华大学和哈尔滨工业大学联合发布了一篇论文:把大模型压缩到 1.0073 个比特时,仍然能使其保持约 83% 的性能!
随着 Sora 的爆火,人们看到了 AI 视频生成的巨大潜力,对这一领域的关注度也越来越高。
北大团队联合兔展发起了一项Sora复现计划——Open Sora。
996作息表爆火后,许多人一定好奇在OpenAI工作究竟是怎样的感受。最近,多位匿名员工在求职网站Glassdoor纷纷对雇主打分评价,高薪却996。最经典的评价是:潜力巨大,但成长烦恼也是真实的。
苹果放弃了最为野心勃勃的项目之一——造车,并考虑将2000名员工转移到人工智能部门。有接近苹果的相关人士向虎嗅透露,此前就有Vision Pro和汽车项目组的人转岗至人工智能项目。
机器人,成为 AI 巨头最关注的下一个方向。
如果说 OpenAI 已经占据了今天闭源大模型生态的一极,那 Meta 无疑是代表开源大模型的另一极。
3月1日下午,由36C与36Kr联合举办的「GenAI超级路演」在杭州云栖小镇成功举办。
在目前的模型训练范式中,偏好数据的的获取与使用已经成为了不可或缺的一环。在训练中,偏好数据通常被用作对齐(alignment)时的训练优化目标,如基于人类或 AI 反馈的强化学习(RLHF/RLAIF)或者直接偏好优化(DPO),而在模型评估中,由于任务的复杂性且通常没有标准答案,则通常直接以人类标注者或高性能大模型(LLM-as-a-Judge)的偏好标注作为评判标准。