冥想、扩散与大模型的另一条路丨对谈西湖心辰创始人蓝振忠
冥想、扩散与大模型的另一条路丨对谈西湖心辰创始人蓝振忠蓝振忠的气质看上去像一名在读研究生,沉静,说话不疾不徐,他是卡耐基梅隆大学博士,计算机视觉出身,曾是谷歌的大模型专家,做出了 ALBERT。两个多小时的访谈里,他三次共享屏幕给我们看论文,讲到自己的技术判断时,语气从来没有犹豫过。
搜索
蓝振忠的气质看上去像一名在读研究生,沉静,说话不疾不徐,他是卡耐基梅隆大学博士,计算机视觉出身,曾是谷歌的大模型专家,做出了 ALBERT。两个多小时的访谈里,他三次共享屏幕给我们看论文,讲到自己的技术判断时,语气从来没有犹豫过。
随着多模态大模型越来越强,OCR的短板反而逐渐明显。
一张高清照片中,远处的手提包是什么颜色?一页票据里,某项费用到底是多少?面对这些问题,多模态大模型常常需要先找到相关区域,再放大查看。但如果第一步就框错了位置,后面的推理也可能跟着出错。视觉思维链让模型能够边看边想、调用工具寻找证据。不过,许多方法仍然像生成句子一样,把边界框坐标逐个写成文本 token。连续的空间位置,为什么要通过离散文字来表达?
一颗梨在液体中快速旋转,周围的液体应该随之流动、飞溅;一个物体撞向水面,液体也应该产生与碰撞相对应的响应。
人类说一句「我不是狼」,多模态大模型既能看到表情,也能听见声音。但它真的知道这句话是真是假吗?
近期,Meta 的 Muse、OpenAI 的 Dot 等产品相继推出,让 Personal Agent(个人智能体)再次成为大模型领域的关注焦点。相比传统的对话助手,这类 Agent 不再局限于回答问题,而是能够结合用户的个人背景、历史记忆与应用上下文,主动执行任务并持续推进长期目标。一个更具主动性、能够长期陪伴用户的 AI 助手,正在逐渐成为现实。
大模型训练已经跑到万卡集群规模,显存始终是那道隐形的门槛。
用全国产算力训练的底座,破局智能语音不可能三角。
在秦浩桐看来,AI 越强,值得研究的问题就越多。AI 聊天模型刚出现时,人们拿它聊天、解答困惑。后来发现它能写代码、处理任务,又开始希望它多做一点,最好能替自己把事情办完。模型的能力在长,人们的要求也在长。原来还没有人想到的用途,一旦变得可能,马上就会暴露出一批新的难题。
大模型Agent正在从简单问答,快速走向搜索、代码生成、网页操作和多轮工具调用。