谢赛宁世界模型：世界模型为何比语言模型更接近真实智能@语言即世界language is world

独家对话谢赛宁：逃出硅谷！

这篇访谈想表达什么

这篇访谈的核心不是单纯介绍一家新 AI 公司，而是在呈现一条与硅谷主流 LLM 路线不同的 AI 思想路线。

谢赛宁和杨立昆想做的 AMI Labs，被访谈称为一种“反向的 OpenAI”：不是把互联网文本下载下来训练大语言模型，再推向市场，而是从真实世界的问题、真实世界的数据和真实世界的合作伙伴出发，训练能够理解和预测物理世界的世界模型。

文章反复强调，LLM 很重要，但它不是智能的全部。语言是交流工具，也可能成为“鸦片”或“拐杖”；如果 AI 过度依赖语言，就可能忽视视觉、动作、连续信号、物理理解和真实世界交互。

访谈的另一条线索是“人”。谢赛宁谈到杨立昆、何恺明、李飞飞、侯晓迪等人，也谈到研究者的悲凉、创业的玄学决定、纽约街头的生活感，以及人与人之间真诚交流的重要性。

因此，这篇文章真正想表达的是：下一阶段 AI 的关键，可能不只是更大的语言模型，而是能理解世界、预测世界、与真实世界互动的模型；同时，真正推动这种研究前进的，也仍然是具体的人、信念、勇气和真诚连接。

作者：张小珺

手握10亿美金，在全球四地组建办公室的AMI Labs，却没有选择AI重镇——硅谷。

2026年3月，图灵奖得主杨立昆（Yann LeCun）和青年华人学者谢赛宁等，踏上了一条关于“世界模型”的创业旅程。他们创立的AMI Labs（Advanced Machine Intelligence Labs），目前仅25人、在没有任何产品的情况下，完成10.3亿美元Seed轮融资，投前估值35亿美元。

这是2026年新创的AI Neo Labs中备受瞩目的一家，创造了欧洲历史最大Seed轮。从统计看，它的第一笔融资在Neo Labs中位居世界第二，仅次于前OpenAI CTO Mira Murati创立的Thinking Machines Lab（20亿美元Seed轮融资）。

Neo Labs是近年兴起的一个新概念，专指由顶级AI研究者创立、以基础模型或新一代智能体系为目标、融资规模巨大、研究导向很强的一类新型AI实验室式公司。

“Silicon Valley is very LLM-pilled。”AMI联合创始人兼首席科学官谢赛宁说道，“硅谷已经深陷于LLM（大语言模型），完全被它催眠了。”

近年来，杨立昆活得像“一名斗士”。他发表过众多“反LLM”的著名言论：“LLM本质只是token生成器”，“如果你的目标是实现人类级智能，就不应该在LLM上下功夫”——可以说，他的AI世界观与当下硅谷的主流价值体系冲突。

“他们在硅谷有太多的‘仇人’。”一位硅谷人士评论说。

2026年春节，在中国机器人登上春晚的喜乐时分，纽约刚下过一场暴雪——这是近几年以来纽约最凛冽的一个冬天。在布鲁克林一栋略显凌乱的楼房，我与谢赛宁开始了这场对话。

这位出生于1990年的华人科学家，毕业于上海交通大学与加利福尼亚大学圣地亚哥分校，现于纽约大学任教。创业之前，他曾在Google DeepMind担任研究科学家。更早之前，他在Meta的FAIR实验室担任研究科学家4年。他的论文总计引用数近10万次，曾共同提出Diffusion Transformers（DiT）。

这是谢赛宁第一次接受访谈。2026年2月雪后的一天，我们从下午2点，开启了一场始料未及的马拉松式访谈，直到凌晨时分散去。

在黑暗浸透的霓虹纽约街头，空气中弥漫着没化完冰雪与难闻烟雾的混合味道。就像谢赛宁的表达，总是带着多重的混合感。

在人工智能的思想上，他不乏尖锐言论：“我完全不觉得LLM是Bitter Lesson（专指Richard Sutton提出的《苦涩的教训》）的成功展示，某种程度上，LLM是反Bitter Lesson的”；“语言模型的Scaling Law里面是有水分的”；“语言是‘毒药’，或者说，是一剂‘鸦片’”；“我非常担心语言对视觉的污染，事实上，它已经发生了”。

但他又不厌其烦地，枚举了影响他学术生涯的每一个人，并反反复复口头描摹这些人的人物特征。这里面有：写《交大生存手册》的侯晓迪，初来乍到美国还不会用Linux的何恺明，活得像65岁青春期少年的杨立昆，捱过许多艰难时刻、以勇气与坚持让AI看见世界的李飞飞，等等。

这场对话涵盖了过去15年间，他对于AI技术变革兼塑造这些变革背后的人的完整游历。很多次我们的话题早就转移了，他坚持要绕回来，把人物素描完成——也许是因为，他人生最初的梦想是成为一名导演，尽管这个梦想很快就破灭了，却以一种新的形式延续下去。但正是这些，让这篇“反OpenAI”、“反硅谷”、“反霸权”的对话，又充斥着人性的温度。

他说，在这个世界上，“只有人与人之间真诚的交流是重要的，也许其他都不重要”。完整的播客视频将于Bilibili、小红书、视频号等全视频平台播出；播客将于小宇宙、苹果Podcast等全音频平台播出。以下是我对谢赛宁访谈的节选。（为了方便阅读，作者做了文本优化）

谢赛宁为什么选择世界模型

01｜“硅谷被催眠了”

张小珺：如果Yann LeCun不从Meta离职，你会创业吗？

谢赛宁：我觉得我可能也会，但会纠结一段时间。

张小珺：你会自己做CEO？

谢赛宁：我不知道。如果这么决定的话也是另外一个玄学决定，但至少我现在不知道。

现在在公司里，我们讨论的问题exactly是我一直想做的。这有一点不谋而合：我们想要build这样一个“反向的OpenAI”。

“正向的OpenAI”，是说我现在有互联网作为数据的发源地，把数据download下来，create a GPT model using Transformers。

我们现在有一个智能，这个东西你们可以叫它AGI（通用人工智能）——但by the way，我非常反对这个词，我觉得AGI是一个完完全全的伪命题。

但我们现在有了这样一个模型，有了这样一个intelligence，我想要把这个东西push to market（推向市场）。不管是To C或To B的application（应用）都没问题。

什么是“反向的OpenAI”？是说要训练这个model本身，数据没办法直接从互联网下载下来，我们没有shortcut（捷径）可走。我们需要走一条更加艰辛的路，而这条路，注定无法独行。

The world needs World Models. World Models need the world.（世界需要世界模型，世界模型需要世界）。

这有点“草根联盟”的感觉，你知道吗？就是这些在AI浪潮面前有点FOMO（害怕错过）情绪、有具体问题要解决、有大量真实世界数据的公司，大家可以一起携手，通过某种合作伙伴的方式共建这样一个模型，形成这样一个闭环。

我们先建立一个初始的世界模型。大家用它解决问题、创造价值并获得回报，同时产生更多数据，这些数据再反过来用于训练和优化世界模型。

张小珺：你们从第一天就在全球有四个办公室，分布在不同国家，这很不常见，为什么要这么设置？

谢赛宁：因为Yann有他的名望在这，他作为一个真正正正的“世界人”，他有一个非常neutral的face，一个中立的面孔和角色。

他是一个美国人，但他也是一个法国人。我们总部又不在硅谷，能吸引很多这样潜在的partner（合作伙伴），遍布全球。

我们有四个offices（办公室），总部设在巴黎，但也会有纽约、蒙特利尔、新加坡四个研发中心。目的是，怎样在全球范围把这样一个联盟打造出来？让大家一起在research的道路上往前走。

这件事儿我还有一个有趣的故事。美国大家用信用卡有Visa，还有Mastercard（万事达卡）。你知道这个Mastercard是怎么来的吗？

张小珺：是不是“反Visa”？

谢赛宁：Exactly。

但这个story还蛮有趣的，是我的一个很好的朋友和mentor（导师）告诉我的。

Visa一开始是BOA（Bank of America，美国银行）这个银行创立推出的（1958年，美国第一个消费者信用卡计划），在此之前没有公司推行过这种模式。BOA创立了Visa信用卡，推向市场，赚得盆满钵满。它还藏着掖着，不告诉别人，别人问了就说我们是赔钱生意，一点都不赚钱。直到过了一两年藏不住了，因为财务上你已经能看出来了。

其他人就慌了，说这个怎么办？你现在已经把市场给dominated（主导）了。我们每一个小的银行，体量又打不过BOA；单独发一张信用卡，又抢占不过市场，怎么办呢？

他们就说，不如我们把所有local bank（地方银行）组织起来，变成一个联盟，我们一起推出一张信用卡，叫Mastercard（万事达卡）。

这是为什么万事达卡可以成功反击Visa，或者至少能跟Visa分庭抗礼。我并不是说，我们公司真的要走这样的模式，但我觉得在某种意义上，会有相似之处。

这也是为什么World Model是挺不一样的narrative（叙事）。这个叙事的逻辑它更加decentralized（去中心化），更加分布式，也天然的……怎么讲？——Resist（抵制）某种垄断和霸权。

这是我们开放性的来源，我们能更open-minded（开放心态）去讨论这些合作，不管是跟学术界还是跟industry partner（工业界合作伙伴）。因为这件事是research exploration（研究探索）的一部分。

当然我们不是说所有的研发都会开源，AMI是一个严肃的创业公司，但相比于其他AI公司，我们可能会做得很不一样。

我们在寻找一种平衡。它既不是一个纯粹的research lab（研究实验室），也不是一个现在完全封闭的大模型公司。这种平衡也在于，我个人也在寻找一种平衡：我既不是一个非常senior、功成名就的大教授；也不是一个十八九岁的年轻人，可以卷着铺盖跑到深圳工厂扎下来，去做数据采集。我都不是。

张小珺：你们选择了四个地方做办公室，但没有硅谷。你们是刻意不选择在硅谷创业吗？

谢赛宁：对。我觉得，Silicon Valley is very LLM-pilled，已经深陷于LLM（大语言模型），完全被它催眠了。

但这件事情不会持续很久。

被催眠的人总有醒来的一刻。那时候我们完全不排除去硅谷设立公司。

谢赛宁认为世界模式是什么

02｜在LLM之外，有一个隐形的世界

张小珺：随着你要开始做世界模型，你也同时做了一个重要决定，就是你创业了。这跟你之前的research生涯有很大不同。这个选择是怎么发生的？

谢赛宁：这个选择也是一个玄学选择。

但确实因为之前很多在湾区认识的朋友，有一些对我帮助很大的mentor。大家有投资人的身份，有创业者的身份。他们就说：赛宁，你应该也尝试去创业。在学校里面，有很大的困境。

张小珺：缺算力。

谢赛宁：对。但并不是说学校一无是处，学校是一个很好的平台，让我有足够空间去找到我想要做的事情。

我突然觉得，现在是一个时间点，似乎我想要探索的东西探索到了一定的地步。再往后，有可能会陷入“中等paper陷阱”，有点像“中等收入陷阱”。

你会发一些不错的论文，但由于resource（资源）限制，导致你没办法真的把idea变成新的breakthrough（突破）。

我有一个mentor问我，大概是2025年中，秋天的时候。他说，诶，你去问一问Yann LeCun，他好像最近在Meta待得不是很顺心。

那个时候Meta还没有这么动荡，还没有Alexander Wang（Meta首席AI官）、FAIR（Meta的人工智能研究院）的layoff（裁员）。没有这么多动荡的事情。

我的第一直觉是，这个怎么可能？Yann，对吧？——至少在那个时候我会觉得，他还是一个godfather of AI（AI教父），也是一个纯粹的researcher，怎么可能拉他一起创业呢？

结果，我们有了这个对话之后的第二周周一，我跟Yann刚好有一个1-on-1 meeting（一对一会议）。

还没等我说什么，Yann就跟我说：“赛宁，你先不要告诉别人，但我已经决定了。我现在想要做的事情，我觉得应该在外面做，我想要去创业开一个公司。”

我就问他，你想做什么事情，背后的business model（商业模式）是什么？——就发现：哇，这跟我想象的事情完全一致啊。

在我们想做的这件事儿上，在现在世界上任何一个国家的公司，都做不了。包括在湾区也做不了。这个事情是什么？你可以叫它“世界模型”公司。这个公司需要有一定的research深度。它并不是，我们现在立刻要launch（上线）一个产品，把它部署出去并开始获取收入。

它需要有很强的research倾向性，但又不是在纯粹学术的setting（设定）下运作。它不是过去的FAIR，也不是NYU (纽约大学)。但另一方面，它也不是处在一个完全封闭的状态下的硅谷大厂和Neo Labs。

张小珺：封闭，是什么意思？

谢赛宁：封闭是说，你不能开源，不能发表论文，即使公司发blog（博客）也不能署名。

我在GDM（Google DeepMind），整个GenAI org（部门）只有我一个人脚踩两只船，有double affiliation（双重职位身份），在公司兼职，还在学校做研究。大家对学术界、对纯粹探索性的research是有点抵触的——这是湾区现在的一个状态。

抵触的意思是：第一大家瞧不上学术界在做的工作，不觉得学术界做的东西能真的产生怎么样的影响；

第二，他们因为也不publish（发表），导致你也不知道他们在干嘛，即使在这些大厂，有research（研究）的部门，也有偏product（产品）的部门，但即使同一个公司两个部门之间也有很大隔阂。

核心模型训练的部门，必须在highly competitive（高度竞争）的赛道上，卷到最前面。这是他们唯一的目标。

张小珺：这是一场“军备竞赛”。

谢赛宁：这件事就会压榨你的research的空间，会抽走这个环境给你充分freedom（自由）去做research的氧气。

张小珺：你没有想过（全职）加入任何一个现有的lab吗？你没办法忍受没有氧气的感受？

谢赛宁：是。当初确实有一些机会，但我想了想之后，觉得如果你真的想要做完全前沿的探索，你想要去定义问题的话，还得在一个自己的startup（初创公司）里才能实现。

首先我不认为有任何其他的startup或者大公司，能focus在我们想要做的事情上——building the predictive brain（构建预测型大脑），在最foundation layer（基础层），或者说最upstream layer（最上游层）做一些探索。

现在整个AI行业有一个巨大的value chain（价值链）。在这个价值链条最上层，有Bitter Lesson（苦涩的教训）、AGI（通用人工智能）、LLM这样的叙事。这些叙事定义了一系列的benchmark（基准测试）—— 然后正因为你要打榜，基准测试定义了resource allocation（资源配置）。如果我的目标是在榜单上得到第一名，那我只能投入最多资源，使得我能处在这个位置上去竞争。

资源分配决定了，这件事儿已经跟researcher觉得什么是对、什么是错，有一点脱离了。

虽然有些很强的researcher知道，我们可能需要做一些新的research；但在这种价值链条下，resource allocation决定了，他们却不能做这一部分的research。

比如，我们知道视频理解非常重要，但现在不管学术界也好，工业界也好，做得并不多。或者大家会尝试做这件事儿，但没有fundamentally（根本性地）从World Model角度去思考、解决这个问题。

很有意思的现象是，不是没有人愿意做，也不是没有人有能力做——但这些researcher，不管在哪一个公司，无一例外被发配给了做视频生成模型的video captioning（视频标注）的团队。因为这是唯一一个，可以间接参与到这个价值链条的职位。

虽然这些researcher都知道这件事儿（视频理解）没有解决，我们需要一个更好的World Model based Video Understanding Model（基于世界模型的视频理解模型），并且这可能是一个真正训练出通用World Model的前置条件，但大家没有空间做这样的探索。

在这样的有限游戏下，在这样强竞争的环境下，每个公司都似乎失去了定义问题的能力。

你看之前，OpenAI具备这样的能力，很多问题是他们定义的。包括GPT、CLIP。他们从成立第一天起，作为一个research unit（研究单位）有自己探索的过程。

张小珺：但现在research已经变成了一个商业问题、产品问题，你必须竞争，不竞争怎么办呢？

谢赛宁：那当然是逃出来。

我们来一起创造一个更好的、更researcher-friendly（对研究员友好）的组织。

张小珺：所以你们要逃离硅谷的叙事。

谢赛宁：这是双向的选择。会互相diss（批判）一下。

张小珺：算是硅谷的避难所吗？

谢赛宁：啊，不能叫做避难所，哈哈哈。但确实是一个不一样的地方。

不一样的点在于，我们有从OpenAI、DeepMind、xAI，从各个地方过来的小伙伴，大家不是为了要赚多少钱，也不是为了要 IPO上市。大家心里面非常纯净，就是想做research（研究）。大家觉得，时机到了，我们有机会通过research影响接下来AI的进程。

现在大家的心态，也因为行业变化发生了一些微妙变化。我觉得大家有点过于走到一个极端。就是，我们要lower everybody’s ego（降低每个人的自我），everybody is part of the team（每个人都是团队的一部分）。但事实上，正在发生的是，大家确实变成了团队的一员，但同时也变成了这个巨大machine（机器）中的一个可以被轻易替换的螺丝钉。

我完全同意researcher有太强的ego，这不利于团队协作。但我还是希望能给予年轻人足够的visibility（可见度）——这能让他们有自己的人物弧光，让他们变成很有名气的leading researcher（顶尖研究者）。但现在这样的人才培养的上升通道正在收紧。

我们希望这种mission-driven（使命导向）的年轻人加入公司。我们不太希望把一些已经很established（权威、成名）的、像superhero（超级英雄）一样的researcher聚在一起，期待他们产生某种化学反应——我不太相信这件事。

张小珺：LeCun见你那次，他跟你说了什么？

谢赛宁：这可能不是他的原话，更像是我理解的他对我说的事情。

世界模型是真实世界需要的智能。

在硅谷之外，在LLM叙事之外，有一个隐形的世界。这个世界里有很多人，大家想要解决这个物理世界里的很多问题。他们可能是一个农场，可能是一家医院，但他们拿着LLM不能直接解决这些问题。LLM能解决一部分问题，但有很多涉及真实世界的physical understanding（物理理解）的问题，LLM是解决不了的。

大家都很焦虑，害怕AI的浪潮要来了，我是不是连上牌桌的机会都没有？这一部分隐形的世界，在硅谷的叙事逻辑下不可见，但是是一个很大的市场。

世界模型也需要这个世界。

原因包括两部分。第一部分是“定义问题的能力”。我希望问题会从生活来，从人真实的需求中来，从工业生产的需求中来。这之于OpenAI或者硅谷的叙事也是隐形的。

其次，涉及到你刚说的数据问题。虽然我们第一步可以从互联网拿到数据，可以去训练模型，但最终还是要去真实世界“淘金”。这些数据也是“隐形”的，大家不会把这些数据传到YouTube。

YouTube上的数据还是，跟人类价值观或跟人类for entertainment（娱乐向）的需求非常对齐的数据分布。

我们还只是在讨论这个视觉的数据，但这个世界里有大量非视觉，在continous domain, high dimensional, possibly noisy（连续空间，高维度，可能有噪音的）信号。这些数据，现在对于训练世界模型来说，至关重要。

所以世界模型不只是一个vision model（视觉模型）。这些数据现在是不可见的，我们需要从一些地方获得它们。

这是我跟Yann聊的一些high level（高层面的）感受。

张小珺：现在的frontier lab（前沿实验室）竞争这么激烈，是因为LLM的范式是相对确定性的了。他们在争一个商业的输和赢。听上去，你们不想在这个范式下竞争了，想去找下一个范式。

谢赛宁：是这样。虽然是《商业访谈录》，但我先要说，我真的不懂商业。我没有做过startup（初创公司）——没有成功过，也没有失败过。

这件事既让我感到焦虑，又让我有种无知者无畏的冲劲。

张小珺：我会有一个疑惑，LeCun本身就是一个research背景的人，他创业为什么又找一个researcher，也就是你？

谢赛宁：Research是这个公司的focus，这个公司最后最重要的产品是一个research breakthrough（研究突破）。

我们刚才提到的所有的一切，涉及数据，涉及问题定义，涉及产业合作伙伴。这些所有事情的逻辑，都建立在in research we can make another breakthrough（我们研究过程中的新突破）。

下一个新的AI革命，你可以叫它“世界模型的革命”，或者whatever you want to call it（随你怎么称呼它）。

它跟LLM fundamentally（从根本上）不一样，它至少是一个Transformer或者ChatGPT level的事情。

这是我们的梦想，落到实处要一步一步走。

我们公司不只找researcher，比如还有我们的CEO（Alex LeBrun，连续创业者）。我是这个公司的co-founder and chief science officer（联合创始人兼首席科学官）——我非常喜欢这个title，我希望我自己的定位还是在science。

我不是一个好的CEO，至少现在不是。

张小珺：在很多人眼中，LeCun都是一名斗士；在你眼中的LeCun是一个怎样的人？

谢赛宁：他真的是一个“斜杠青年”，或者挺文艺的一个人。按一个朋友的说法，Yann是一个16岁青春期一直延续到65岁的这样一个人。

他经常就很骄傲地跟大家说他有四大爱好：第一个爱好是造模型飞机；第二个爱好是拍天文摄影；第三个兴趣是搞电子乐和Jazz（爵士乐）——他的网页是宝藏，他会讲说在纽约有哪些Jazz Club比较好；他还有一个爱好是帆船。

我们要做World Model，我希望大船的舵手是一个有格局、热爱生活的人。

我们3月有另外一篇paper叫《Solaris》。这是一个科幻小说，后来被塔可夫斯基改编成一个电影。我们之所以取这个名字，是因为我们在做一个多角色视觉生成的模型。电影讲的事情是说，有一片海洋可以读取人的潜意识里的记忆，最后把一些东西具象化生成出来。

有一天跟Yann说，我们这个paper叫这个名字怎么样？我想看他知不知道这个电影。

他说：“你知道这是一个电影的名字吗？”我说：“对，我就是因为这个取得名字。”他问我说：“你看的是哪一部？是1972年的一部，还是2002年的一部？”“是塔可夫斯基（Andrei Tarkovsky）拍的还是索德伯格（Steven Soderbergh）拍的？”

我说：“OK，我觉得我不光research上服你，在电影上好像你也比我懂得多。”这对我个人来说蛮重要的一种人格魅力的体现。

张小珺：从他第一次告诉你，你纠结了多久？

谢赛宁：我没有纠结很久，Yann说话有点像casting spells（施法），像哈利波特（Harry Potter）一样给你施一些咒语——他说完一些话，你就不会想其他的了。

03｜语言模型是predict next token，世界模型是predict next state

张小珺：既然你们要做的是世界模型，能不能定义一下什么是世界模型？

谢赛宁：世界模型（World Model）是，你现在给定一个系统或者一个环境的状态，这个环境状态可能是，你可以认为它是在当前时刻的一个状态，但世界模型也不一定只是做所谓的temporal prediction（时间上的预测）。但我们先不管这些，总之你现在有一个系统或者一个环境，你有一个状态，st 。

你有一个intervention（干预）或action（动作），比如说我们叫它at ，在当前时刻你对这个系统施加一个动作，你现在希望能够学到一个prediction function（预测函数）或者transition function（转移函数）f，使得它能够take你的action跟你当前的st这个state（状态），这个环境的state能够去predict下一个（时刻的）state。

这是最基础的通用世界模型的定义。

这个定义本身无比直接，甚至有点trivial（平庸的），因为它不是一个新概念。

其实1943年，有一个心理学家Kenneth Craik（肯尼斯·克雷克），他第一次提出了这个概念。他说人在脑子里有这样一个世界模型，这个世界模型能够告诉我们，当我们去做某一个动作的时候，接下来会发生什么样的后果。因为我们能够预测我们的动作带来的后果，所以世界模型能指导我们，到底应该去做什么样的动作和做什么样的决策。

这种基于prediction（预测）的结构也是过去Control Theory（控制理论）在六七十年代，科学家把探测器送到月球时所需要的控制系统的基础。

比如，一个经典的算法叫做Model Predictive Control（模型预测控制，简称MPC），这里面也涉及到一个model，这个model其实也就是某种World Model。这个算法非常简单：你讨论到底应该施加哪一个control signal（控制信号）给这个系统，使得它能够完成既定的任务。

我要做的事情是，在当前时刻通过我的模型去rollout，去滚动输出接下来的sampled action, the actions sequence（采样动作、动作序列）。然后通过这个动作序列用我的这个model去得到下一个时刻，或者每一个step（步长）上的一个state (rollout trajectory)。最后我也会有一个某种cost function，一个代价函数，告诉我执行了这个动作序列之后，我离最后的这个目标距离到底有多远。

这个算法就是不断地去sample（采样）你的action sequence（动作序列），然后跳回到第一步，找到这个cost最低的action sequence，执行它的第一步，然后重复迭代。在每一次你都要做一个决策，这个决策的来源都基于你对未来的预测。

这是在model predictive control里面，大家怎么去用World Model。

再到后面，比如在model-based RL（基于模型的强化学习）里面，Reinforcement Learning（强化学习）里面，大家也意识到World Model是非常重要的。

这里面有一个经典的论文是Dyna（一种强化学习架构），这个paper是Richard Sutton（强化学习之父，著有《苦涩的教训》）写的。

Richard Sutton讲了一个很有趣的观点或者framework（框架）。他讲人的智能体系可能分两种，一种叫reactive policy（反应式策略），一种叫某种更智能化的model-based policy（基于模型的策略）。这件事的类比是所谓system one, system two（系统1与系统2），正像human cognition（人类认知）也有所谓的thinking fast, thinking slow（快思考与慢思考）的概念。

对于很难的问题，我们可能需要更多的mental cycle（脑力周期）去学习这些问题。但对于一些问题，比如开车，刚学的时候紧张得不得了，需要做很多决策；当你真正会了开车，你就会把这些决策内化成肌肉记忆的一部分，变成了reactive policy（反应式策略）。

Richard Sutton在Dyna的paper里说，Reinforcement Learning是一个非常primitive（原始的）、基础的、没有世界模型的learning algorithm（学习算法）。

所以其实Richard Sutton自己有点反pure Reinforcement Learning（纯强化学习）。

他讲，一个更好的系统，是如果你有一个足够强的世界模型，你可以基于当前的state去预测下一个state，那你就有了所谓的planning（规划）的能力。

Planning就是做计划的能力，它在某种意义上跟reasoning（推理）也是同样的概念。Reasoning现在在LLM很火，但事实上我们需要的这种planning，以及这种planning对于decision making（决策）的意义，很早在Control Theory和Reinforcement Learning里面大家都在讨论。

从这个角度，World Model的实质是怎么样去刻画一个系统和一个环境，使得你能够在这个系统里做预测，并且这个预测能指导你的action sequence以及你自己的决策。

张小珺：也就是说，大语言模型是predict next token（预测下一个字符），世界模型是predict next action（预测下一个动作）？

谢赛宁：是基于your action, predict next state。

那个state应该是可以描述一个系统的所有状态的一个信息来源。这涉及到一个很有趣的事情，就是这件事情跟表征的关系到底是啥。

我们为什么说state是一个环境信息的一个充分统计量？它保留了对未来预测和决策所需的关键信息，同时忽略与任务无关的细节。学习这样的 state 表示，本质上就是representation learning的问题。

假设我们现在的物理世界，比如我们这个屋子，这是一个环境。那刻画这个环境的state是什么？如果你不追求这种所谓的最小信息，或者minimal description length（最小描述长度），那它可以是把整个space全都重建起来，精细地去刻画系统里的所有参数，包括桌子上的纹理、声波、桌子的质量、话筒的各种physical parameters（物理参数）。

但我们不会这样去刻画系统。因为很多信息对于决策来说不重要。

如果一个智能体活在这的目的是聊天，那我只需要知道一些基本事实就够了，比如话筒能在桌子上放着，我不会去关心每一点的光照，也不会关心桌上每一个细节的纹理。这些不重要。所以这个state可以包含enough（足够）的信息，这取决于你要解决什么样的任务。

怎么样去构建这样的一个state？这件事情其实跟表征学习是直接相连的。

我们要有一个层次化的表征（hierarchical representation），目的就是能够去慢慢develop出来这种一层又一层迭代上去、越来越抽象、越来越对decision making越有价值的representation。它不用精细到每一点，而且我们也做不到精细到每一点。

比如，我们要造一个飞机，我们要建模这个飞机的动力学系统。我们当然可以从一个最low level的角度出发，去model每一个分子的碰撞。但这当然不会work。这是a totally stupid way（一个愚蠢的方式）。

我们做的是在统计的意义上去学习这个问题，所以才有了流体力学，才有了所谓的Navier-Stokes方程（纳维-斯托克斯方程）。

状态建模方式变得越来越抽象，但能够刻画的世界也越来越广阔。

04｜LLM是反Bitter Lesson的

张小珺：语言正是人类的一种抽象。

谢赛宁：语言是某种已经封装好的抽象知识结构。它是高度凝练的，是一个人类社会已经形成、存在的抽象。

张小珺：你们现在要构建一个在语言之外，新的抽象？

谢赛宁：它一定是一个latent representation（潜在表征）。人可以通过侧面的方式了解到你到底学了什么样的representation（表征），或者哪些representation是有意义的。它不是一个完全的黑盒子，但它也不是一个受限于语言的句法跟逻辑的东西。

这就是为什么我说：LLM完全不够Bitter Lesson。

（Bitter Lesson：苦涩的教训，是由Richard Sutton提出的AI发展理念，用来总结几十年来人工智能历史中的一个核心规律：苦涩的是，人类自以为聪明的领域知识经常被“更简单、更通用、依赖大规模计算的算法”超越。）

我完全不觉得LLM是一个Bitter Lesson的成功展示——某种程度上，LLM是反Bitter Lesson的。

Bitter Lesson说的是，你应该尽可能减少human knowledge（人类知识），把人类的傲慢、“聪明才智”以及这些clever的structure（精巧的结构）尽可能减少，尽可能多用search（搜索）跟learning（学习）的方式去找寻答案。

语言就是这样一种人类极其聪明的产物，它有精巧的设计。

当然语言有它自己很强的能力，也一定会在未来的智能体系里面占据重要地位。

张小珺：但是，语言不可或缺的一点是，可以借由语言形成CoT（思维链）。

谢赛宁：但CoT也是一个阶段性的产物。我觉得LLM的所有一切构造都是阶段性的产物。最近有一些研究也在慢慢发现，CoT可能只是某种文本技巧，推理步骤可能是“事后编造”（unfaithful explanations），有些错误CoT仍然得到正确答案，提升效果可能来自生成过程变长等等。

LLM这件事情存在structral (结构性的) 安全性和可控性的问题，因为它没有一个真正的世界模型。甚至我们把LLM当做一个世界模型在用，但它是一个fundamentally flawed（本质上有缺陷）的世界模型。

现在的controllability（可控）或者safety（安全）完全是通过fine-tuning（微调）和强化学习的方式来实现的，你需要喂给它大量的数据，让他知道什么话能说，什么话不能说。这叫做Alignment（对齐）。

但真正的世界模型你不需要这样做，因为你可以预测你的action（动作）会lead to what consequence（导致什么结果），你就可以在inference time（推理阶段）的过程中去尽量避免这样的行为。

比如，一个机器人拿着一把刀在切菜，怎么样保证它不会向后一转把你砍了呢？对于Language Model的思路来说，唯一的方式就是通过喂给它大量数据。但世界模型不一定需要，因为你能够去预知这个结果。

张小珺：你好几次提到“表征”、，也表达了你的整个研究路线图是围绕着“作为表征的世界”展开的，能不能给大家解释一下什么是“表征学习”？

（关于谢赛宁围绕着“作为表征的世界”展开的研究路线，请看视频播客，此处省略10万字=。=）

谢赛宁：我很喜欢说我是一个“做表征学习的人”，但这件事情还蛮难定义的。

从数学来讲，你可以认为表征学习是：你有一个数据x ，现在要把它map（映射）到一个space（空间）里去。这个空间会具有一些好的性质，让你在downstream task（下游任务）上更容易取得好结果。所以，你要学习的从初始数据到具有良好性质的空间的映射函数，就是所谓的“表征学习”。这个函数不只是简单的映射，它可能是一个层级化的映射。

现在主流的实现方式是用一个非线性的Neural Network（神经网络）来实现这个函数。

我愿意说自己是做表征学习的人，因为representation是一个永恒的、最fundamental的主题，也是一个还没有被完全解决的主题。

张小珺：这些表征最终，可以统一成统一的表征吗？

谢赛宁：还是要scaling。语言模型的Scaling Law是因为它是一个lossless compression（无损压缩）的过程，所谓压缩即智能。

这个是说，模型变大能让结果变好，不是因为它死记硬背，而是更大的模型就是一个更强的模型，所以它能有一个更高的压缩率，也带来了某种泛化能力。我想我同意这个观点。

但我想后撤一步，语言模型的Scaling Law里面是有“水分”的，因为它并不需要真正通过理解世界的方式去回答问题。Benchmark（基准测试）要求它能retrieve（检索）出来factual knowledge（事实性知识），所以“知识压缩”和“世界理解”混合在了一起。

世界模型会有非常不一样的Scaling Law。它的模型不需要记住世界里的所有细微细节，它不需要通过解薛定谔方程的方式去判断苹果是不是落下来，它不需要人类最高级的智商。它需要通过理解能力去filter and organize information（过滤和组织信息）。

这跟人越来越像。

拆解：为什么谢赛宁说LLM不是Bitter Lesson的完整胜利

人的感官输入带宽可能达到10亿bits per second（比特每秒），但说话、做事的带宽只有10到100bits per second。大脑把高带宽信息转化成低带宽的行为模式，这就是World Model本身，它过滤大量的无用信息。

张小珺：你怎么看待大语言模型与世界模型的关系？

谢赛宁：我觉得LLM是智能体中至关重要的一部分，但它不是全部。

比如处理视觉问题，我们坐在这里，头稍微扭5度、10度，就会生成几百帧。如果按LLM的方式，你要tokenize每一个frame（帧），把它拉平串成一个非常冗余的序列，这完全不make sense（合理）。

Transformer的inductive bias（建模偏置）是，它得要pay equal attention to every single token（对每一个字符赋予相等的注意力)，这代表语言模型的modeling technique（建模技术）不能够解决对这种连续空间信号的认知问题。虽然线性注意力、稀疏注意力这些方法能缓解一些问题，但和人类可以处理的那种连续、几乎无限带宽的感知输入相比，现在的模型在能力和效率上还是差得非常远。

我们要build的世界模型，需要具备如下特征：它能够understand physical world（理解物理世界），要有足够大的associative memory（联想记忆），能够reason（推理）、能够plan（规划），能够做counterfactual（对未发生可能性的推演）或者causal的inference（因果推理）。最后一点是，它得足够的controllable and safe（可控与安全）。

张小珺：所以，世界模型和大语言模型不是衍生关系，是替代关系？

谢赛宁：也不叫替代关系。之前没有大语言模型的时候，我们压根谈不了什么世界模型。

LLM让你具备了一定对真实世界的认知能力，但它又是fundamentally flawed（有本质缺陷），因为语言带给你的东西实在是太少了。

语言本质上是一个communication tool（交流工具），除非你说梦话，大部分时候你用语言是带着intention（目的）的。

所以，LLM更像是一个search engine的延伸。

但是，世界模型是大脑在background（背后）做了很多工作的。Language只是一个communication tool，你永远带着目的。

张小珺：语言除了是沟通工具，也是一个可以推理的工具。

谢赛宁：对，但只是symbolic level（符号层面）的推理。

张小珺：所以你们想构建一个，像人类的大脑一样的世界模型？

谢赛宁：不只是人吧，我们要看看各种各样动物的智能到底是怎样发生的。

回到刚才的逻辑，没有大语言模型的时候，我们压根谈不了什么世界模型。

语言模型虽然有本质缺陷，但是行为上已经表现出一些World Model的特征了，虽然它没有action，虽然它通过CoT和MPC式的工具调用做到的reasoning和planning，与真正世界模型所要求的机制还是有比较大的差别。

往前发展，最近的视觉生成模型，已经让事情变得有些不同了，它比Language Model往前推了一步。

虽然现在这些系统也要依赖Language Model去做prompt rewriting（提示词重写），做conditioning（条件输入），但原来Language Model是建模的主体，现在它变成了视频生成模型的前期脚手架。

原来你建模的是 p(y)，现在变成在建模 p(x)或者p(x∣y)。当你训练生成模型时，本质上是在给各种可能出现的现象分配概率，也就是判断在这个世界上哪些东西更可能存在。比如模型需要理解，为什么四条腿的猫在现实中比三条腿的猫更常见。换句话说，你已经开始直接对原始数据（像素）本身进行建模了。

但再推演一步，像素本身也不够Bitter Lesson，像素是人为定义的格子。

真正Bitter Lesson是说，我不需要给人看；它给你的系统看，给你的世界看。给人看不是World Model的核心，而是接口。

世界模型是一个目的。

总有一天，我们会有一个更好的世界模型，语言模型会在此之上变得更强。理解和生成是一体的，它都需要一个真正的World Model作为基础。

张小珺：那么，这样的世界模型怎么做训练？大语言模型能够训练是因为，海量的互联网文本就在那里，这是人类文明的现成数据。世界模型的训练，我都不知道从哪里下手。

谢赛宁：这是一个biggest bet（最大的赌注）——以前是download internet的时代，现在是download human的时代（以前是下载互联网的时代，现在是下载人类的时代）。

我们要把人类下载下来。

一个4岁小孩看过的视频，量级比所有训练语言大模型的token还要大。视频是全村的希望。第一步可以从互联网数据开始，YouTube上的数据量等于30分钟的YouTube upload（上传量）就够了，虽然需要考虑terms of service（服务协议）的问题。

世界模型的出口很多，短期内有两个。

一个是AI glasses（智能眼镜）。一个真的personal assistant（个人智能助理）需要一个World Model。它得是一个always-on的device（永远在线的设备）。

就像现在Whoop，Oura类似的可穿戴设备一样，一直在监控你的体征。它会进行一个智能决策告诉你是不是under too much stress（压力过大）。

其实这些设备还蛮世界模型的，虽然目前它们获取的信息太少，只有我们的心率、血氧等。如果眼镜能always on，看到我们所能看到的一切，它能指导运动员的动作，或者给养老院的老人提供智能健康建议，这是现有基于LLM的多模态做不到的。

另一个出口当然是Robotics（机器人）。机器人面临的问题是本质上还是“大脑”不够。

机器人是一个很好的downstream application（下游应用），任何上游的演进它都能从中受益。比如LLM出来了就有VLA（视觉-语言-动作模型），视频生成模型出来了就有了所谓的WAM（世界-动作模型），但已有的预训练范式，都没办法真正解决问题。

我不是很喜欢世界模型这个词。听起来有点hype（炒作）。它变成了一个口袋一样的称呼。

但我还蛮同意一位教授说的：他喜欢World Model是因为，它告诉大家我做的是world（世界）模型，而不是word（单词）模型。

世界模型是所有人会抵达的终点。

05｜我拒绝了Ilya两次

张小珺：2018年你也曾经面试过OpenAI，如果你当初去了OpenAI，现在你是不是也成为了LLM大军的一员？

谢赛宁：Maybe，我不知道会发生什么。从那个时间点开始，像量子力学一样发生了一些变化。

我面试OpenAI的经历还蛮酷的——在一个小黑屋里关了五六个小时做一道题目，出来的时候天都黑了。John Schulman（OpenAI联合创始人之一、现Thinking Mashine Labs首席科学家）当初的面试题是一张A4纸，是铅笔手写的一行面试题。这件事对我触动很大。

最后虽然拿到了offer，但没有去OpenAI。

张小珺：你为什么没去？

谢赛宁：那时候想都没想，就想去FAIR。因为何恺明、Piotr Dollar、Ross Girshick在那里，他们是当初计算机视觉的“三驾马车”。

他们（当时）不是那种很senior的大学教授，而是最顶尖的中青年研究员。他们在那里，做的就是最顶尖的CV研究，对我来说没什么好选的。

当初还挺好玩的，Ilya Sutskever（OpenAI前首席科学家、现SSI创始人）给我打电话，我什么都没说就把 OpenAI 拒了。

我说：我不去，抱歉。

张小珺：他给你打电话说什么？

谢赛宁：他非常生气。

他问我：“你为什么不讨论一下就把offer拒了？是我们给的钱不够吗？”

张小珺：多少钱？

谢赛宁：记不太清了，现在看起来，其实非常低。一个顶尖的PhD学生在2018年能拿到的工资大概是40到50万美金左右，现在至少翻了三倍。

但anyway（无论如何），那个时候OpenAI的薪资其实没什么问题，所以Ilya很生气，我也只能搪塞两句。

张小珺：他生气的时候会说什么呢？

谢赛宁：只是语气非常严厉。

张小珺：他没有被拒绝过？

谢赛宁：我不觉得。在2018年，他应该经常被拒绝。

我一共就跟Ilya打过两次电话，这是第一次。

第二次是2024年7月的时候，他的SSI（安全超级智能公司）刚成立，他给我发邮件说，愿愿不愿意来一起工作。

张小珺：你又拒绝了他，这次为什么？

谢赛宁：这次是因为我刚在NYU开始我的工作。我跟他聊的时候，我们主要讨论的topic不是工资，主要讨论的是：怎么样给未来的人工智能给予“爱”的能力。

当然我最后问了他一句话，我说你对multimodal（多模态）这件事情怎么看？你对计算机视觉，或者对那种perception model（感知模型）怎么看？

Ilya的说法是，他觉得这件事已经解决得很不错了。所以我发现可能SSI有自己基于语言的这样一个路线，然后这条路线至少到现在为止，不是我想要去设计的东西。

张小珺：这是你们底层的分歧，到底是以LLM还是视觉为主要路线？

谢赛宁：我觉得之后可以细聊，但我并不觉得这是一个分歧。这是一个有机体，大家只是在不同的地方、不同的时间做不同的事情而已。没有必要拼个你死我活。

张小珺：关于怎么赋予人工智能“爱”的能力，你们有得出结论吗？

谢赛宁：结论就是这件事情很重要。为什么？因为如果没有的话，我们面临的是一个非常不确定、非常危险的未来。

张小珺：但是有“爱”的同时一定就有“恨”，它是一体两面。这个世界不可能只有爱。当它学会了“爱”的时候，它一定知道它的反面是什么。

谢赛宁：对，我完全同意你说的。这件事就上升到哲学命题了。

但我想反问一句：为什么大家对自己的孩子、对人会这么信任，而对AI这种新的智能实体会这么担心或者恐惧？我觉得这一点我没有答案。

但我觉得会有技术上的一些可以去把控的地方，可以通过技术的手段，让AI在未来变得更加可信，变得更加安全，变得更加controllable（可控制）。

这些也是为什么要做World Model的一部分原因。

语言模型对世界模型的污染

06｜语言是“鸦片”，我非常担心语言对视觉的污染

张小珺：ChatGPT诞生之前，CV（计算机视觉）在AI中占据很核心的位置；但这几年 LLM兴起，CV似乎退到一个边缘位置。

这个过程中，以你为代表的CV背景的研究者，会感到沮丧吗？

谢赛宁：我完全不沮丧。我要感谢LLM。没有LLM，Vision也没办法拓展到现在这种真正的多模态智能的大的scope（范畴）。

视觉的发展史可以画两根轴：在最early stage（早期阶段），CV要处理的是最单一、具体、简单的任务。比如MNIST（手写数字识别数据集）的数字识别，到后面像CIFAR（小型图像分类数据集）这种32×32像素上的十分类问题。再到后面ImageNet出现，变成了224×224的 classification（分类）问题。再往后有了Detection（目标检测）和Segmentation（图像分割）这种更结构化的认知过程。

这根轴继续往前推演，就到了Multimodal Learning（多模态学习）模型的兴起。因为多模态的介入，我们可以很容易放弃固化的task design（任务设计），语言作为一个很好的interface（界面），可以帮你解决很多问题。

这根轴是从简单task到复杂task的轴，也是语言开始慢慢介入CV的轴。

这里面有两个问题：第一，语言介入带给我们巨大好处，让我们可以自由定义问题并得到答案；

第二，风险在于，对语言的依赖变多了，导致很多多模态任务其实跟视觉没关系，纯粹是语言问题。从这个角度看，Vision好像变得边缘化。但我觉这是巨大机会。

虽然现在通过语言的统计信息能完成一些决策，但等到真的有一天，我们需要去deal with（处理）真实世界里的真实task去build某种真实的intelligence，现在这种不够完美的视觉表征就会是重大的缺陷。

Yann的说法是，现在大家只是拄着“语言模型”这根拐杖走路。你能走，但跑不起来，也没法参加奥运会，因为你“视觉表征”这条腿还不够好。

张小珺：为什么你的用词是“真实的intelligence”？LLM构建的为什么不是真实的intelligence？

谢赛宁：我觉得LLM是虚拟的intelligence。

张小珺：可是我们的智商不也是虚拟的吗？

谢赛宁：可能“虚拟”这个词不对。我定义的“真实”是说要跟真实的世界发生交互。

LLM解决的问题大部分在digital space（数字空间）发生。它能记忆factual knowledge（事实性知识），记住Wikipedia（维基百科）所有article（条目），做法律顾问或教育。

LLM当然是革命性的，但这跟vision as a perspective（从视觉视角出发）要解决的问题完全不在同一个market （市场）—— 我们要处理的是continuous space（连续空间）、high dimensional（高维度）、noisy（带噪声）的domain（领域）。

张小珺：比如，机器人领域？

谢赛宁：不只是机器人。这些信号很难被tokenized（标记化），它们脱离了virtual space（虚拟空间）。

这涉及到什么样的task呢？比如industrial process control（工业过程控制），涉及到所有的sensory modeling（传感器建模）信号。你有很多传感器感知世界，需要统一的算法去model（建模）这个环境。使得你在执行action（动作）或者intervention（干预）时，能预测系统接下来的变化。这是LLM很难做到的。

在我看来有两个极端：在左侧，一个极端是LLM擅长在数字空间里通过coding（代码）这样的 interface（接口）作为Agent介入物理生活，但它归根结底是基于离散的token的建模方式。

在右侧，是Robotics，且必须是真正的General-Purpose Robotics（通用机器人），它有自己的一套大脑和决策系统。

从数字空间里LLM一步步推演到真实空间里Robotics，才是视觉智能和多模态未来要解决的问题。我最想做到的事情是通过“不做机器人”的方式去解决机器人问题。

张小珺：通过“不做机器人”的方式去解决机器人问题?

谢赛宁：机器人进展太快了，春晚上的宇树机器人，令人瞠目结舌。但另一方面，还是要有人focus在预训练的部分，即所谓的“机器人大脑”到底是什么？

这个大脑包含了视觉系统。在控制和硬件部分，大家可以各自努力。

真机验证和迭代作为eval（评估方式）自然很重要，但我不需要过早介入硬件，软件层面和大脑构建上有fundamental research问题没有解决。

张小珺：你在之前提到，何恺明（计算机视觉顶级学者、ResNet之父）很早就提到模型要“大大大”，那么为什么LLM的Scaling law比CV要早那么多？

谢赛宁：CV现在还没有一个真正的Scaling law。

虽然Video diffusion（视频扩散模型）有一定的Scaling behavior（规模化表现），但借用形式化定义：C=6ND（Compute = 6 × 参数量 × token数），N和D的配比在CV中会非常不一样。

我的一个观点是：Language model其实不是一个自监督学习过程，它是一个strongly supervised learning（强监督学习）的过程。

逻辑是这样的：通常看你有没有外部annotation（标注）来决定是自监督还是强监督。但语言太特例了，它是人类几千年文明演化、process（处理）了世界一切后，以tokenize（标记化）方式存储下来的知识。我们恰好有互联网把这些知识都upload（上传）了。

对于研究者来说，这看起来是for free（免费）的，但免费不代表它没有label（标签）。这些知识的上传本身就是一个supervision construction（监督信号构建）的过程。

所以，语言模型始终停留在的target（目标）即Y Space（Y空间）。所有的机器学习都是X到Y的映射，Y通常是supervision（监督信息）。语言模型其实只在刻画Y Space。这不足以代表世界全部，很多东西无法通过语言刻画。

语言是一个communication tool（交流工具），不是思考工具，甚至不是decision making（决策）工具。

作为交流工具，它必须做trade off（取舍），牺牲掉很多东西。比如“杯子掉在地上碎了”，我们只在乎结果和状态，不在乎它怎么碎的、背后的dynamics（动力学规律）和物理定律。这是它的局限。

张小珺：做LLM的人，有时候会抱怨说，加入视觉以后可能影响智商。Kimi创始人杨植麟说，他不希望训出一个“傻的多模态”，希望训出一个“聪明的多模态”。

谢赛宁：是吗？我同意不该用一个“傻的多模态”。但如果不加入视觉，你一定会很傻。问题的根本在于到底怎么定义聪明和傻，以及怎么定义智能。

在过去几十年，AI总会撞到Moravec’s Paradox（莫拉维克悖论）：对机器简单的事情（如逻辑推理、棋类）对人很难；而对人简单的事情（如走路、视觉感知）对机器却极难。我们人没法背下这么多外语，但我们拥有极其复杂的视觉感知能力。

就像你刚说杨植麟可能不想让视觉来“污染”语言。但是，我也有自己的担心：

语言其实是一个“毒药”，或者说是一剂“鸦片”，你加多了语言总是会觉得更幸福的，它有用，但它是一个shortcut（捷径）。

如果你一直吸鸦片就废了；如果你一直拄着拐杖，你就没办法训练大腿的肌肉。

张小珺：这是你跟杨植麟观点之间的小对抗。

谢赛宁：我非常担心语言对于视觉的“污染”。这种污染已经在发生了。

07｜我们是在某种行业压迫下生存的公司

张小珺：关于世界模型，其实现在的定义没有收敛，你们定义的世界模型和李飞飞团队（World Labs）定义的世界模型，差异是什么？

谢赛宁：我刚阐述的都是在我们定义下的世界模型。

现在世界模型不好定义，是因为它不是一个技术路线，它是一个目的。不管你在做LLM还是Video Diffusion Model，所有人都在通往世界模型的道路上。在我们看来大家并没有直接竞争关系。

对于一个Video Diffusion Model（视频扩散模型）的公司，像Sora、字节的模型、Genie、Runway、Luma，他们这些生成派更聚焦在构建一个世界模型的模拟器上，所谓的World Simulator。他们的目标是渲染出足够好看的视频，追求生成的一致性。

李飞飞老师那边在World Labs里，更在意强3D的representation（表征），是“空间的代码”，是交流，协作和创造的interface（界面）。通过一个非常具象化的、explicit（显式）的3D的形式，这样才能够在空间里面去掌握空间智能，并且保证100%不会出错。对于一个generative world simulator（生成式世界模拟器）来说，因为context window（上下文窗口）的限制，这件事情是不能保证的。

我们想要做的事情更像是，要去打造这样一个predictive brain（预测大脑），核心还是怎么样去提升智能本身。

张小珺：你的意思是，World Labs的路线无法提升智能本身？

谢赛宁：当然是可能的，比如可以通过在创造的显示空间里面训练智能体，我们是两条非常互补的技术路线。

张小珺：有一个中国的投资人曾经跟我说过：所有“含着金汤匙”出身的创业都没有成功的，几乎没有。你怎么看？

谢赛宁：我不懂什么叫做“金汤匙”。

张小珺：一上来融特别贵的钱，融资金额巨大，创始人已经功成名就。

谢赛宁：我们没有含着“金汤匙”。就像我说的，我们完全是一个“草根联盟”的创业模式。

张小珺：LeCun怎么可能会是草根？

谢赛宁：Yann不是草根，但他现在在整个AI的行业，包括在投资人面前，很多时候是一半支持、一半反对的。

总归是，他不是众星捧月的那种英雄。

他是一个坚守自己、在永远尝试做下一件事情，但这件事情还没有完全做成的这么一个人对吧？我觉得这导致我们不是含着“金汤匙”。我们是一个underdog（不被看好者）。

我们其实是在某种行业的压迫下生存的这样一个公司。

张小珺：凡尔赛了…

谢赛宁：不是，没有凡尔赛。真的。

我们可能会有很多的融资，但比起LLM现在撬动的资源来看，差太远了。

张小珺：你们融资难吗？

谢赛宁：有Yann在这确实不难。但是还是要看后面我们到底能不能deliver（交付）我们的mission（使命），我们能不能把research breakthrough（研究突破）做出来。

但我非常enjoy（享受）这种underdog（不被看好者）的身份，尤其作为一个创业者。

做research（研究）也是一样，你们越不相信我，我越happy。

张小珺：你有感受到谁对你的不相信吗？

谢赛宁：很多投资人的feedback（反馈）——我们有很多人相信我们，也有很多人不相信我们。

在硅谷里面大部分人不相信我们。在世界其他地方大部分人相信我们。

但没关系，你们可以不相信我们，那我们就let’s see（走着瞧）。

这条路我现在已经all-in了，你跟不跟？

08｜自大的人类！

张小珺：你刚才说AGI是个伪命题，这个观点你能展开一下吗？

谢赛宁：AGI是伪命题，这也是我很认同Yann的一个观点。

他之前跟Demis（DeepMind 创始人）有一个辩论。他就在说到底什么是general intelligence，到底存不存在这件事。

他的逻辑也很数学，他说这个人有200万根视觉神经纤维，可以用来去model（建模）函数。

虽然理论上所有可能的视觉函数是2^2^200这么大，但人能够真正去process（处理）、能够看到的东西趋近于零。我们受到意识和神经bandwidth（带宽）的限制，看不到世界上发生的一切。所以人的智能是一个非常specialized（特定化）的智能，人只能认知到自己能看到的东西。

我后来补充了一个tweet（推文），提到一本书叫Are We Smart Enough to Know How Smart Animals Are?（《我们足以聪明到知道动物有多聪明吗？》）。看了之后，我觉得我们应该放弃人类的自大，智能演进是一个连续的过程，人不是独一无二的。

人会使用工具，动物也会。甚至我们引以为傲的自我意识，比如镜子实验，很多动物也能意识到镜子里的是自己。

张小珺：狗狗好像可以。

谢赛宁：很多动物可以。还有更加聪明的动物，比如黑猩猩。

德瓦尔还写过一本书叫《黑猩猩的政治》，讲四只黑猩猩如何进行权力博弈，很像《纸牌屋》，有拉帮结伙、有权谋上位。这些动物也有theory of mind（心智理论），它们有自己的 World Model。

比如一个实验：实验人员当着黑猩猩的面在两个盒子里分别放了香蕉和苹果，扣上盒子。把黑猩猩拉出去很长时间再带回来，如果它看到实验人员正在吃香蕉，它会径直去打开装苹果的盒子，理都不理原先装有香蕉的盒子。这说明它有某种心智推理能力。

虽然语言是人类独一无二的，但不代表其他动物不会交流。鲸鱼也有自己的语言。

张小珺：你们的World Model会先朝着哪一种生物的智能构建？

谢赛宁：目标当然是人类智能，因为这最能benefit（造福）这个世界。

我们希望build a World Model（构建一个世界模型）通向Human-like Intelligence（类人智能）。但我们确实应该放弃人类的自大。

最近我很受Richard Sutton的启发。大家说 LLM很厉害，能写code、拿IMO/IOI（国际数学/信息奥林匹克）金牌、上火星。Richard Sutton的回答是：如果你觉得这很难，那你就这么觉得吧，我不这么觉得。我觉得打造出一只松鼠的智能，才是真正难的问题。

一旦你能build松鼠的智能，让它在真实世界活下去，有自己的goal、有intrinsic reward（内在奖励）、知道饥饿、有emotion（情感）和社群活动，那么写代码、上月球这些事都是再容易不过的。

如果抛下人类的自大，打造松鼠的智能其实是一个更难的问题。人类的智能不只是语言模型，有很多智能不能通过语言本身所决定。

张小珺：说到这里，你对智能的定义是什么样？

谢赛宁：Richard Sutton是站在宇宙和造物主的视角。从那个角度看，重新造出一只松鼠，要比人类文明在5.3亿年进化史最后8秒创造的东西要伟大得多。

我不会给智能下一个定义，不同动物有不同的智能。我希望鼓励大家不要只关注那些个体很难做到的高级任务（如发论文、拿奥赛金牌），关注一下4岁小孩能做得很好的事情，这才是世界模型需要解决的问题。

所以Robotics是最好的出口。在谈论AGI或Super Intelligence（超人工智能）之前，能不能先有一个足够reliable（可靠）、足够general（通用）的robot？一个12 岁的孩子能承担几乎所有家务，但现在没有任何机器人能做到。

这件事需要“预训练的下半场”。现在的机器人创业公司没有精力做“大脑”的预训练，他们资源都投入到了hardware的Scaling Law（硬件的规模定律）上。即买更多机器人、去deploy（部署）它们，产生具体的商业价值。

张小珺：这个所谓的“预训练下半场”，它输入什么？输出什么？

谢赛宁：长期来看，输入的是所有的连续空间、高维度、可能有噪声的信号。一开始可能是video，但也会有多模态模型去学习和处理视觉之外的信号。

至于输出端最优的目标函数是什么，这是目前research问题。

这也属于泛self-supervised learning（自监督学习）的范畴，也是最exciting（令人兴奋）的地方。

谢赛宁对世界的理解：AI于人的关系

09｜“42”

张小珺：我们那天在一起等餐厅排队的时候，在纽约街头一起走了走，话题很自然地就延展到了那些对你非常重要、影响过你的人。

“人”这个因素占据了你众多选择中非常大的比重。为什么人对你来说这么关键？

（此处折叠10万字。

剧透7小时视频播客中谈到的人：侯晓迪、屠卓文、何恺明、李飞飞、杨立昆…）

张小珺：你是怎么样从一个年轻的学者，慢慢和这些AI业赫赫有名的人站到一起的？你是怎么走近世界AI核心的？

谢赛宁：我觉得这件事情很难刻意做到，也有点玄学。你可以叫它Law of Attraction（吸引力法则）。上述列举的所有人，至少都是做过Vision的。我没有刻意让这些事情发生，大家只是基于对research问题理解的一致性一起合作。

想法一致的人最终都会聚合在一起——虽然有无数的小溪，但最后都会汇聚到一条河流上。

张小珺：我发现你很喜欢说，You are not the chosen one, you are just the normal one。你为什么很喜欢说这句话？

谢赛宁：我没有预料到我们会聊到这些，不过我肯定不是那种所谓的“天选之子”。

这句话其实来自我很喜欢的一支球队——Liverpool F.C.。我是一个Kop（利物浦球迷），已经二十多年了。我跟这支球队的气质也有一点相投。

我最喜欢的一个教练是Jürgen Klopp。当时还有另外一个教练，José Mourinho，他曾经说过一句很著名的话：“I am the special one.” ——“我是那个特别的人。”

后来克洛普就半开玩笑地回应说：“I’m not the special one, I’m the normal one.”——“我不是那个特别的人，我只是一个普通的人。”

我很喜欢这种态度。一方面他本人非常朋克，很有一种摇滚气质；另一方面，他又经常跟大家讲，他在团队里的定位更像是一块电池。

他希望通过自己的passion、自己的能量，去给其他人发电。我也很希望自己能成为这样的人。不管是在学校，还是在创业公司里，我都希望自己能够成为团队里的那块电池。

但我觉得这件事情并不容易。因为每个人都会有沮丧的时候，也会有想吐槽、想发泄情绪的时候。但我现在慢慢觉得，在学校里、在学生面前，或者在创业公司的团队面前，总需要有人去承担这样一个角色——就是能够像一块电池一样，持续地给大家提供能量。

Yann就是这样一个巨大的电池。他也深深地感召了我。

但我也希望，能够通过我自己，把这份电力继续传递下去。

张小珺：你最近一次感到沮丧是为什么？

谢赛宁：我天天都感到沮丧。这个已经变成一个常态了。

这也是researcher的宿命——大家底色都挺悲凉的。

Research的求索过程，本身就是在一个暗无天日的地方摸索的过程。当你看不见光亮的时候，你总是会感到迷茫和沮丧。

大家真正感到快乐的时候，无非就是你真的把东西做出来的时候。但这一部分时光其实非常短暂，可能只有5%或10%。恺明好像也说过类似的话。长此以往，大家的心理状态挺堪忧。

不过我觉得现在这个时代，和原来不太一样了。现在会有更多讨论。这也是这一波AI带来的一个好处：至少大家不觉得自己是在一个幽闭的空间里独自探索。

张小珺：你们公司有创业者人格的人吗？创业者人格一般挺乐观的。

谢赛宁：Yann本身就很乐观，非常非常乐观。

张小珺：他也是一名研究者，为什么没有researcher这种悲凉的底色？

谢赛宁：那我不知道。可能因为他经历过悲凉，然后成功了吧。他经历过AI的寒冬，然后最后可以告诉所有人：他是对的，你们是错的。

如果我经历一下这件事情，我可能也没那么悲凉。

他还是蛮乐观的。他的过去这些经历，也让他更有信心。他经常说的一句话是：这件事情跟过去Deep Learning（深度学习）、Neural Network（神经网络）发生的事情一模一样。就是现在World Model，或者你不管怎么叫它，现在的智能系统的搭建。

他说，总有一小群人，能够清晰地看见这个世界发展的脉络，看见科技的进程。但他们只是一小撮人，大部分人其实是看不见的。

因为大部分人都在忙着做其他的事情。

比如在Deep Learning之前，很多人可能就是在做一些其他的东西，Traditional Machine Learning（传统机器学习）之类的。现在也一样。

他还是蛮乐观的，或者说他有足够的confidence。他会觉得：我能看到的事情是重要的事情，我能看到的路线是一条清晰的路线。在这件事上，我还蛮相信他的。

张小珺：我们刚才聊了很多世界模型。在过去一两年，你对我们生活在的这个真实世界的模型有哪些新的思考吗？

谢赛宁：我觉得，这件事情一定要超出research的局限。一定要热爱生活，到真实的生活里面去，要了解到这个真实世界发生的事情。不要在一个大的bubble里面过完自己的一生。

我会很担心在现在这个时代，大家的思维方式或者关注的东西，可能会有某种同质化。但总之，如果一个东西已经变成一个巨大的共识，这件事情总会有更大的bubble（泡沫）破灭的风险。

但我说的bubble可能也不是经济上的bubble，更像是在一个封闭的环境里，大家的这种——Echo chamber，有某种回音壁。

我其实也不是想吐槽湾区。湾区挺好的。我现在在纽约，非常怀念湾区的生活，总想回去，尤其在冬天下雪之后。

但是我觉得纽约很不一样。我每天上班，首先我不用开车了，已经从一个铠甲脱离出来，进入到真实的生活，开始步行。

这件事情有很多奇妙的反应。我每天有时候还是压力蛮大的，有时候遇到一些事情还是蛮沮丧的。但每当我穿过——从我家到学校办公室，有一个公园叫Washington Square Park（华盛顿广场公园），里面形形色色的人都有：

有弹钢琴的艺人，有跳舞的，有推着婴儿车的妈妈们，有下象棋的老大爷，有坐在台阶上什么也不做发呆的年轻人，也有拿着电脑学习的NYU的学生……每天最解压的时光，就是这大概五到十分钟的路程。

我发现这个世界比我们想象的要大得多。不是所有人都关心什么叫AI，他们可能不care这件事情，他们有自己的生活。这个世界很大。

但另一方面，也许AI在未来某一天会影响到他们的生活。那我们到底应该做什么？作为researcher，我们有没有某种社会责任？

我只是觉得，多跟人接触，多跟生活在这个世界里面的人接触，会让我对什么是 AI？应该怎么样去做下一代 AI？有一些新的认识。

这件事正是Ilya当初给我打电话，他想要跟我聊的东西。但我那时候还没有这些感悟。

张小珺：你有什么喜欢的音乐？喜欢的电影？喜欢的电视剧吗？

谢赛宁：我想想，我还挺爱看电视剧的，可以推荐一些电视剧给大家看一看。

有个电视剧叫《POI》，也是一个很老的剧，在里面大家讨论了什么是一个super intelligence（超级智能）？你有一个好的super intelligence和一个坏的super intelligence，它们之间的竞争，对人类社会的威胁。

这件事情我就不剧透了，但还是挺多模态的，而且这件事情有一定的预言性。还挺神奇的。

它就是讲，怎么样从一个在盒子里面的语言模型，或者一个可以写代码的Agent，一步一步跳脱出来，变成一个多模态模型的过程。

到后面当然还有我很喜欢的，比如《万神殿》，这也是某种AI的寓言。它是一个动画，作者是刘宇昆，是我的老乡。他也当过律师，当过码农，最后变成小说家，非常非常厉害。我非常敬佩他，他的书我也很爱看。这部剧之前被Sam Altman推荐过，很多人也都看了。

最近当然是很火的《同乐者》，也是AI的预言。只是有一点麻烦，这些流行文化被AI渗透得太多，导致所有都跟AI有关系。有点受不了。但可能只是因为我是AI从业者，会有不一样的感觉吧。

不过还是蛮有启发性的。包括我之前说的科幻小说、老电影，它们都是某种现实的预演。但通常结局都不是很光明，通常挺惨淡的。

我最近还看了一部电影，《无可奈何》，朴赞郁的电影。它讲的也是AI对人的异化。全片几乎没有直接谈AI，直到最后。通篇都在讲，因为AI的到来，人到底发生了什么变化，人的心态、人与人之间的关系到底发生了什么变化。

说到电影，最后说一句，欢迎大家来纽约。我以前会参加纽约电影节，现在我会去参加两个，一个是纽约电影节，另一个是AI电影节。也很酷。

要推荐的话，跟我们刚刚说的都相关，今年得到大奖的AI电影叫《全像素空间》（The Total Pixel Space），是一个很有趣的AI短片，讲了很多我们刚刚说的关于世界模型，或者为什么人的intelligence不是单纯通用的intelligence的一些argument。很好玩。

张小珺：我们的每一位嘉宾都会给我们的观众推荐一本“人生之书”，希望它真的影响过你，改变过你。你的会是什么？

谢赛宁：推荐两本书给你。

一本书，我猜大家可能都经常推荐，但我在本科的时候，这是一个群体性的记忆。

这本书叫《集异璧之大成》，你有听说吗？就是哥德尔、巴赫、艾舍尔。里面讲了很多关于哲学、数理逻辑，还有这三个人——哥德尔、巴赫、艾舍尔，一个数理学家、一个作曲家、一个画家，他们之间到底有哪些哲学的共同点？

我们本科的时候，是老师推荐，大家组团学习。当初大家看不懂，但是到后面，越来越觉得这件事有点道理。

还有一本书，也是本科看的，叫《禅与摩托车维修艺术》。这本书是一个内心求索的过程。它讲的是一个人骑着摩托车——可能有剧透——有一个想象中的哲人，但其实这个哲人是他自己的投射。

有些书、电影会把你装满，有些书、电影会把你掏空。我看完这本书的感觉是，它有点把我掏空。让我感觉到了一些，这个世界到底什么重要？什么不重要？

张小珺：对于你来说，什么重要？什么不重要？

谢赛宁：人与人之间真诚的交流是重要的，也许其他都不重要。

但在某一个时间点上，你要问我这个问题，我会说创业很重要，我会说research很重要。但归根结底，我还是相信人与人之间的交流，这件事很重要。

张小珺：听起来research是你交流的一种媒介。

谢赛宁：对，我觉得是。而且research本身也是一个deeper connection（深度连接）吧。

这在我们融资过程中还帮到了我们。有一个投资人很愿意投我们，他的原因是，他认识一个很强的创业者，也是一个研究员。他说：“诶，你们一定要投赛宁，我们不管以什么样的方式都要帮到他。”但我跟这个人只在开会时见过一次，他是StableDiffusion主要作者之一，创立了BlackForestLabs（黑森林实验室）。

这种信任关系是建立在你的学术工作之上。这种信任关系甚至有时候会远超你真正的personal connection（私人关系）。

大家通过你的一篇作品了解你，这件事情会传承下去，甚至可以走得很远。

张小珺：你一开始就说你相信命运，而且越来越相信。你也做了那么多“玄学决定”。此时此刻，你感觉命运正在把你往哪推？

谢赛宁：命运在推我吗？好像也没有。好像没有被命运推着走的感觉。

只是在下一次需要做选择的时候，希望上天保佑吧。

张小珺：这个世界是一个巨大的世界模型吗？

谢赛宁：这个世界当然是一个巨大世界模型。

张小珺：那我们能预测命运吗？

谢赛宁：我觉得不能。

张小珺：为什么？

谢赛宁：因为我们资源不够。

你需要用地球这么大的一个计算机，或者说你要有整个宇宙作为你的计算机，才能告诉你一个关于生命、关于宇宙、关于任何事情的答案。

这个答案最后可能是42。

视频播客补充内容

还有大量的内容，只有视频播客和播客有喔:)

剧透一下：

世界总不让我做Vision，我偏要做

开着破车，开始我的学术流浪

贾樟柯和毕赣如何启发Cambrian-S

论文中的草蛇灰线 — “作为表征的世界”

质疑JEPA，理解JEPA，成为JEPA

LLM在左，机器人在右

Research taste与《金刚经》

为什么我不喜欢“Impact”，它显得过于男性化

住手！放开维特根斯坦

此处原文有配图，当前稿件未提供图片文件。

读者留言

Cassie

广东 ｜ 3月16日 ｜ 👍 11

很有启发的访谈。尤瓦尔（《人类简史》的作者）认为人工智能会接管语言相关的领域，POI里的智能通过所有监控可以对潜在的危险进行预测并吐出号码，提前进行干预，这也是文中关于CV（计算机视觉）相关的训练和数据输入。如果真的推行的话，也意味着所有数据，不仅是互联网信息的透明，也包括所有物理信息的透明，这其实是一件令人害怕的事情。也是因此在文中谢说到，我们的数据来源无法download。这会是对公民隐私保护和侵犯的一个极大问题。

────────────────────────────

ComicPedia

江苏 ｜ 3月16日 ｜ 👍 17

太赞了, 六个小时的超长对话

────────────────────────────

熊猫哥

浙江 ｜ 3月17日 ｜ 👍 2

播客七小时

1条回复

────────────────────────────

SanQuine

四川 ｜ 3月16日 ｜ 👍 7

喜欢谢老师，感觉表达和逻辑上总能和他展现出来的世界共鸣。

────────────────────────────

周青崖

浙江 ｜ 3月16日 ｜ 👍 3

看完了，国内最适合物理AI的是美团，美团的“隐藏期权”是 世界模型/Ac­t­i­on CU­DA，我原来想的是美团的一个隐藏期权是调度算法，现在思考，其实是世界模型，为机器人提供类似cu­da的ac­t­i­on。模型公司的困境： 它们在“逻辑层”很强（To­k­en 爆炸），但它们没有“手和脚”。当它们想把空间智能塞进物理世界时，必须依赖机器人公司的硬件协议（界面层）。机器人公司的策略： 它们可以先做一个“笨”的机器人，通过硬件占领物理空间，然后利用这个空间不断回传数据，反向喂养出空间智能。 美团目前沉淀的外卖ac­t­i­on以及对时空物理世界的建模，可以成为未来机器人ac­t­i­on关系层。

展开

────────────────────────────

蔡万鑫

上海 ｜ 3月16日 ｜ 👍 7

预期说催眠，不如说回报率太高，谁占了算力/私有化数据/用户入口，那后面不管出啥新模型都能立于不败之地。

────────────────────────────

ZZQ

天津 ｜ 3月16日 ｜ 👍 4

世界模型是个预测模型，自动驾驶的VLM模型跟他讲的有点类似，根据画面预测下一帧来采取行动

────────────────────────────

周青崖

浙江 ｜ 3月16日 ｜ 👍 1

在纯比特时代（互联网），护城河是数据网络效应（用户越多，数据越多，产品越好）；

而在信息物理时代（CPS），护城河将演变为“动作网络效应”（Action Network Effect）。动作网络效应的约束是物理惯性与应力极限 这个决定了动作网络效应不是互联网规模效应的弥散态，是分布式聚敛收束态，越类人，越有护城河

────────────────────────────

Hans Pond

广东 ｜ 3月16日 ｜ 👍 3

能够自我推演马尔科夫链的模型

────────────────────────────

Wesley

美国 ｜ 3月17日

塞宁牛逼!

────────────────────────────

Yo

湖北 ｜ 3月16日

@元宝你同意他的观点吗？（LLM无法变成世界模型）

6条回复

────────────────────────────

Joshua

上海 ｜ 3月16日 ｜ 👍 2

封面的图片，看成了：张小珺手握10亿美金

────────────────────────────

周青崖

浙江 ｜ 3月16日 ｜ 👍 1

物理应用层不是token 是state 到action

────────────────────────────

Fan

日本 ｜ 3月19日 ｜ 👍 5

发在朋友圈的个人感触，也同步发来一下：

听到沉浸其中的播客，不得不转发。

今天走在路上听，当然快七个小时的播客，听是听不完的，对语言即世界，还是表征即世界，我也不可能有判断力。

对听到的部分，已经感受到一种强烈的、混杂的、非商业的、甚至也非学术的、不仅仅是音频作为一种特殊多模态所带来的、或仅仅是在阐述中交织了一些命运戏剧性奇特视角的、而是一种企图直面诸相、真相、非相的、类似最好的音乐和电影所会附带的那种“作品即交谈，交谈即作品”所具有的张力，让人感动得一塌糊涂发在朋友圈的个人感触，也同步发来一下：

听到沉浸其中的播客，不得不转发。

今天走在路上听，当然快七个小时的播客，听是听不完的，对语言即世界，还是表征即世界，我也不可能有判断力。

对听到的部分，已经感受到一种强烈的、混杂的、非商业的、甚至也非学术的、不仅仅是音频作为一种特殊多模态所带来的、或仅仅是在阐述中交织了一些命运戏剧性奇特视角的、而是一种企图直面诸相、真相、非相的、类似最好的音乐和电影所会附带的那种“作品即交谈，交谈即作品”所具有的张力，让人感动得一塌糊涂。

展开

────────────────────────────

Fan

日本 ｜ 3月19日 ｜ 👍 11

谢赛宁和杨乐昆都是电影迷。对塔可夫斯基、库布里克如数家珍。谢赛宁说自己最喜欢两个中国导演是贾樟柯和毕赣，提到毕赣的电影《路边野餐》里近一个小时的长镜头（那也是一个彻底打动过我的长镜头）。竟然还能和他自己的学术方向联系起来：人生就是一个一镜到底的超长镜头。。。

下载互联网还是下载人类，还原语言的先验结构还是还原寒武纪的睁开眼睛，大语言模型和世界模型哪个更基础，商业上两者是否至少可以象Visa和Mastercard形成研究方向的对抗——对这个课题我完全没有判断力，但能感受到其中有足够的学术勇气也有无形的压力，在还没有证明自己、所以处在也最多只敢用这个程度的对抗来比喻的阶段——但是感谢这个世界还是如此丰富，这样的人，这样的AI科学家，目前有机会站在一个新的阵营的最前面，手上有第一笔10亿美元，可以去为自己相信的诸相、真相、非相一战。

而你我，我的朋友，身处何处，又当何去？祝福吧，上路吧，每个人都只能、也必须走在自己的路上。

展开

────────────────────────────

Shannon Ma

广东 ｜ 3月17日 ｜ 👍 6

这篇文章和公众号的名字构成了一种冲突：）

────────────────────────────

鹦鹉🦜

广西 ｜ 3月17日 ｜ 👍 7

语言即世界，应该改成：世界即模型

────────────────────────────

Morii

广东 ｜ 3月18日 ｜ 👍 6

没有比人体更好的活体传感器了

────────────────────────────

已注销的微信用户

广东 ｜ 3月17日 ｜ 👍 6

这篇是不是应该放在language is not world 栏目

────────────────────────────

E君

广东 ｜ 3月18日 ｜ 👍 4

个人认为JEPA路线的世界模型存在物理主义的局限：如果世界模型只学习”物体持续性”和”时空连贯性”，它可能掌握”预测”但无法掌握”关怀”（因为物理定律不包含规范性）。

当模型开始预测”他者的心理状态”（Theory of Mind）作为物理世界的一部分时，”共情”可能作为预测误差的副产品涌现（为了准确预测人类行为，必须内化人类情感）。在这种路径下，爱不是”赋予”的，而是”为了理解物理-社会现实而必然涌现的认知工具”。

LLM会凋零，JEPA可能也不是唯一解。JEPA通过人类采集的视频训练，学到的不是”物理世界的客观规律”，而是”人类视觉系统的特定投影”（例如：物体边界、透视缩短、光照阴影）。如果JEPA通过人类视频学习，它继承的是人类视觉的幻觉，而非物理世界的本体。它学到的”物体持续性”可能只是人类前额叶对稀疏采样信号的平滑处理。JEPA可能擅长预测”杯子会掉落”（人类关注的因果），但无法预测”霉菌在杯壁的扩散”（人类视觉忽略的慢速过程）。它学到的是”人类中心的物理”（Anthropocentric Physics），而非”中立的物理”（Neutral Physics）。

感知是生物系统的特定配置，不存在”中立的观察”。

人类视觉只是众多Umwelt之一，AI通过人类视频学习，只是在学习”人类视觉的幻觉”，而非”物理世界的本体”。

碳硅融合可能才是正确的路径

展开

────────────────────────────

🌘

上海 ｜ 3月19日 ｜ 👍 1

太棒了，两个有趣的灵魂，小珺被感动了好多次

────────────────────────────

卓

广东 ｜ 3月20日 ｜ 👍 2

说实话，看到尾声也掉了一些眼泪。很难想象在这种暗无天日里独行的恐惧

────────────────────────────

夷吾

北京 ｜ 3月29日 ｜ 👍 1

性格决定命运，哥白尼是一种人设，享受就好

────────────────────────────

威廉熊

广东 ｜ 3月27日 ｜ 👍 1

我是学物理的，觉得谢讲的非常深刻，他比很多人想的更深入，我常有类似的困惑和思考，关注了

────────────────────────────

叙拉古的兰奈希尔

北京 ｜ 3月17日 ｜ 👍 1

永远都应该是研究——应用——应用边界——研究进步这样的循环

有些人又一次抢先站在了第三步与第四步之间

btw：似乎看到了《三体》里面的未来语言

────────────────────────────

已注销的微信用户

广东 ｜ 3月17日 ｜ 👍 1

schmidhuber作为世界模型之父，没有加入

────────────────────────────

Eskil

日本 ｜ 5月18日

predict next schema

────────────────────────────

ZJY

北京 ｜ 4月26日

真的很有启发

────────────────────────────

perry

美国 ｜ 4月25日

信息密度超级大，整体访谈质量天花板。很多观点非常值得反复回味。

────────────────────────────

达人冲浪

美国 ｜ 3月25日

采访者问的问题非常好

────────────────────────────

Dreamer

上海 ｜ 3月23日

“现在整个AI行业有一个巨大的value chain（价值链）。在这个价值链条最上层，有Bitter Lesson（苦涩的教训）、AGI（通用人工智能）、LLM这样的叙事。这些叙事定义了一系列的benchmark（基准测试）—— 然后正因为你要打榜，基准测试定义了resource allocation（资源配置）。如果我的目标是在榜单上得到第一名，那我只能投入最多资源，使得我能处在这个位置上去竞争。资源分配决定了，这件事儿已经跟researcher觉得什么是对、什么是错，有一点脱离了。” 看问题看的太本质了

────────────────────────────

已无更多数据