机器之心编辑部
近日，AI 领域知名专家 Andrej Karpathy 做客一档播客节目，在长达一个小时的对谈中，他不仅回顾了自己近一年的工作状态，也系统阐述了一个正在迅速成形的新范式：以 Agent 为核心的软件生产方式重构。
Andrej Karpathy 直言自己「病了」，患上了严重的「AI 精神病」。
从去年 12 月开始，他再也没有手写过一行代码。每天 16 小时，他都在和 Agent 对话，同时并行驱动十多个任务；甚至当 token 没被「用满」时，他会感到不安。这种对 AI 的高度依赖，他称之为「AI 精神病」（AI psychosis）。
Karpathy 判断，App 终将消失。设备只需开放 API，Agent 会成为新的「操作系统」，把音响、灯光、空调、窗帘、安防全部串联起来，甚至只需三段提示词，就能在一个 WhatsApp 对话里完成统一控制。
未来的用户将不再是人，而是代表人行动的 Agent。整个软件与商业体系，都必须围绕 Agent 进行重构。
甚至连组织本身，也在被重新定义：一个研究机构，本质上就是一组 markdown 文件 —— 角色、流程、协作方式，全都是「代码」；而凡是代码，就可以被持续优化。
播客地址：https://music.youtube.com/watch?v=kwSVtQ7dziU
以下为播客全部内容：
Karpathy 直言患上了严重的「AI 精神病」
主持人：大家好，今天我们邀请到了 Andrej Karpathy。这期节目内容会非常丰富，我们会聊到代码 Agent、工程与 AI 研究的未来、更多人如何参与科研、机器人领域的进展，以及他对于 Agent 如何走向现实世界、以及下一阶段教育形态的判断。
最近这几个月，AI 真的非常令人兴奋。
Karpathy：确实可以这么说。
主持人：我记得有一次我走进办公室，看到你完全沉浸在状态里。我问你在做什么，你说：「我现在必须每天工作 16 个小时…… 甚至写代码都已经不是一个合适的说法了。」你说你是在：不断把自己的意图表达给 Agent，让它们去执行、去实现。因为能力发生了一次跃迁。那到底发生了什么？能讲讲你的体验吗？
Karpathy：我感觉自己进入了一种持续的状态，我现在也经常还在这种状态里，可以说是一种「AI 精神病」（AI psychosis）。因为对一个个体来说，能实现的事情突然被极大地释放了。过去，你的瓶颈是打字速度，是你自己写代码的效率；但现在，有了这些 Agent，这个瓶颈基本被打破了。我觉得大概是在去年 12 月，发生了一次非常明显的变化，就像某个开关被拨动了一样。我的工作方式，从原来大概是 80% 自己写代码、20% 交给 Agent，变成了 20% 自己写代码、80% 交给 Agent。而现在，甚至已经远远不止 20/80 了。
事实上，我大概从 12 月开始，就几乎没有再亲手写过一行代码了。这是一个极其巨大的变化。
我甚至试着跟我父母讲这件事，但我不觉得普通人真的意识到了这件事情已经发生，或者理解它的冲击有多大。
如果你现在随便找一个软件工程师，看看他在工位上做什么，你会发现：他们构建软件的默认工作流，已经彻底改变了，而这一切，几乎就在去年 12 月发生。
我一直在试图搞清楚一件事：到底什么是可能的，这个边界又在哪里。比如，我不再满足于只运行一个 Agent 会话，无论是 Claude Code、Codex，还是其他 agent harness，而是开始思考，如何同时运行多个 Agent，如何去调度它们、组织它们，让它们真正协同工作。同时，我也在反复追问：这些所谓的「claw」，也就是类 Agent 系统，本质上到底是什么？我又该如何真正把它们用到极致。
但问题在于，一切都来得太快了。新的东西不断涌现，几乎每天都在刷新认知。我非常渴望站在这个浪潮的最前沿，但与此同时，我也清楚地意识到，自己其实还没有真正站在那里。我看到 X 上有很多人在做各种尝试，有些想法确实很惊艳，但也有不少并不成熟。然而，正是这种混杂的探索状态，让我变得更加焦虑，好像如果不拼命往前冲、不抢占最前排的位置，就会被甩下。
这种感觉，甚至有点让人不安。
所以我觉得，我现在确实处在一种「AI 精神病」的状态里：不断地去探索什么是可能的，因为这个空间，本质上还是一片完全未被探索的领域。
主持人：如果你感到紧张，那我们其他人也都一样紧张。那么你现在怎么看待自己去探索或做项目的能力？它的瓶颈在哪里？
Karpathy：是啊，它到底受限于什么？我觉得几乎受限于一切。很多时候，即便事情没做成，你也会觉得很大程度上是能力问题。不是说能力本身不存在，而是你还没找到一种方法，把现有的一切串联起来。
比如说，可能是我没有给 Agent 写出足够好的指令，或者默认配置文件没调好；也可能是我没有接入一个足够好的记忆工具之类的。所以一旦跑不通，就会感觉问题出在自己能力不够，于是你就会开始想，怎么把这些系统编排起来之类的。
你会很想成为那种人，比如 Peter Steinberger。他很有名，有一张很经典的照片：他坐在一堆显示器前，用的是 Codex，一屏幕全是各种 Codex agent。如果你提示词写得对、选择高强度模式，这些 agent 大概每个跑 20 分钟，就能各自把一个 repo 拉下来、开始干活。于是他就在这些 agent 之间来回切换，不断给它们追加指令。
这种感觉就像，你开始用更大粒度的宏操作在行动。不再是写一行代码、写一个函数，而是这是一个新功能，交给 Agent 1；这是另一个不会互相干扰的功能，交给 Agent 2；然后你再根据自己对代码质量的在意程度，去审查它们的输出。
你开始思考的是，我可以用哪些宏操作去操控整个代码仓库。比如，一个 agent 在做调研，一个在写代码，一个在为新实现制定方案，一切都在以这种宏观动作的方式，在你的仓库上同时发生。
而你要做的，就是不断练习，变得非常擅长这种模式，形成一种肌肉记忆。这件事其实非常有成就感，首先它是真的能跑通，其次它本身也变成了一项全新的学习内容。
所以，也正因为这样，才会出现那种有点上头、甚至像精神错乱一样的状态。
没把 token 的吞吐量用到最大，有些焦虑
主持人：是的，我确实有一种本能：每当我在等待某个 agent 完成任务的时候，很自然就会觉得，那我还可以再多做点事情。对吧？如果我还有更多 token 可用，那我就应该把所有任务都并行起来。
但这其实挺让人有压力的。因为如果你并没有被 token 的使用能力明显限制住，那么你就会意识到，系统真正的瓶颈其实是你自己。只要你没有把它的能力用到极限，你就成了那个限制系统发挥最大能力的人。
Karpathy：如果你连订阅资源都没有用满，那就说明你还没有把系统能力发挥到极致。理想情况下，你应该同时调度多个 agent，比如在 Codex 上的额度用完了，就切换到 Claude 或其他云服务之类的。我自己也在尝试这样做。
而且当我发现还有订阅额度没用完的时候，会有一种紧张感。这意味着我没有把 token 的吞吐量用到最大。
其实我在读博的时候也有类似的体验：当你的 GPU 没在跑的时候，你会感到焦虑，因为你没有把手头的算力用满，没有把可用的 FLOPs 压榨到极限。但现在已经不再是算力的问题了，而是 token 的问题。
所以现在的问题变成了：你的 token 吞吐量是多少？你到底在调动多大的 token 吞吐能力？
主持人：我其实会觉得，这一点很有意思：在过去至少十年里，很多工程任务中，人们并不会觉得自己受限于算力，对吧？但现在整个行业都开始有这种感觉了，觉得自己是被资源限制的。
而当这种能力出现巨大跃迁之后，你会突然意识到，问题已经不再是我能不能获得算力了，而是我自己成了那个约束条件。本质上变成了能力问题。
Karpathy：但这其实也很有赋能感，因为这意味着你是可以不断变强的。所以我觉得这件事很容易让人上瘾，因为每当你掌握一个新方法，就像解锁了新的能力一样。
我觉得大家其实都在往更高的抽象层走。也就是说，问题不再是你和一个 agent 的单次交互，而是多个 agent 之间如何协作、如何形成团队，这才是大家都在探索的方向。
Karpathy 对 OpenClaw 的看法
另外，我觉得 Claw 也是一个很有意思的方向。这里说的 Claw，其实是一种把持续性提升到新层级的系统。它不是那种需要你一直盯着、实时交互的东西，而是更像一个独立运行的小环境，有自己的 sandbox，可以在你不看的时候，持续替你做事情。
同时，它还可能具备更复杂的记忆系统，而这些在当前的 agent 里其实还没有很好实现。比如说，像 OpenClaw 这样的系统，在我看来，它的记忆能力就比默认的 agent 要复杂得多。默认的 agent 往往只是当上下文不够时做一些压缩处理，而不是一种真正长期、结构化的记忆体系。
主持人：我认为，正是这一点在用户群体中产生了更强的共鸣，相比之下，单纯提供更广泛的工具访问权限可能就没有这种效果。
Karpathy：关于 OpenClaw…… 嗯，我想说的内容还挺多的。
Peter 确实做得非常出色。我最近见过他，也和他聊过这件事。他本人很谦虚，但我觉得他其实是在五个不同方向上同时做了创新，并把它们整合在一起。
比如说，他在文档设计上花了很多心思，真的塑造出了一种有吸引力、有个性的风格。我觉得现在很多 agent 在这一点上其实做得不太好。反而像 Claude 的人格就做得挺不错，更像一个队友，会和你一起兴奋、一起投入。
相比之下，Codex 就要干很多。这也挺有意思的，因为在 ChatGPT 里，Codex 的表现是更积极、甚至有点讨好用户的。但作为编程 agent，Codex 就显得非常冷淡，好像并不关心你在做什么。它更像是在说它已经实现了功能。但你会忍不住想，它真的理解我们在构建什么吗？
是的，它确实不会那样表现。另外一点是，比如像 Claude，我觉得它在讨好程度上的把控是比较到位的。当它夸我的时候，我会觉得多少是配得上的。因为有时候我给它的只是一些还没有完全想清楚的想法，它的反应不会特别强烈，只是说可以实现。但当我自己也觉得这是个不错的想法时，它确实会更明显地给予认可。
于是就会出现一种有点奇怪的感觉，好像我在努力去赢得它的认可一样。所以我确实觉得，人格这件事非常重要，而很多其他工具可能没有那么重视这一点。我觉得在这方面，Peter 是非常在意的，这一点他是做对了。
再加上记忆系统，以及他本身也是在享受这个过程，还有通过一个 WhatsApp 窗口统一接入所有自动化能力，这些组合在一起，就形成了一种很特别的使用体验。
Karpathy 用 Claw 重写家庭操作系统
主持人：除了软件工程之外，你个人是否曾利用你的 Claw 做过什么，并且觉得既有趣又好玩的事情？
Karpathy：是的，所以在一月份的时候，我也经历了一段类似 Claw 上头的阶段。我自己做了一个 Dobby，基本上用来管理我家里的各种设备。
我当时是用 agent 去自动发现我家局域网里的所有智能家居子系统，结果让我挺意外的是，这件事几乎是开箱即用就成功了。比如我只是跟它说，我家里应该有 Sonos，你能不能帮我找一下。然后它就开始扫描整个局域网里的设备，相当于对所有连接的设备做了一次 IP 扫描，最后真的找到了 Sonos 系统。
更离谱的是，它发现这个系统居然没有任何密码保护，就直接连进去了，然后告诉我你家里有这些 Sonos 设备。接着它又去做了一些网页搜索，最后找到了对应的 API 接口。
然后它问我要不要试一下，我当时都有点震惊，说你已经做到这一步了吗。然后我说那你能不能在书房放点音乐。结果它真的做到了，音乐就响起来了。我当时完全不敢相信这一切就这样发生了。
我真的不敢相信，我只是打了一句你能帮我找到我的 Sonos 吗，然后它就真的放出音乐了。它对灯光也是一样的操作。基本上就是，它自己「黑」进去，搞清楚整个系统，构建了 API，还做了一个控制面板，让我可以看到家里所有灯的控制中心。
然后它就可以帮我开关灯之类的，比如我跟它说 Dobby，该睡觉了，那么它就会把所有灯都关掉。类似这样，它现在可以控制我家里的灯光、空调系统、窗帘、泳池和温泉设备，还有安防系统。
我在屋外装了一个摄像头，只要有人靠近，它就会触发检测。首先是变化检测，一旦检测到变化，就会调用一个视觉模型去分析画面。然后它会通过 WhatsApp 给我发消息，附上一张外面的图片，并告诉我，比如刚刚有一辆卡车停在门口，你可能需要看一下，可能有个包裹之类的。然后 Dobby 就会直接给我发消息。
这一切真的非常不可思议。现在 Dobby 相当于是整个家的控制中枢，我通过 WhatsApp 和它沟通。用这种宏操作去管理整个家庭，其实非常有意思。
我还没有把它推到更极致的用法，我知道有些人玩得更疯狂。但对我来说，仅仅是家庭自动化这一点就已经很有用了。以前我要用六七个不同的 App 来控制这些设备，现在完全不需要了，Dobby 可以用自然语言统一控制一切。这真的很惊人。
所以我觉得，我甚至还没有完全把这个范式用到极限，但它已经非常有帮助，也非常让人兴奋。
主持人：你觉得这是否在某种程度上反映了人们从用户体验角度出发，对软件所抱持的期望？毕竟，人们往往很容易忽略这样一个事实：学习新软件，尤其是全新的用户界面（UI），其实是需要耗费人力精力的。
Karpathy：我觉得某种程度上这是对的。这更像是从人们心中对 AI 应该是什么样子倒推回去设计。因为人们脑海里的 AI，其实并不是原始意义上的 LLM。从本质上讲，LLM 只是一个生成 token 的系统，不断输出下一个 token。
但人们想象中的 AI，更像是一个有人格、有身份的存在，你可以和它交流，它会记住事情，它像是一个在 WhatsApp 背后的实体，这种形态对人来说更容易理解。
所以在某种程度上，这是在匹配用户已经形成的预期，让 AI 的行为更符合人们认为一个助手应该如何运作。但在底层，其实有大量技术细节在支撑这一切，而单纯的 token 生成这种原始机制，对大多数人来说太底层、太抽象，很难被当作真正的 AI 来理解。
大量定制化、碎片化的 App，有点被过度生产了
主持人：没错，我想这恰恰反映了我们对 AI 本质的理解方式，将它描述为像 Dobby 那样的角色，或是某个具体的人格形象，显然能引起人们的强烈共鸣。此外，我认为你为了实现家庭自动化，将六套截然不同的软件系统整合为一的做法，其实引出了另一个值得深思的问题：人们真的需要如今市面上林林总总的各类软件吗？确实如此。因为我想提出这样一个观点：诚然，你拥有了相应的硬件设备，但你却彻底舍弃了原本附带的软件层，或者说是用户体验（UX）层。你觉得这真的是人们所期望的吗？
Karpathy：是的，我觉得有一种感觉是，现在应用商店里这些用于控制智能家居设备的 App，在某种意义上其实不应该存在。是不是本来就应该只是提供 API，然后由 agent 直接去调用？而且这样一来，我可以实现各种自动化组合，这是任何单个 App 都做不到的。agent 可以统一调度这些工具，调用正确的接口，完成相当复杂的任务。
从这个角度看，确实指向一个趋势：现在这种大量定制化、碎片化的 App，其实有点被过度生产了。因为 agent 会把它们压扁，所有能力都应该以 API 的形式暴露出来，而 agent 作为智能的胶水层，去调用这些工具，把各个部分串联起来。
再比如我的跑步机，它有自己的 App，我想记录自己做有氧运动的频率。但我不想每次都登录一个网页界面，走一套复杂流程。这些本来就应该通过 API 直接完成。这其实就是在走向一种 agent 优先的互联网形态，或者说 agent first 的工具体系。
所以我觉得整个行业都需要在很多层面进行重构。未来的客户不再是人类，而是代表人类行动的 agent。这种重构的规模，在某种意义上会非常巨大。
有些人会反驳，说普通人真的会去做这种底层操作吗？是不是要让大家去写类似字节码的东西？但我觉得，这只是当前阶段的技术形态。现在确实还需要一些类似底层操作的过程，我自己也在参与、在和系统一起调试。
但我隐约感觉，这些我刚才说的能力，本来就应该是免费的。在未来一两年甚至三年内，这些事情会变得非常简单，成为基础能力。任何 AI，甚至开源模型，都可以轻松完成这些事情。
主持人：你应该能够非常轻松地将非技术人员的意图转化为相应的表达。但即便如此，你还是需要做一些设计决策，对吧？比如我们刚才提到的一些具体实现方式。
Karpathy：不过我感觉，随着时间推移，这些门槛会不断降低，最后会变成软件在替你完成一切，有点像一种 Claw 在后台处理所有细节，而你并不需要参与其中。Claw 自己有一套运行机制，会把事情搞定，然后只把界面呈现给你，你只需要用自然语言去表达需求。
主持人：那为什么你还没有把自己在 Claw 上的能力推到极限？是因为在做更重要的项目，比如自动化研究，还是说你正在逐步走向精通的过程中，或者有其他原因？
Karpathy：我感觉主要还是因为太容易被各种事情分散注意力了。我之前大概花了一周时间在 Claw 上，但现在反而有更多待办事项了。
我也没有真正把它用在邮箱、日历这些更核心的场景上，甚至都没有接入。一方面是因为这套东西还很新，还有点粗糙，我对它还是有些不放心；另一方面也是出于安全和隐私的考虑，我不太愿意一下子把自己的整个数字生活都交给它。
所以某种程度上，这确实限制了我继续深入使用它，这可能是最主要的原因。同时也有一部分原因是，我确实有点被各种事情分散了精力。之前那一周几乎都在玩 Claw，但之后其他事情又不断涌进来。
把研究员移出循环
主持人：究竟是什么…… 我是说，你曾提到过，能够让智能体（Agents）去执行训练模型，或者至少是优化模型，这项任务，是你长期以来一直希望能实现的目标。那么，Auto 背后的具体动机究竟是什么呢？
Karpathy：研究这件事，是的。我之前发过一条推文，大概意思是，要想真正发挥现在这些工具的最大价值，你必须把自己从系统的瓶颈中移除。你不能总是待在那儿去下一个提示、做下一步操作，你需要把自己抽离出来。要把系统设计成完全自动运行。
核心目标是，如何在不参与循环的情况下，最大化你的 token 吞吐量。也就是说，让系统自己跑起来，而不是依赖你不断介入。
所以我当时提到，现在这个阶段的关键是提升杠杆率。你只需要偶尔投入很少量的 token，但系统会替你完成大量工作。自动化研究就是这种思路的一个体现。
我当时发了这个观点，大家也挺喜欢，但可能还没有真正想清楚它的含义。对我来说，自动化研究就是这个理念的一个直接推演。我不想自己作为研究者一直在循环里盯着结果、不断干预，因为那反而是在拖慢系统。
关键问题变成，我如何重构整个抽象层，让自己不再参与其中。只需要设置好一次，然后点击运行。接下来要做的，就是尽可能让更多 agent 在更长时间内、在没有你参与的情况下持续运行，替你完成任务。
自动化研究本质上就是这样。给定一个目标，定义好评估指标，设定清晰的边界条件，规定哪些可以做、哪些不能做，然后就让系统自己去执行。
主持人：你对它的有效性感到惊讶吗？
Karpathy：我其实一开始并不觉得这会真的有效。
我真正更感兴趣的是递归自我改进这个问题，也就是在多大程度上，LLM 可以用来改进 LLM。本质上，这也是所有前沿实验室都在做的事情，原因很明显，它们都在尝试某种形式的递归自我提升。
所以对我来说，这更像是一个小型试验场。我之前其实已经用传统方式手动调过很多次模型了。毕竟我是研究员，这件事我做了二十年，有一定的经验积累。可以说是那种长期实践带来的自信。我训练过成千上万次模型，做过各种实验，调过超参数，基本上所有常规手段都用过，这些都是我过去二十年一直在做的事情。
我把模型调到了一个我认为已经相当不错的状态。但后来我让自动化研究系统跑了一整晚，结果它找到了我没有发现的优化点。比如我忘了给 value embedding 加 weight decay。这些参数之间是相互作用的，一个地方调了，其他地方也可能需要跟着调整。
所以我其实不应该成为瓶颈。我不应该手动去做这些超参数优化，也不应该盯着结果看。因为在这个问题里，是有明确的客观指标的。你只需要把系统搭好，让它可以持续运行就行了。这就是自动化研究的一种形式，一个单循环不断尝试改进的过程。
让我惊讶的是，即便这个仓库已经调得相当不错，它还是能找到新的优化空间。而这还只是一个单循环。那些前沿实验室拥有成千上万 GPU 的集群。
所以很容易想象，你可以在小模型上做大量自动化探索，然后再把这些结果外推到更大的模型上。本质上，所谓前沿智能的发展，很多都是关于如何通过扩展和损失函数的变化进行外推。你在小模型上做大量探索，然后再进行规模化扩展。
主持人：所以你的意思是，如果我们能把这项实验工作做得更好，我们的研发工作效率就会随之提升，具体来说，就是当我们进行规模化扩展时，也能拥有更明确的方向指引。
Karpathy：我觉得最有意思的方向，也是那些前沿实验室大概率正在做的，是这样的：先在小模型上做实验，尽可能让整个过程变得完全自动化，把研究人员从循环中移除。因为人类往往有太多不该有的自信，其实他们不应该直接参与这些具体执行。
他们可以提供想法，但不应该亲自去执行这些想法。应该有一个统一的想法队列，这些想法可以来自一个自动化的科学家，它基于论文和 GitHub 仓库生成新思路；当然研究员也可以提交想法。但这些想法都进入同一个队列，然后由一批 worker 去拉取任务并执行实验。有效的结果就被加入到 feature 分支中，再由少量人去监控这些分支，偶尔合并到主分支。
整体思路就是尽可能把人从流程中移除，实现最大程度的自动化，同时提升 token 的吞吐效率。这也意味着需要重构整个系统的抽象层，把一切重新组织一遍。所以这是一个非常让人兴奋的方向。
但它目前只是用 markdown 写出来的一套规则。理想情况下，你需要一个自动化研究循环，而且不同的 program.md 会带来不同的研究进展。可以把每一个研究组织都看成是一组 markdown 文件，定义了所有角色和整个系统是如何协作的。
你甚至可以想象有不同风格的研究组织，比如有的开很多无用的晨会，有的完全没有；有的更激进，有的更保守。这些本质上都是代码，一旦是代码，就可以被优化、被调参。
所以实际上还存在一个更高一层的元优化空间，也就是对研究组织本身进行优化。
主持人：未来的工作模式究竟会是怎样的？
Karpathy：不过我觉得关于这种所谓的 LLM 上头状态，还是有几个前提需要说明。
第一点，这种方式非常适用于那些目标明确、指标可以客观评估的任务。比如写 CUDA kernel、优化模型中的某些代码模块，这类问题就非常适合。因为你有一个明确的目标，原本代码是低效的，你希望得到一个在行为完全一致的前提下更高效的版本。这种场景非常契合自动化研究。但也有很多事情不适合。如果你无法评估结果，那就无法进行研究，这是第一个限制。
第二点是，我们现在讨论的是下一步的发展路径，某种程度上也能看清方向。但整个系统其实还不成熟，还有很多边角问题，有点像在边缘撑着，存在裂缝，还没有完全稳定。如果你走得太快、推得太远，反而整体会变得不那么有用。
这些模型确实已经进步很大了，但依然有些粗糙。我有时候会觉得，自己好像同时在和一个极其聪明、经验丰富的系统程序员，以及一个十岁的小孩在对话。这种感觉非常奇怪。因为在人类身上，这些能力通常是高度耦合在一起的，而在模型上却是分裂的。
这种锯齿感真的很奇怪。人类也会有一些，但要少得多；而这些 agent 的表现就更加不稳定。有时候我只是让它实现一个功能，它却会返回一个完全错误的结果，然后我们就会陷入一连串错误的循环。
这真的让人很挫败。我现在还是经常会对这些 agent 感到很烦，因为你一方面能明显感受到它的强大能力，但另一方面，它又缺乏稳定性，很多时候没办法持续地把事情做好。
智能的泛化与分化
主持人：好吧，每当我感觉 agent 在处理某个本该一眼就能识别出的显而易见的问题上，浪费了大量的计算资源时，我就会感到非常恼火。
Karpathy：我觉得更深一层的原因可能在于，这些模型本质上是通过强化学习训练出来的。所以它们其实也在面对我们刚才说的同样问题：只要是可以验证的事情，实验室就可以不断优化模型，并通过奖励机制去强化这些能力。
比如你有没有把程序写对，单元测试有没有通过，这些都是可以明确判断对错的。但它们比较吃力的地方在于一些更微妙的东西，比如理解我真正的意图，或者判断什么时候应该主动提出澄清问题。
凡是这种偏软的东西，表现通常就会差很多。所以你会感觉，要么是在一条轨道上，处在那种接近超智能的状态，一切都很顺畅；要么一旦脱离了这些可验证的场景，整个系统就开始变得发散、游走，没有明确方向。
换个说法就是，如果你现在去用最先进的模型，比如 ChatGPT，让它讲个笑话，你大概能猜到它会讲什么类型的笑话。
主持人：这个笑话，我说不出它的标准版本，但我确实感觉 ChatGPT 好像就只有那么两三个笑话。
Karpathy：所以，这就是你三四年前会听到的笑话，也是你今天依然会听到的笑话。尽管模型整体能力已经有了巨大的提升，如果你给它一个 agent 式任务，它可以连续运行好几个小时，帮你完成非常复杂的工作。但你让它讲个笑话，它还是会给你一个五年前那种老套、简单的笑话。
原因在于，这一类能力并不在强化学习优化的范围内，不属于当前重点提升的部分。这正体现了那种能力上的不均匀性。按理说，随着模型变强，笑话也应该更好、更丰富，但因为这一块没有被优化，所以就停在那里，没有明显进步。
主持人：你是否认为，这暗示了我们并未观察到某种意义上的泛化，即那种将讲笑话的机智这种更广泛的智能，与编写代码的智能关联起来的现象？
Karpathy：是的，我觉得这里存在一种解耦。有些事情是可以验证的，有些事情不是；有些能力会被实验室重点优化，取决于训练数据和目标，但有些则不会。
而且有一种观点认为，如果模型在代码生成这类高度可靠、可验证的领域变得更强，那它在其他所有领域也应该同步变强。但从讲笑话这个例子来看，这种情况并没有真正发生。我不认为这种全面提升已经实现。也许有一点点这种趋势，但远远没有达到令人满意的程度。
当然，人类本身也存在这种不均匀性。你可以数学很好，但讲笑话很差，这很正常。但问题在于，我们原本的叙事是，随着模型越来越强，我们会几乎「免费」获得在各个领域的智能和能力提升。但现实并不是完全如此。
确实存在一些盲区，有些能力没有被优化。而且这一切都被封装在这种神经网络的黑箱中。结果就是，要么你刚好处在它被优化的轨道上，一切表现都非常强大；要么你偏离了这个轨道，表现就会变得不稳定。这就是所谓的不均匀性。
所以我觉得，虽然发展方向是清晰的，但还不能完全放手交给系统，因为它还没有完全成熟。也有可能问题在于我们还不够会用，还没有掌握正确的使用方式。所以现在其实很难判断，到底是哪一方面的限制更大。
主持人：我能问一个有点冒犯的问题吗？如果这种不均匀性一直存在，而且现在又被封装在一个相对单体的接口里，也就是一个统一的大模型里，这样真的合理吗？
还是说，其实应该把它拆开？因为不同类型的能力是可以在不同维度上被优化的，不同领域的智能本来就可以分别提升。
Karpathy：比如将模型拆解为针对不同领域的多个专家模型，诸如此类，也就是以一种更为直接的方式。
主持人：我们不应仅仅局限于 MoE，毕竟我们此前从未接触过它。因为对于外部用户而言，这可能会令人感到困惑：为什么它在处理某件事上表现得如此出色，但在另一件事上却显得力不从心？
Karpathy：是的，我现在的感觉是，各大实验室目前还是在尝试做一种单一模型的路线，也就是希望用一个模型覆盖所有领域的智能，把各种能力都塞进参数里。
但我确实觉得，未来应该会出现更多智能的分化。就像动物界一样，大脑的结构是高度多样化的，不同物种适应不同的生态位。有些动物的视觉皮层特别发达，有些则强化了其他能力。
类似地，我们也应该看到 AI 出现这种分化。你不一定需要一个什么都懂的全能预言机，而是可以让模型针对具体任务进行专门化。我们应该会看到一些更小的模型，仍然具备基本的认知能力，但在特定方向上做了强化。
这样一来，在延迟和吞吐上也会更高效，尤其是在你真正关心的任务上。比如说，如果你是一个用 Lean 做数学证明的人，已经可以看到有一些模型是专门针对这个领域优化的。
所以未来很可能会出现越来越多这样的例子，在这些场景下，把能力拆分出来反而是更合理的。
主持人：我有一个疑问：现有的计算基础设施在容量上面临的制约，是否在很大程度上推动了这种趋势的演进？毕竟，效率在这个语境下确实显得尤为重要。没错，正是如此。试想一下，暂且撇开融资因素不谈，假设整个过程中完全不涉及资金问题，如果你能为自己所做的任何工作（哪怕只是训练某一个单一模型）都获得充足的计算资源支持，那会是怎样一番景象？但反过来，如果你确实感受到了某种压力，意识到自己无法针对每一个具体的应用场景都去部署那种规模极其庞大的模型，你觉得这种现实约束是否会导致某种物种分化现象的出现？换句话说，你觉得这是否会促使人们去开发出针对特定用途而高度特化的模型？我提出的这个问题，对你来说是否清晰易懂？
Karpathy：这个问题是有道理的。我现在纠结的一点是，其实我们还没有真正看到太多分化的出现，对吧？目前还是一种单一模型的格局。
而且有很明显的趋势是，一旦某个方向做出了更强的能力，比如代码能力，就会被重新合并回主模型中。即便模型本身已经有很大的优化压力，大家还是在不断往一个统一模型里叠加能力。
主持人：我猜可能还有一个因素是，短期内存在很强的供给瓶颈，这种现实压力反而可能会推动更多的分化出现。
Karpathy：是的，我觉得本质上，现在这些实验室是在提供一个通用模型，但它们其实并不知道最终用户会问什么问题。所以某种程度上，它们必须覆盖所有可能的需求，这就导致模型需要在各种任务之间做多任务处理。
但如果是具体到某个企业场景，或者围绕一些明确的问题进行合作，那可能就会看到更多的专门化，或者一些高价值但更垂直的应用出现。只是目前来看，大家还是在追求覆盖尽可能全面的能力空间。
另外一个原因可能是，我们对于如何操控这些大脑的科学本身还没有完全成熟。
比如说，一个典型问题是，如何在微调模型的同时不损失已有能力。目前我们其实还没有很好的一套「操作智能」的基础工具，除了通过上下文窗口去影响模型。上下文这种方式之所以被广泛使用，是因为它简单、成本低，也确实能带来一定程度的定制化。
但如果要更深入地调整模型，比如持续学习、在某个领域显著提升能力、或者真正去修改模型权重，这其实还是一个正在发展中的科学问题。相比之下，直接动权重要复杂得多，因为你是在改变整个模型本身，甚至可能影响它整体的智能结构。
所以也许现在之所以还没有出现明显的「智能分化」，部分原因是我们还没有完全掌握如何在不破坏整体能力的前提下，对模型进行精细化、结构性的调整。这方面的技术还不够成熟。
为人类与 AI 构建更广阔的协作界面
主持人：而且，它的成本也必须足够低廉，没错，只有这样，这种特化才有其价值。是的，特别是在当前这些特定的语境之下。我想就您刚才提到的、关于开放领域的自动研究扩展话题，向您请教一个问题。您曾提到过这样一个思路：既然我们已经拥有了这项技术，那么本质上，我们需要围绕它构建更广阔的协作界面，以便让更多人能够参与并推动整体的研究工作。您能否就此展开谈谈？
Karpathy：关于这个问题，是的，我们刚才讲的是一种单线程的自动化研究，也就是在一个循环里不断尝试。但真正有意思的，其实是把它并行化。
我也尝试过一些思路，但目前还没有一个让我特别满意、特别简洁的方案，这更多是我在用 Claw 之外，自己在琢磨的一些方向。
一个比较直接的方式是，如果你有大量并行节点，那就可以让多个自动化研究系统通过某种共享机制一起协作。
但我更感兴趣的是，如何利用互联网上一个不可信的工作节点池。比如在自动化研究中，你的目标是找到一段代码，让模型在验证集上的损失尽可能低。如果有人提交了一段代码，你其实很容易验证它是否真的有效。也就是说，别人可以声称这段代码能带来更好的性能，你只需要验证一下就行。
当然，验证本身也需要一定计算资源，但本质上，这个问题的结构是：生成候选解很难，但验证候选解很容易。也正因为如此，这个系统看起来有点像区块链。只不过这里不是区块，而是代码提交，这些提交可以在前一个基础上不断演化，每个提交都是对代码的改进。所谓的工作量证明，其实就是大量实验，去找到有效的改进。而奖励目前只是排行榜上的位置，并没有实际的金钱激励。
我不想把这个类比推得太远，但核心结构确实类似：需要大量搜索，但验证一个结果是否有效相对便宜。有人可能尝试了一万种方案，但你只需要验证最终那一个有效的结果。
所以问题变成，你需要设计一个系统，让不可信的工作节点池和一个可信的验证节点池协同工作，而且整个系统是异步的，同时还要保证安全性。因为如果有人给你发来一段任意代码，你直接运行是非常危险的。
不过从原理上来说，这是完全可行的。像自动化研究这样的任务，也非常适合这种模式。
从这个角度看，完全可以想象，互联网上的 agent 集群可以协同改进 LLM，甚至有可能在某些方面超过前沿实验室。毕竟实验室拥有的是大量「可信算力」，但整个地球上的「不可信算力」规模更大。如果你能设计好系统机制来约束和利用这些资源，那么这种「群体智能」是有可能产生更优解的。
最后一点是，未来很多公司或者个人，可能会围绕自己关心的问题，参与到不同的自动化研究方向中。你不一定是捐钱，而是贡献算力。比如你关心某个特定领域，你可以购买算力，然后加入对应的自动化研究网络。
如果一切都被重新组织成这种自动化研究体系，那么算力就会变成最核心的贡献形式。
主持人：这个算力池的想法确实很有启发性。而且有一个挺有意思的现象是，不管是在硅谷，都开始重新意识到，拥有个人算力这件事又变得有价值了。
也就是说，人们可能会为了运行自己的 Claw 而去配置算力设备。而一旦有了这些算力，它们不仅可以服务于个人使用，还可以参与到自动化研究中，成为整个系统的一部分。
Karpathy：但未来会不会变成，大家真正关心的是 FLOPs？会不会出现一种翻转，大家关注的不再是钱，而是你掌控多少算力？
因为现在的情况是，即便你有钱，也很难买到算力。所以在某种意义上，算力反而变成了更稀缺、更关键的资源。
也许未来会变成一种新的衡量方式，不再是你有多少财富，而是你掌控多少 FLOPs。当然我不一定认为这真的会发生，但这个思路本身还是挺有意思的。
AI 与就业市场
主持人：你最近发布的那项内容，似乎是对就业数据做的一点分析，对吧？真是没想到，它竟然触动了大家的敏感神经，尽管你做的其实不过是对一些公开数据进行可视化呈现而已。当时，你是出于什么样的好奇心才着手做这件事的呢？
Karpathy：我当时主要是好奇，现在大家都在讨论 AI 对就业市场的影响，以及未来会变成什么样。所以我就想去具体看看，现在的就业市场到底是什么结构，各种岗位分布是怎样的，不同行业里有多少人。
我更感兴趣的是逐个去看这些具体案例，然后自己去思考，在 AI 以及它未来的发展趋势下，这些职业会发生什么变化。它们会变成辅助工具吗？还是会被替代？这些岗位本身会增长、调整，还是会出现全新的职业类型？
本质上，这是我用来推动自己思考整个行业的一种方式。
至于数据来源，其实就是官方的劳工统计部门。他们会给出每个职业的增长预期，比如未来大概十年内的增长情况。这个预测是基于 2024 年的数据做出来的。
主持人：基于你对这些数据的观察，对于那些正面临就业市场、或者正在思考当下该修读什么专业、培养何种技能的人，你有什么见解或建议吗？我的意思是，毕竟我们大家最终都得去求职。我个人非常庆幸，目前我的工作性质要求我必须与人面对面交流，这种工作方式更具实体感、更贴近现实。
Karpathy：不过，你能在家办公吗？但我可以。
主持人：我觉得其中有些关于人际关系的部分比较难处理，但大部分我应该可以应付。
Karpathy：我觉得这其实很难一概而论，因为就业市场本身就非常多样化，不同领域的情况肯定会不一样。
但总体来看，这些工具非常新，同时也非常强大。对大多数人来说，第一步其实只是尽量跟上它的发展节奏。很多人要么低估它，要么对它感到害怕，这其实都可以理解。
但从当前阶段来看，我更倾向于把它当作一种赋能工具。因为一份工作本质上是由一系列任务组成的，而其中一些任务现在可以被大幅加速。所以现阶段更合理的认知，是把 AI 当作工具来使用。
至于更长期的影响，其实是很不确定的。坦白说，这件事很难准确预测，我自己也不是专门做这方面研究的。更系统的判断，可能还是要交给经济学家来做。
主持人：不过，你毕竟是一名工程师。而且有一点我觉得挺有意思的，那就是对工程类职位的需求，目前正持续增长。是啊，我也搞不清楚这究竟只是个暂时现象，还是别的什么。对此，我心里其实挺没底的。你怎么看？
Karpathy：是的，这有点像需求侧的问题。过去软件其实是稀缺的，对吧？之所以没有更多的软件需求，很大程度上是因为供给太少、成本太高。
但一旦门槛下降，就会出现杰文斯悖论。也就是说，当某样东西变得更便宜、更高效时，需求反而会增加。一个经典例子就是 ATM 和银行柜员。当年很多人担心 ATM 会取代柜员，但结果是银行网点的运营成本下降了，于是网点数量增加，反而雇了更多柜员。这就是典型的杰文斯悖论 —— 成本下降，释放出被压抑的需求。
所以在软件工程领域，我其实是比较谨慎乐观的。我确实觉得软件的需求会变得非常大，只是生产成本大幅降低了。短期来看，很难精确预测，但至少在当前阶段，我觉得软件需求会增加。
因为软件本质上是在处理数字信息，而这种能力是非常强大的。你不再需要被动接受那些现成但并不完美的工具，也不需要被迫订阅已有的软件。代码变得更加短暂、可塑，可以随时修改、重写。
所以我觉得，在数字空间里会出现大量「重布线」的行为，从某种意义上说，一切都在被重新构建。这会带来大量新的需求。
但从长期来看，就不好说了。比如像 OpenAI、Anthropic 这些机构，它们也就雇了大概一千人左右的研究人员。而这些人本质上是在努力自动化自己的工作，这正是他们在做的事情。
主持人：那些研究人员中，有些人其实也能感受到那种精神状态，对吧？因为他们能真切地体会到，这确实奏效了。没错，正是如此。所以他们会觉得：这对我自己来说，也是有益的。
Karpathy：我当时还花了不少时间在公司里到处和人聊，我就问他们，你们有没有意识到，如果我们真的成功了，那我们自己其实也会失业。我们本质上是在为 Sam，或者董事会之类的人，构建自动化系统。
也就是说，我们是在打造一种系统，最终可能把我们自己的工作替代掉，最多就是在边缘做一些贡献。从这个角度看，其实还是挺让人不安的。
主持人：在某个前沿实验室里，利用大规模的计算资源，和一群同事一起从事自动化研究。毕竟，何乐而不为呢？
Karpathy：我之前也在那样的环境里待过一段时间，后来又重新回到这个问题上来看。所以在某种程度上，我是认同这种说法的。但这个问题其实可以从很多角度去理解。
我会说，我对人们在前沿实验室之外所能产生的影响，其实是比较有信心的。不只是行业内部的角色，还有更偏生态层面的角色。比如你的角色，就是一种生态层面的参与；我现在做的事情，其实某种程度上也属于这一层。我觉得人在这些位置上，是可以产生很大影响的。
反过来说，我也觉得，如果一个人把自己过度绑定在前沿实验室上，是存在一些问题的。因为本质上，你在这些机构中会有非常强的经济激励。同时，你自己也承认，这些 AI 技术会对人类社会产生非常深远的影响。而在这种情况下，你既是在构建这项技术，又在从中获益，在经济上与它高度绑定。
这其实是一个很核心的矛盾，也是当初 OpenAI 成立时就试图解决的问题之一。所以，这里面本身就存在一种张力。
这个矛盾其实并没有真正被解决。这是第一点。
如果你在前沿实验室内部，你就不再是一个完全自由的个体，也无法以完全独立的方式参与讨论。有些话你不能说，也有一些是组织更希望你去表达的。虽然不会有人强迫你，但你会感受到一种无形的压力，知道哪些话应该说。否则就会变得很尴尬，会有那种微妙的眼神，仿佛在问你在做什么。
所以你很难成为一个真正独立的行动者。相对来说，在这些实验室之外，我反而觉得自己更接近站在人类整体利益的角度，因为不需要承受这些压力，可以更自由地表达。
当然，在前沿实验室内部也可以产生影响。那里有很多优秀的研究者，也许你就是其中之一，也许你的想法很重要。而且很多关键决策是在那里发生的，你可能也希望自己能在这些讨论的现场。
不过我觉得目前整体的「赌注」还比较低，所以一切看起来都比较平和。但当未来 stakes 真的变高时，如果你只是一个组织里的员工，我不确定你到底能对组织的最终决策产生多大影响。本质上你并不掌控这个实体，你只是参与讨论、提供想法的人。
这就是一种潜在的错位。
另一方面，我也确实认同一个观点：这些实验室本身是相对不透明的，它们处在能力前沿，掌握着未来的发展方向。如果你不在其中，你的判断很可能会逐渐偏离，因为你无法接触到那些正在发生的事情。
我自己也会有这种担忧，担心逐渐失去对这些系统底层机制和未来演进路径的真实理解。所以从这个角度看，保持与前沿的连接是很重要的。如果有机会在这些实验室待一段时间，做一些真正有价值的工作，然后再回到更广阔的环境中，这也许是一种不错的方式。
所以在我看来，在 OpenAI 这样的机构里当然可以做出非常出色的工作，但同样也有可能，最有影响力的工作反而是在这些机构之外完成的。
主持人：不，这更像是在呼吁成为一个独立研究者，自己去做大量研究。
Karpathy：在外部其实有很多事情可以做，而且我觉得某种程度上，一个理想的状态可能是来回切换。你既可以在前沿实验室里工作一段时间，也可以在外部做自己的事情。
本质上，你在这两种环境中都可以产生非常大的影响。所以这确实是一个很复杂的问题，没有简单答案。
对我来说，可能就是阶段性地进入前沿实验室，再出来，然后未来也许还会再回去，这样在不同环境中切换。
开源模型 vs. 闭源模型
主持人：我也会从这个角度去看这个问题。其中一个关键问题是，整个世界或者 AI 生态，对前沿能力到底有多大的可见性？比如说，开源模型距离前沿到底有多近，以及这种状态是否可持续。
我觉得最近这一系列发展其实挺让人意外的。从最开始只有少数几个中国模型和全球模型，到现在大家还在持续发布，而且很多模型在能力上已经比行业预期更接近前沿。
这一点确实挺出乎意料的。
你作为一个长期参与开源的人，会怎么判断这个趋势？你对未来的预测是什么？
Karpathy：大致来说，现在的情况是，闭源模型仍然领先，但大家已经开始用落后多少个月来衡量开源模型与前沿的差距。
一开始是完全没有可比性，然后差距大概在 18 个月左右。接着逐渐收敛，现在可能已经缩短到 6 到 8 个月这个量级。
我自己当然是开源的坚定支持者。比如在操作系统领域，你有像 Windows、macOS 这样的闭源系统，它们是大型软件项目，有点类似未来的 LLM。但同时也有 Linux，而且 Linux 是一个非常成功的开源项目。它运行在绝大多数计算设备上，至少我上次看到的数据，大概有 60% 左右的设备在运行 Linux。
这背后的原因是，整个行业始终有一种需求，需要一个大家都可以信任的、共同的开放平台。
我觉得现在也是一样，市场对这种开源基础设施是有需求的，这也是为什么会有这么多投入。
但最大的不同在于，这一切现在都高度依赖资本。
这也让开源在竞争上变得更困难一些。不过我还是认为，现在的模型已经非常强了。
另外一个很有意思的点是，对于绝大多数消费级场景来说，甚至很多开源模型其实已经足够好用了。而且如果再往后看几年，很大一部分相对简单的使用场景，可能都会被很好地覆盖，甚至可以在本地运行。
但与此同时，始终会存在对前沿智能的需求，而且这部分需求的体量可能非常大。只是它的形态可能更偏向于一些高价值、高难度的任务，比如类似诺贝尔奖级别的研究，或者像把 Linux 从 C 迁移到 Rust 这种大规模工程。这类更复杂、更长期的项目，可能会更多地依赖那些前沿的闭源模型。
而开源模型则会逐步覆盖大量更基础的使用场景。某种程度上，今天属于前沿能力的东西，可能到今年晚些时候就会变成开源，并承担大量实际工作。
所以我其实预期这种结构会持续下去：一边是前沿实验室提供的闭源模型；另一边是开源模型，始终落后几个月，但不断追赶。
我觉得这种格局整体上是比较健康的。因为如果所有最强的智能都集中在少数闭源系统中，其实会带来一定的系统性风险。从历史来看，过度集中化往往并不是一个好的长期结构。
所以我希望存在这样一种形态：它不一定处在能力最前沿，因为前沿本身是新且不确定的；但它稍微落后一些，作为一个所有人都可以使用的公共工作空间。
也就是说，一个整个行业都能访问的通用智能层。我觉得这样的结构，可能会形成一种相对健康的权力平衡。
主持人：是的，我也觉得还有很多问题需要解决。如果我们继续推动前沿智能的发展，就能解锁新的能力。而人类面临着很多非常重大的问题，确实需要更强的模型才能解决。
但这条路本身是非常昂贵的，所以我也会支持那些在前沿持续投入的实验室。因为有些问题，如果不持续推进这些高成本的能力边界，是无法解决的。
与此同时，你说得也对，如果今天的前沿能力能够逐步开放出来，那本身就是非常强大的能力释放。这种能力的普及和民主化，其实是非常有价值的，也是一种更健康的状态。
Karpathy：是的，我觉得某种程度上，我们现在其实是意外地处在一个还不错、甚至接近最优的状态。
不过我也会说，在闭源这一侧，最近其实有点进一步集中化的趋势。很多前排玩家未必都是最顶级的那一批，这一点并不理想。
我个人会更希望有更多前沿实验室存在。因为我本能地对集中化是比较警惕的。我希望有更多人参与进来。我也希望在解决最难问题时，是一群人共同参与，而不是少数几个人在封闭环境里做决策。
我不太希望出现那种关起门来只有两三个人决定一切的局面，那不是一个健康的结构。
所以简单来说，我希望有更多实验室参与进来。同时，我也觉得开源有它很重要的位置。它现在稍微落后一点，其实反而是一件好事。
自主机器人与 AI 的进化
主持人：好，你之前做过通向通用机器人自主能力的前期工作，对吧？
最近这几个月，机器人领域也发生了很多变化，比如在环境泛化、任务泛化方面都有明显提升，能够完成更长时间跨度的任务，同时也有大量资金涌入这个方向。
所以问题是，这件事真的会发生吗？在你看来，最近有没有什么本质性的变化？
Karpathy：我的看法很大程度上来自于我在自动驾驶领域的经历。我确实觉得，自动驾驶其实是第一批真正落地的机器人应用。
回到十年前，当时有很多创业公司，但我感觉大多数最终都没有走到最后。我看到，这个领域需要极大的资本投入和很长的时间周期。所以我认为，机器人之所以难，是因为它涉及真实世界，复杂、混乱，而且需要巨额投入和强烈的长期信念。这是一个非常大的问题，本质上原子世界太难了。
所以我觉得，机器人会落后于数字世界的发展。在数字世界中，会出现一次巨大的解锁，很多原本效率不高的事情会被提升一个数量级甚至两个数量级，因为处理比特要容易得多。
所以从现在来看，变化最快、最剧烈的，还是数字空间；而物理世界会相对滞后。
但我觉得很有意思的一点是两者之间的接口。如果未来有越来越多的 agent 代表人类行动，彼此协作、参与某种 agent 经济，那么纯粹在数字空间里的事情总有一天会做完。到那个时候，你必须回到现实世界，去做实验、获取数据，从宇宙中获取反馈，才能继续学习。
现在之所以还有大量数字工作要做，是因为我们过去对已有数字信息的处理能力不足，人类的思考资源不够。但随着 AI 的加入，我们会逐步消化掉这些已经存在的信息，比如读完所有论文、提出各种假设。
但如果系统是完全封闭在已有数据里的，最终还是会遇到瓶颈。
所以我觉得接下来的路径是：先是数字世界的大规模重构和效率提升，这里还有大量工作要做；然后会逐渐转向数字与物理的接口，比如通过传感器获取世界数据，通过执行器影响现实世界。
很多有意思的公司，可能就会出现在这个接口层，解决如何把现实世界的数据输入给超级智能，以及如何把它的决策输出到物理世界中。
至于纯粹的物理世界，我甚至觉得它的市场规模可能更大，涉及的工作量也更庞大。但问题在于，它太难了，复杂度高很多。所以它会来得更晚，但一旦到来，规模也会非常巨大。
所以整体路径可能是：先是数字世界，然后是数字与物理的接口，最后才是全面的物理世界自动化。而我现在的主要关注点，还是在数字这一层。
主持人：这个框架本身也挺有意思的。因为有些事情，其实比想象中更容易，甚至在应用层就可以做。
比如说，如果你只是考虑对物理世界的读和写，读就是各种传感器、摄像头，其实已经有大量现成的硬件基础设施。你完全可以通过一些比较聪明的方式，增强 agent 的能力，或者获取大量新的数据，而不一定需要投入特别巨大的成本，就能做出有价值的东西。
Karpathy：比如我最近看到的一些例子就很典型。比如我有个朋友 Liam，在做类似材料领域的自动化研究，我上周还去看了他们的团队。这个方向里，传感器其实就是各种昂贵的实验室设备，用来把物理世界的数据输入给智能系统。
在生物领域也是类似的。现在很多人对生物工程非常感兴趣，而这里的传感器就远不只是摄像头，而是各种更复杂的实验设备，用来读取生物系统的数据。
还有一个方向我也看到了一些公司在做，就是通过付费的方式获取训练数据。也就是说，让人类参与进来，为系统提供数据，然后作为一种数据获取机制。
主持人：我特别期待那一天的到来：我可以针对现实世界中的某项任务提出需求，给它定个价，然后直接告诉那个智能体 —— 行了，具体怎么做你自己去想办法吧。对，就是那种你去把它搞定的感觉。
Karpathy：数据这个点其实很有意思。我有点惊讶的是，现在还没有形成足够成熟的信息市场。比如像预测市场、博彩市场、股票市场，如果已经有这么多自动化参与、而且还在不断增长，那为什么还没有一种机制，让实时信息本身可以被直接定价？
所以我感觉，现在的 agent 互联网其实还很早期，还没有形成这样的机制。但这很可能是未来的发展方向之一。
所以我觉得，从更宏观的角度看，社会可能会在某种程度上重构，去服务这种系统的需求。整个行业可能会逐渐演变成一个高度自动化的结构，而人类在其中承担的角色，更像是在满足这个系统的需求，而不完全是彼此之间直接协作。
主持人：话虽如此，但我们当时正聚焦于一个非常具体的问题，即训练数据的缺失。我们需要某种类似自动化研究的机制，对吧？也就是说，我们需要让整个训练周期（或者 SFT 阶段）变得更加高度机械化。
如果模型本身不能自主完成训练，那么你就很难把这件事做成一个真正的闭环系统。尤其是当你还想通过给数据定价这种方式来驱动数据获取时，这个问题会变得更加困难。
Karpathy：是的，百分之百是这样。不过，就目前的情况而言，针对 LLM 的训练，实际上非常顺理成章，它真的与这种范式完美契合。所以，确实如此。
比如在训练这一块，其实就非常契合这个范式，而且实现起来也相对容易。你可以去优化代码，让训练跑得更快，同时也有明确的指标可以去优化。
我确实觉得，如果你围绕这些指标构建一个完全自动化的闭环系统，很可能会出现刷指标的情况，也就是系统过度拟合这些指标。
但与此同时，你也可以用这个系统去不断设计新的指标，从而扩大评估的覆盖范围。所以最终会形成一种动态博弈的过程。
整体来看，在这样的条件下，这种方法其实是相当可行的。
通弘网提示：文章来自网络，不代表本站观点。
