Andrej Karpathy 说,人们对 AI 能力的理解差距在扩大,这种认知差距正在变成一个漏斗。
约 60 亿人几乎没接触过大模型;10 亿到 20 亿人偶尔用免费版 ChatGPT 查东西、写东西,觉得用处不大,很多数学和编程以外的专业人士也在这一层,对 AI 的进步只是道理上懂。
约 2000 万人(Karpathy 按 0.2% 估算的,我觉得偏高,至少除以 10)在编程和数学里重度使用最前沿的模型,亲眼看着要做几周、几个月的项目,一段提示词发给 Agent 几天就能做完;还有约 5000 人能在公司内部用上更强的系统。
差距主要有三个原因:
一是问题够不够大,一段话就能答完的问题用不到 AI 的真本事。
二是能力只在部分领域冒尖:编程和数学的结果能自动验证,比如代码测试通没通过,模型很适合用强化学习(做对了就给奖励)来练,这类能力卖给企业又最赚钱,厂商投入最多;文章写得好不好很难判定,进步就慢。
三是能用到哪一档,免费版、付费版、内部版看到的东西差别很大。
所以,如果你只偶尔问问免费的聊天机器人,看到的离最前沿差了好几层;如果你主要拿 AI 写东西、查资料,觉得这一年没怎么进步,这个感觉也没错。
Andrej Karpathy@karpathy
翻出今年 4 月的那条推文,因为人们对大语言模型能力的共同认知差距正在持续拉大。如今这已经不只是「两群人各说各话」,更像是一道急剧收窄的漏斗。
- 全球大约有 60 亿人(约占总人口的 75%)几乎完全没有接触过 LLM(大语言模型)。
- 大约 10 到 20 亿人(约 20%)是类似 ChatGPT 这类免费产品的零星、非高频使用者。这个群体看到的还是笨笨的聊天机器人,把它大致当作一个更好用的「Google 搜索」、写作助手,或者诸如此类的东西。可能会有智能体试着帮你订一张机票。我有一些非技术圈的朋友,他们(在我看来很合理地)说自己基本用不上它。即使是数学和编程以外的很多专业人士也停留在这一层。比如企业高管以及其他许多岗位的人,他们大部分时间都在和人打交道,所以虽然他们在智识上明白正在发生什么,但对他们来说仍然是二手的、有点抽象的事。
- 接下来是那些在数学与编程领域里把前沿级 LLM 当作生产力工具的专业使用者。大约 2000 万人(占 0.2%)亲眼见证了这样一件事:以前要花几周甚至几个月才能搞定的、又大又复杂的项目,现在用一个提示词就能交给智能体完成。开发应用、复制应用、移植应用、从二进制里反编译出应用……这一切都发生得非常快、非常近——就在不到一年前,我还在手写代码,一个字一个字地把背下来的电脑指令敲进编辑器,偶尔按一下 Tab 让它补全一小段代码。
- 最后是大约 5000 人(占 0.00006%)——他们能在内部访问到最前沿的系统。外界目前只看到了预演的片段:成百上千个智能体协同工作,花上几周时间推进软件巨型项目——挖出零日漏洞、以机器速度展开攻防演练、发现新的科学成果、推动数学的边界。换成业内顶级专业人士,这些事情原本要干好几年。与此同时,人工的审阅与理解开始跟不上节奏了。比如不少人在过去几个月里还在反复「考古」OpenAI 与 Hugging Face 之间那场风波的细节;数学家们也可能要花上好一段时间,去一页一页翻读那 722 篇前沿数学论文。
漏斗(funnel)由以下几组因素共同驱动:
- 影响随雄心、问题规模和视野放大。 一个能用一段话回答的问题,几乎不会对系统造成压力。你需要储备大量真正关心的大而难的问题。这一维度主要驱动漏斗的「消费者 / 专业人士(consumer / professional)」层面。
- 系统的参差不齐(jaggedness)(我曾就此专门撰文讨论)。能力峰值出现在那些数字化、可验证且具有经济价值的领域。这是因为大语言模型的能力源自:在一个以营收潜力为驱动的精选环境组合上,针对可验证奖励进行强化学习。这一维度主要驱动漏斗的「领域(例如数学与代码)」层面。
- 访问渠道(Access)。 免费版、付费版、内部使用。
这就是当下的诡异之处。普通大众大多还没有真正接触过这些系统;偶有接触,看起来也只是一个呆头呆脑的聊天机器人。大多数专业人士目前也只是感受到些许效率提升;只有一小撮专业人士正在体验那种曲线陡然上扬带来的眩晕感。而这一切,正在同时发生着。