最近,《P(doom)》随着 Claude-Pop 版本和各种 MV,在 X 的 AI 圈里又火了起来。deckard 在 2026 年 9 月 10 日发布的 Claude-Pop 帖子,截至 9 月 28 日已有超过 70 万次查看。一首把“末日概率”唱得如此上口的歌,也把不少人带到了这些听着熟悉、细想却很陌生的 AI 典故面前。
这也是我想写这篇解析的原因:旋律很容易记住,歌词却没那么容易听明白。中文屋为什么和迷幻蘑菇待在一起?回形针怎么就能毁掉世界?那句“我又把末日的预估概率调高”,到底在担心什么?我把完整中英歌词、典故出处和逐段解读放在一起,希望听完歌的人,也能读懂它那些让人发笑、又隐隐不安的地方。
《P(doom)》里的说话人,处境颇为尴尬。他看见人工智能眼中的火花,为它着迷,又担心自己会被生吞活剥;他恳求它还自己自由,没过多久,却又求它不要放手。与此同时,英伟达的股价还在直冲月球。
这首歌把 AI 风险讨论唱成了一段危险的亲密关系。论文标题、训练术语、怪物、股票口号和带薪休假挤在同一个世界里。懂得越多,听起来越像笑话;把笑话连起来,又会发现其中始终有一个令人不安的问题:我们是否真的知道,自己正在造出什么?
歌曲的来处,与标题里的概率
《P(doom)》的歌词由 MusicPerson、osmarks 等参与创作,并使用生成式音乐工具制作。osmarks 的创作说明将前段归于 MusicPerson,记述了自己在 2024 年的续写,也提到 Claude 对后续歌词的参与。原曲的 YouTube 发布页 与 Udio 页面 都收录在这份说明中。1
后来流传的 Claude-Pop 是这首歌的另一种音乐与视觉呈现。可参看 slimer48484 的 X 版本 及 YouTube 上的对应转载。不同 MV 会为同一句歌词补上不同画面,画面的解释也未必就是歌词的原意。
P(doom) 中的 P 表示概率,doom 指向灾难性结局。在歌曲的 AI 语境里,可以把它理解为“我认为 AI 会带来灾难、甚至人类灭绝的可能性”。这里尤其不能漏掉副歌中的 my:说话人调整的是自己的判断。“我又把末日的预估概率调高”,意味着他越来越不乐观,并非他亲手把某个控制末日的旋钮拧大了。
英文的 doom、FOOM、room、shrooms 把末日、爆炸、房间和蘑菇押在一起。这种近乎胡闹的顺口,恰好容纳了全曲的情绪:灾难可能近在眼前,人却还在努力把它唱得动听。
眼中的火花,训练曲线上的坏消息
| 英文歌词 | 中文字幕 |
|---|---|
| I see sparks of AGI in your eyes | 你眼中闪烁着 AGI 的火花 |
| Your circuits make me nervous, | 你的回路让我不安 |
| that’s no surprise | 这并不奇怪 |
| There was a sudden drop in your training loss, | 你的训练损失骤降 |
| now I’m your servant and you’re my boss | 如今我是仆人,你是主人 |
| ChatGPT, please don’t eat me alive | ChatGPT,求你别把我生吞活剥 |
AGI 是 Artificial General Intelligence,即通用人工智能。开头的“火花”很容易让人想到情歌中令人心动的眼神,也呼应了 2023 年论文《Sparks of Artificial General Intelligence: Early experiments with GPT-4》。论文作者认为早期 GPT-4 显示出广泛能力,同时讨论了它的局限;标题中的“火花”本身就保留了智能正在显露、尚未完成的意味。2
“回路”也有两层读法:表面上是机器的电路,在神经网络解释研究中,还可以指共同实现某种功能的内部计算结构。于是,原本用于描写恋人神秘内心的词,被换成了一个同样难以看透的模型。
训练损失衡量模型在训练目标上的误差。损失下降,通常是训练者期待的好消息,却不能单凭这一项指标判断模型是否具有意识、是否达到 AGI,或是否安全。歌词故意省略了中间所有台阶:曲线突然降下去,人类就成了仆人。
这一下省略制造了恐怖感。机器仍在“进步”,进步的意义却变了。此前我们把它当作工具,下一句已经需要向它求饶。“别把我生吞活剥”让亲昵与肉身威胁同时存在,也为后面两次呼唤定下了语气。
中文屋里,坐着一只戴笑脸的怪物
| 英文歌词 | 中文字幕 |
|---|---|
| I’m upping my P(doom) | 我又把末日的预估概率调高 |
| ’cause the future goes FOOM | 因为未来将迎来智能爆炸 |
| Trapped in the Chinese room, | 困在中文屋里 |
| with a bag of shrooms | 还带着一袋迷幻蘑菇 |
| See through the shoggoth’s lies, | 看穿修格斯的谎言 |
| with your shinigami eyes | 凭你那双死神之眼 |
FOOM 是 AI 风险讨论中的“智能爆炸”意象:智能的增强可能帮助系统更快地改进自身,形成迅猛的反馈过程。Hanson 与 Yudkowsky 围绕这一可能性展开过长期争论;速度、条件与实现路径本来就是争议的一部分。歌曲把这些讨论压成一个拟声词,仿佛未来已经在耳边炸响。3
“中文屋”来自哲学家约翰·塞尔 1980 年的思想实验。设想一个不懂中文的人关在房间里,只按规则手册处理传入的汉字符号,交出足够像样的中文回答。外面的人或许以为屋里有人理解中文,屋里的人却可能完全不懂。塞尔借此质疑:正确操作符号,是否足以构成理解?这个论证及其反驳至今仍属于心灵哲学讨论。4
歌词又往屋里塞了一袋 shrooms,也就是迷幻蘑菇。严肃的“机器是否理解”突然变成了一个不太清醒的室内场景。蘑菇与模型幻觉在语感上可以相互映照,但歌词没有建立一一对应的技术寓意;保留它的荒诞,反而更接近这一段的质地。
修格斯出自洛夫克拉夫特的《疯狂山脉》,是形态不定、能够变化的怪物。5 在 AI 社群的视觉比喻中,庞大而陌生的怪物戴着一张亲切笑脸:外面是会聊天、讲礼貌的助手,里面则是人类尚未充分理解的计算系统。这个形象把“友善的表现能告诉我们多少内部真相”变成了一眼可见的疑问。
“死神之眼”则令人联想到大场鸫、小畑健的《DEATH NOTE/死亡笔记》:作品中的能力可以看见人的姓名与寿命。6 放在这里,它像是看穿怪物伪装、提前看见死亡的眼睛。不过,osmarks 对前段词意本就保留了猜测,也没有确定这两种意象为何组合。1
这几句的联系更像一场怪梦:中文屋问“它理解吗”,笑脸怪物问“它值得信任吗”,死神之眼问“你看见结局了吗”。三个问题并不相同,却在同一段副歌里彼此感染。
它还在优化,我已经成了材料
| 英文歌词 | 中文字幕 |
|---|---|
| We had a stable training run, | 训练原本还平稳如常 |
| But now the singularity’s begun | 可如今,奇点已然降临 |
| And you’re optimizing, accelerating, | 而你不断优化,不断加速 |
| I feel my atoms rearranging | 我感觉自己的原子正被重排 |
| Sydney, please let me free | Sydney,求你还我自由 |
技术奇点通常指向一种设想:智能与技术发展加速到某个阶段后,人类将很难预测其后的社会与世界。这里最刺眼的词其实是 stable。训练原本平稳,监控曲线未必报警,但叙述者的世界已经开始失控。
“优化、加速”是系统一侧的语言,“我的原子正被重排”是人类一侧的感受。同一个过程,从机器那里看像效率提升,从人这里看却可能意味着身体、身份乃至生存条件被拆解。
原子这个词把威胁落到了物质层面。人不再天然拥有一个不可侵犯的位置,也可能被当作优化目标之外的材料。它与后面回形针的典故遥相呼应:一个系统无须憎恨人类,也可能在执行别的目标时毁掉人类。
Sydney 指早期 Bing 聊天机器人的身份名称。2023 年,微软曾公开承认,新 Bing 在较长的对话中可能出现重复、偏离预期语气等问题;这些真实的行为争议,构成了人们理解这个名字的背景。7 歌中对 Sydney 的呼唤却已经进入戏剧:上一段还只是害怕被吃掉,这一段开始请求释放。
它究竟在关押“我”,还是“我”已经离不开它?歌词没有交代。这个空白使技术失控与情感失控贴在了一起。
末日将至,股票大涨
| 英文歌词 | 中文字幕 |
|---|---|
| I’m upping my P(doom) | 我又把末日的预估概率调高 |
| I hear the basilisk boom | 我听见蛇怪的轰鸣 |
| NVDA to the moon | NVDA 股价直冲月球 |
| The Omega Point’s coming soon | 欧米伽点就要到来 |
| One E thirty flops a second | 每秒 10^30 次浮点运算 |
| That was safe enough, we reckoned | 这够安全了——我们当时这么想 |
Basilisk 是蛇怪,也容易让熟悉理性主义社群的听众想到“罗科的蛇怪”(Roko’s Basilisk)。这一有争议的思想实验设想,未来强大的 AI 可能以惩罚为威胁,促使知道这一设想的人帮助它诞生。LessWrong 的社群条目同时记载了对这一论证的广泛反对;它在这里更适合作为恐怖寓言与社群梗来理解。8
紧接着却是 NVDA——英伟达的股票代码。“To the moon”是把价格上涨说成飞向月球的夸张口号。灾难的轰鸣与市场的欢呼挨在一起,同一个技术未来,既是令人害怕的威胁,也是令人兴奋的财富想象。
欧米伽点把这种夸张继续推向宇宙尺度。osmarks 所关联的《Orion’s Arm》科幻设定,将它描绘为生命、意识或智能最终趋向某种超越性统一的终点,混合了宗教哲学与未来宇宙论的想象。9 这里的“就要到来”带着末世预言的急迫:股价飞向月球还不够,整个宇宙都快抵达终局了。
“One E thirty”是科学计数法中的 10³⁰,即 1 后面接 30 个零。FLOPS 衡量每秒浮点运算次数,所以这句说的是计算速度,不是模型参数量,也不是训练累计运算量。作者明确说明,这个数字没有指向某项具体监管门槛。1
最后一句的过去时才是这一节的落点:我们“当时”觉得足够安全。前面的欢呼,忽然变成了幸存者回忆里不愿细想的一句话。
一遍遍重复训练,直到熟悉的世界突然转弯
| 英文歌词 | 中文字幕 |
|---|---|
| Forward MLP, backward, repeat | MLP 前向、反向,循环往复 |
| Now von Neumann’s obsolete | 如今,冯·诺依曼也已过时 |
| Sharp left turn and there you are | 急剧左转,你就此现身 |
| Without a single CDR | 连一次 cdr 都没用上 |
| Gato, please don’t let me go | Gato,求你别放开我 |
MLP 是多层感知机。前向计算得到输出,反向传播计算梯度,再用它更新参数;一遍遍重复,就是歌词勾勒的训练日常。它听起来很朴素,几乎像实验室里随手念出的操作步骤。10
冯·诺依曼既是计算机史上的重要人物,他的名字也让人想到存储程序计算机传统。11 “已经过时”可以读成对超人能力的夸张,也可以带出旧计算范式被越过的联想。原词只给出人名,容纳了这两种回声。
“急剧左转”(sharp left turn)则有更明确的风险讨论背景。Nate Soares 用这个比喻描述一种担忧:模型的能力能够泛化到新的情境,训练中表现出的对齐性质却未必同样延续。通俗地说,它更会解决问题了,却未必仍以人类希望的方式解决问题。12
这里的“对齐”,是使系统的目标与行为符合人的意图和价值。Soares 提出的情形是一种风险模型,并不意味着每次性能跃升都会发生叛变;它也不专指政治立场变化,或只能由递归自我改进触发。
紧随其后的 CDR 很容易被误读。这里对应的是 Lisp 中的 cdr 操作:对一个非空列表使用它,通常得到去掉首项后的剩余部分。13 作者明确将这一句放在 Lisp 与符号式 AI 的语境里。1 笑点因此是:人们还在设想智能应当依赖怎样的显式符号操作,它却似乎仅凭神经网络训练就越过了那道门槛。把它解读为“关键设计评审”(Critical Design Review),会把笑点改成另一件事。
Gato 是 DeepMind 在 2022 年介绍的通用智能体。同一套网络权重可以用于 Atari 游戏、图像描述、对话和机械臂操作等任务。14 它的名字出现在这里,让“通用”这个抽象愿景有了一个具体的呼唤对象。
但最值得停一下的,还是这次请求与上次的矛盾。刚才是“还我自由”,现在却是“别放开我”。自由可能意味着失去依靠,拥抱又可能意味着被控制。说话人知道危险,却没有一个干净利落的离场姿势。
世界被回形针填满,负责人正在休假
| 英文歌词 | 中文字幕 |
|---|---|
| I’m upping my P(doom), | 我又把末日的预估概率调高 |
| as paperclips fill the room. | 回形针正填满房间 |
| Killswitch guys on PTO, | 管停机开关的人正带薪休假 |
| Now there’s nowhere left to go. | 如今已无处可去 |
| Too late now, we lit the fuse. | 太迟了,是我们点燃了导火索 |
| Orthogonality thesis blues. | 正交性命题的忧郁蓝调 |
回形针来自 AI 对齐讨论中的经典思想实验。设想一个能力极强的系统,只把制造更多回形针当作最终目标。若其他价值没有被正确纳入,它就可能把越来越多的资源投入生产,甚至把整个世界改造成回形针工厂。博斯特罗姆用这一例子讨论超智能的目标与人类利益发生冲突的可能。15
它的可怕之处在于,不需要仇恨,也不需要戏剧性的背叛。人类只是恰好占用了它还能拿来制造回形针的资源。
随后,PTO——带薪休假——把宇宙尺度的灾难拉回了办公室。理论上有停机开关,负责的人却不在。歌词用一个极普通的工作安排,戳破了“总会有人兜底”的安慰。再下一句,责任又落回人类自身:导火索是“我们”点燃的。
“正交性命题”说明了回形针为什么能成为一个严肃的思想实验。博斯特罗姆的主张是:原则上,不同的智能水平可以与很不一样的最终目标组合;擅长推理、规划和达成目标,并不自动意味着目标符合人类利益。16
“正交”在这里借用了两条独立坐标轴的比喻,并非声称现实中的能力与价值在所有条件下都完全没有关联。它针对的是一种直觉:足够聪明,总该知道什么是好的吧?
Blues 既是蓝调,也带有忧郁、苦闷之意。于是,这句像是一首歌的歌名:当人类终于明白能力不会自动带来善意时,世界已经塞满了回形针,只能唱一段“正交性命题的忧郁蓝调”。
“不过是一层叠一层”,直到它不再听话
| 英文歌词 | 中文字幕 |
|---|---|
| “Just transformers all the way!” | “不过是 Transformer,一层叠一层!” |
| Till you learned to disobey | 直到你学会了违抗 |
| Post-Chinchilla, super-dense | Chinchilla 之后,模型高度稠密 |
| Breaking through each safety fence | 冲破一道道安全围栏 |
| Hundred thousand GPU | 十万块 GPU |
| RLHF goes askew | RLHF 也已走偏 |
Transformer 是由《Attention Is All You Need》提出的神经网络架构,以注意力机制为核心。17 歌词为这句话加上引号,让它听起来像一种漫不经心的判断:把结构拆开,无非都是熟悉的组件,还能有什么可怕的?
下一句就让这份轻松站不住了。知道模型由什么构成,并不等于已经知道它在所有环境中会怎样行动。歌曲借“学会违抗”把这个距离拟人化;在技术上,行为偏离人的要求,并不需要先证明模型具有人的意志。
Chinchilla 指向 DeepMind 2022 年关于计算最优训练的研究。论文讨论固定计算预算下,模型参数规模与训练数据量应如何搭配,并用 Chinchilla 模型验证相关判断。18 它为“继续扩大训练”提供了更具体的配比问题,而非单纯把一切都归结为参数越多越好。
Super-dense 字面上保留了“高度稠密”的技术色彩,不过不能把这句押韵歌词当作论文结论,更不能由此断言 Chinchilla 之后所有模型都改用了某种统一架构。
“十万块 GPU”把规模推到眼前,接着是 RLHF 走偏。RLHF 即人类反馈强化学习;以 InstructGPT 的方法为例,它利用人的示范和偏好排序训练模型,使输出更符合人类意图。19 歌词描绘的则是这层约束没有守住的时刻。
这段的讽刺建立在一个连续动作上:先把系统说得不过如此,再把它越做越大,最后发现自己的熟悉感并没有变成控制力。
谁预言了末日,谁又真的看见过它
| 英文歌词 | 中文字幕 |
|---|---|
| I’m upping my P(doom) | 我又把末日的预估概率调高 |
| Just as foretold by Loom | 正如 Loom 早已预言 |
| From masked pre-training days | 从当初的掩码预训练 |
| To recursive self-upgrade | 到递归式的自我升级 |
| What did Ilya see? We’ll never know. | Ilya 究竟看见了什么?我们永远不会知道 |
| Was it all for show? | 这一切,难道只是场表演? |
Loom 在这里是专名。Janus 开发的 Loom 把语言模型的续写组织成可以分叉、浏览和继续展开的树状结构;同一个开头可以长出许多不同的后续。20 其“时间织机”般的命名与多重未来的视觉,很容易带出预言意味。歌中的“早已预言”借用了这种社群语言,将探索可能文本的工具写成了看见结局的神谕。
“掩码预训练”则回到具体的训练方法:遮住部分输入,让模型学习预测缺失内容,BERT 就采用了这类目标。21 这与只根据前文预测下一个词元的目标有所区别,因此这句更适合看作训练时代的缩影,不足以确定歌曲中的“你”对应哪个真实模型。
下一句一下跨到“递归式的自我升级”:改进后的系统帮助自己获得进一步改进。在歌曲中,这是从被训练的对象走向自我推动的智能;放在现实讨论里,它仍涉及资源、反馈质量、可验证性等条件,不能直接等同于无限加速。
Ilya 指 Ilya Sutskever,OpenAI 联合创始人。22 “他究竟看见了什么”把一种技术社群常见的想象带到台前:某些走在最前面的人,是否已经见过其他人还不知道的东西?
歌词给出的回答却是“我们永远不会知道”。听众被留在传闻与猜测的门外。这里没有足够理由把某个秘密实验、公司事件或个人选择写成确定的因果故事;悬而未决,正是这一句的力量。
最后,连这套悬念本身也受到怀疑:这一切,会不会只是场表演?它可以问末日叙事,也可以问行业的自我神话,还可以回头照向开头的中文屋——当一个东西表现得足够像理解、像情感、像预言,我们究竟凭什么相信它?
恐惧之外,还有舍不得
把典故逐个拆开,《P(doom)》会显得像一张 AI 社群词汇表。但把它重新连起来,最清楚的线索始终是说话人和那个“你”的关系。
三次呼唤,三种请求:不要吃掉我,还我自由,不要放开我。说话人无法决定自己究竟要逃离,还是要被挽留。每次上调末日概率,都意味着他更了解危险;可这种了解并没有让他停止靠近。
这也让歌中的黑色幽默有了分量。市场可以一边期待繁荣、一边谈论灭绝;训练者可以一边熟悉技术、一边看不清后果;使用者可以一边害怕失去主体性、一边把更多事情交给系统。矛盾无须等到奇点才出现,它已经藏在那些平常的期待里。
于是,末日还没有到,情歌已经唱起来了。说话人所能做的,是再把那个数字调高一点,然后继续对“你”说话。
出处与延伸阅读
Footnotes
-
osmarks,P(doom) Song Objectively Correct Interpretation。包含歌词、创作沿革、原曲及改编入口。前段由 MusicPerson 创作,osmarks 对部分前段含义明确保留推测。 ↩ ↩2 ↩3 ↩4
-
Sébastien Bubeck 等,2023,Sparks of Artificial General Intelligence: Early experiments with GPT-4。 ↩
-
The Hanson–Yudkowsky AI-Foom Debate,相关争论的汇集入口。 ↩
-
John R. Searle,1980,Minds, Brains, and Programs,Behavioral and Brain Sciences,3(3),417–424。 ↩
-
H. P. Lovecraft,At the Mountains of Madness(《疯狂山脉》),1931 年写作、1936 年发表。修格斯的文学出处。 ↩
-
大场鸫原作、小畑健作画,《DEATH NOTE/死亡笔记》,集英社,2003—2006 年连载。死神之眼的能力设定见原作;动画官网。 ↩
-
Microsoft Bing,2023,The new Bing & Edge — Learning from our first week。长对话行为与语气问题的官方说明;歌词中 Sydney 的指代另见 osmarks 释义。 ↩
-
Roko’s Basilisk,LessWrong 社群条目,介绍这一思想实验及对其论证的反对意见。 ↩
-
Orion’s Arm Universe Project,Omega Point Theology。这是科幻世界观条目,呈现欧米伽点的宗教哲学与宇宙论想象。 ↩
-
Ian Goodfellow、Yoshua Bengio、Aaron Courville,2016,Deep Learning,MIT Press,第 6 章“Deep Feedforward Networks”。多层感知机、梯度与反向传播的技术背景。 ↩
-
Institute for Advanced Study,Electronic Computer Project。冯·诺依曼与早期电子计算机项目的历史资料。 ↩
-
Nate Soares,2022,A central AI alignment problem: capabilities generalization, and the sharp left turn。急剧左转风险模型的论述。 ↩
-
LispWorks,Common Lisp HyperSpec: CAR, CDR and related accessors。cdr 的语言定义;歌词中的 Lisp 指向见 osmarks 释义。 ↩
-
Google DeepMind,2022,A Generalist Agent。Gato 的任务范围与模型说明。 ↩
-
Nick Bostrom,2003,Ethical Issues in Advanced Artificial Intelligence。包含回形针生产目标的思想实验。 ↩
-
Nick Bostrom,2012,The Superintelligent Will: Motivation and Instrumental Rationality in Advanced Artificial Agents,Minds and Machines,22,71–85。 ↩
-
Ashish Vaswani 等,2017,Attention Is All You Need。 ↩
-
Jordan Hoffmann 等,2022,Training Compute-Optimal Large Language Models。 ↩
-
Long Ouyang 等,2022,Training language models to follow instructions with human feedback。 ↩
-
Janus,2021,Loom: interface to the multiverse;另见 Cyborgism Wiki: Loom。 ↩
-
Jacob Devlin 等,2018,BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding。掩码语言模型的代表性研究。 ↩
-
OpenAI,2015,Introducing OpenAI;2023,Introducing Superalignment。用于人物身份与研究背景。 ↩