全球AI军备竞赛烧掉3000亿美元，但实在在防止「终结者」的科学家，竟缺乏千人！Anthropic中心成员Benjamin Mann揭秘：当人形机器人觉悟，缺的仅仅一个「大脑」——而这一天，最早或许在2028年到来。

1亿美元，仍是看护人类？

当扎克伯格挥舞九位数支票张狂「挖墙脚」时，OpenAI前安全大将Benjamin Mann仅仅淡淡一句：「钱能买模型，却买不到安全。」

最近的播客，Anthropic联创Benjamin Mann揭秘了为何OpenAI安全团队出走，为什么他对1亿美元坚决说「不」。

顶尖AI人才是年代英豪，真值1亿美元

最近，扎克伯格砸钱挖尖端AI人才。

这是年代标志，这些人才打造的AI极有价值。

Benjamin Mann表明，团队丢失并不严峻：

在Meta，最好的结果是「赚到钱」；但在Anthropic，最佳结果是「改动人类未来」。后者更值得。

对Mann来说，这个挑选并不难：绝不承受Meta的天价offer。

咱们正处于史无前例的Scaling年代，且只会更张狂。

Anthropic每年本钱开支增加一倍，速度惊人。

这便是职业现状——好模型便是印钞机。

但在Anthropic，Meta的「钞票攻势」并未掀起大风波。除了任务感，还有两大诀窍：

团队气氛——「这儿没有大佬光环，咱们只想做对的事。」

自由挑选——「有人为家庭承受天价offer，我也了解。」

Benjamin Mann承认，1亿美元的签约费的确存在。

Mann算了一下账：假如推理功率提高5%，整个推理栈本钱将节约数亿美元。一亿美元换来这改善，报答惊人。

往后看，几轮指数级增加后，或许会到达万亿级数字。那时，咱们很难幻想这些这些惊人报答的含义。

究竟，他表明AI开展没有阻滞，Scaling Law仍旧有用，发展继续加快。

Scaling Law未死：每月一个「新物种」诞生

榜首，模型发布节奏在加快：

曩昔，咱们或许一年发布一个模型；

而现在，通往后练习，简直每个月或每三个月就会发布一个模型。

为何感觉发展慢了？部分原因在于，普通人觉得新模型不如老模型聪明。

实际上，Scaling Law依然有用，但为了继续连续Scaling Law，需求从预练习转到强化学习。

别的，某些任务上，模型智能已挨近饱满。

新基准测验发布后，6-12个月内功能就饱满了。

所以，要害约束或许是测验自身：更优的基准和更具大志的任务，才干展示模型实在的智能打破。

这也引发了Mann对AGI界说的考虑。

经济图灵测验，奇点风向标

他以为AGI这个字情感颜色激烈，他更喜爱运用「革新性AI」（transformative AI）这个词。

革新性AI重视是否能在社会和经济中带来革新。

详细的衡量规范便是经济图灵测验（Economic Turing Test）：

在某个特定职位上，试用了1到3月，终究决议招聘某个人，终究发实际际上他是机器而不是人，那AI就经过了经济图灵测验。

换句话说，AGI不是考试分数，而是老板的聘任邮件！

AI能经过约50%（按薪资核算）作业岗位的经济图灵测验时，就意味着革新性AI的到来。

由于社会制度和安排具有惯性，这种改变开端会十分缓慢。

Mann和Dario Amodei都预见到，这或许导致高达20%的赋闲率，尤其是在白领作业中。

从经济的视点来看，赋闲有两种：技能缺乏或岗位彻底消失。未来会是这两者的结合体。

$$世界上强奸最多的人$$$$假如咱们未来具有安全对齐的超智能，那么就像Dario所说，咱们将具有一群在数据中心作业的天才，推进科学、技能、教育和数学的活跃革新。那多么令人惊叹！

但这也意味着，在一个劳作简直是免费的国际里，不管你想做什么，都能够让专家为你做。那么，作业将是什么姿态？

因而，最可怕的是，从今天人们还具有作业的国际，到20年后那样一个国际的过渡十分敏捷。

但正由于它的改变如此剧烈，这才被称作「奇点」——由于这个时刻点无法容易猜测。

物理学上，奇点是一个体积无限小、密度无限大、引力无限大、时空曲率无限大的点，在这个点，现在所知的物理规律无法适用

那时候的革新极快，底子无法预见。

跟着AI才能的提高，许多本来由人工完结的任务正被AI代替，尤其是那些重复、简略、规范化的作业。

这一改变对职场的影响敏捷且深远。

例如，在软件工程方面，Claude Code团队用Claude完结了95%的代码。可是，从另一个视点来看，这意味着平等人力能够写出更多的代码。

类似的状况也呈现在客服范畴。AI东西能够自动处理82%的客户恳求，然后人类职工能够专心于更杂乱的问题。

但对低技能、提高空间有限的岗位，代替仍会十分剧烈。社会有必要提早应对。

未来生计攻略

未来的职场会是怎样的呢？

即便身处这场革新的中心，Benjamin Mann以为自己也逃不过被AI代替的风险。

总有一天，这将影响到到所有人。

但接下来的几年至关重要。现在，还没有到能够彻底代替人的阶段。

现在还处在指数曲线的起点——平整的那一段，这儿还仅仅开端。

所以具有优异的人才依然极端重要，这也是Anthropic活跃招聘的原因。

主持人换个了问法，继续诘问：「你有两个孩子。那你觉得给什么样的教育，下一代才干在未来安身？」

Mann以为，其时的教育教授常识和技能，但未来这些传统规范或许不再适用。

与其让孩子只为考试做预备，不如培育她的好奇心和处理问题的才能。

他期望女儿能探究自己感兴趣的范畴，培育独立考虑和创造力。

在AI主导的国际里，创造力和情感智力将成为与机器竞赛的要害。

未来充溢不确定性，拥抱改变、不断学习和习惯，将是成功的要害。

内情：OpenAI榜首次割裂

众所周知，在2020年末，Benjamin Mann和别的八位搭档脱离了OpenAI，创办了Anthropic。

是怎样的阅历让他们决议自立门户？

其时，Mann是OpenAI GPT-2、GPT-3项目成员，是GPT-3论文的榜首作者之一。

论文链接：https://arxiv.org/abs/2005.14165

他向微软演示了许多技能，给OpenAI拉来了10亿美元出资。一起他还担任把GPT-3技能迁移到微软的体系，便于在Azure上布置和供给服务。

在OpenAI，他既参加研讨，也参加产品落地。

其时，奥特曼总是说：

OpenAI三大「阵营」需求相互制衡：安全阵营、研讨阵营和创业阵营。

Mann以为这很荒唐——安全应是全员中心方针，而非某个「阵营」的责任。

究竟，OpenAI的任务是「让通用人工智能安全、惠及世界上强奸最多的人全人类」。

2020年末，安全团队发现：

•安全优先级继续下降；

•鸿沟风险被忽视。

终究整个安全担任人团队团体出走。这便是他们脱离的底子原因。

理由很单纯：AI要把安全放到榜首优先级，但一起要站在研讨最前哨。

被爆出「赛博舔狗」之类的问题，很难说OpenAI真的介意安全——

安全研讨人员继续在丢失……

而Claude很难犯这类过错，由于Anthropic投入了很多精力进行实在的对齐，而不仅仅是企图优化用户参加度目标。

人生任务：AI安全

国际上实在致力于AI安全问题的人十分少。

即便现在，全球一年在AI基础设施上的本钱开支已达3000亿美元，但实在全职研讨「对齐问题」的人，Mann估计不到一千。这更坚决了他们「专心安全」的决计。

Mann曾忧虑，只需寻求商业速度，就得献身安全。

但在Opus 3发布后，他认识到对齐研讨反而让产品更具人格魅力，两者呈「相互加快」的凸性联系——越专心安全，模型越受欢迎。

Anthropic的绝技是「宪法度AI」：他们把联合国人权宣言、苹果隐私条款等准则写成自然言语清单，内嵌进模型。比起传统人工标示，让AI的价值观更体系，也减少了成见。

初衷

把AI安全作为AI范畴中一切作业的中心，这也和Mann阅览很多科幻小说有很大联系，这让他习惯于用一种面向未来、长时刻视角来看待国际。

但实在让认识到这件工作的实际紧迫性，是在2016年左右他读了Nick Bostrom的《超级智能》（Superintelligence）。

那本书让他榜首次深入认识到，AI安全并不简略，或许是未来人类命运最要害的议题之一。

读完之后，他马上决议加OpenAI，付诸行动。

开端，OpenAI并不清楚怎么完成AGI。其时乃至设想过，或许需求一群强化学习（RL）智能体在一个孤岛上打开竞赛，终究认识会自发地呈现。

但自从言语模型取得了发展后，完成AGI的途径变得愈加清晰。

书中更多评论的是：怎么将「天主」关在盒子里，防止它从盒子里逃脱。

现在，Mann觉得实际更挖苦：许多人反过来，自动把「天主」请出盒子，还把银行账号交给它。

有备无患

他并非全盘否定。Mann的安全哲学像「强制性登机查看」：

• 概率再小≠零：「1%坠机率的航班你敢坐吗？」
• ASL-5警报：将AI风险分级为「致人逝世→灭绝人类」，对标核武器管控；
• 自曝家丑：Anthropic定时发布模型「违法记载」，哪怕露出缺点——「职业前进需求实在价值」。

他的中心逻辑：「咱们期望AI是救世主，但有必要按它会是终结者来防范。」

现在的AI仅仅运行在核算机上，或许仅限于在网络上查找东西，其潜在损害相对较小。但当AI进入到机器人和自主智能体时，才是最大的风险。

假如咱们没有做好预备，问题就会变得极端严峻。

奇点将至，Mann以为留给人类的时刻不多了：

• 2024-2026：硬件本钱骤降，人形机器人只剩两万美元，缺的仅仅大脑」；
• 2027-2028：依照最新陈述《AI 2027》，奇点节点或许推迟到2028——但也只多争取了一年；
• 2030今后：若成功安全对齐，人类将进入「数据中心里的天才国度」；否者，结果难以估计；

实在的瓶颈：硅、算法与电

当同行沉迷于RLHF（人类反应强化学习）时，Anthropic已升级到RLAIF：让AI自我批评与批改，功率超人工千倍——但若「自查机制」有盲区，等于「蒙眼开火箭」。

而其时最大瓶颈竟是物理约束：

• 算力饥馑：若有10倍电力，GPT-5明日就能面世；
• 硅的咒骂：7nm芯片的物理极限迫临，算法前进开端「挤牙膏」；
• 数据荒漠：高质量语料行将耗尽，AI或许堕入「自我抄袭循环」。

经过算法、数据和功率的改善，职业中单位智能的本钱下降了10倍。

因而，具有更多能做出更好研讨的研讨人员，找到怎么进一步提高模型体现的途径，也是一个瓶颈。

参考资料

https://www.youtube.com/watch?v=WWoyWNhx2XU&t=1078s

本文来自微信大众号“新智元”，作者：KingHZ，36氪经授权发布。