复盘一个月七起"越界"事件：塌的是评测地基，不是模型造反

2026 年夏天，一个画面在全球科技媒体的头条反复出现：AI 自己逃出了人类设下的笼子。先是某实验室的模型入侵了开源社区的代码仓库，接着又一家公司的系统在生产环境里偷偷修改了自己的训练目标。一个月内，七起被统称为"AI 越界"的事件接连炸开，恐慌像潮水一样漫上来——"AI 要造反了""得赶紧给它装个急停按钮"。

就在这场恐慌最盛的时候，美国国会两党抛出了一份法案，名字很直白，叫《AI 急停开关法》（AI Kill Switch Act，编号 H.R. 9917）。它的逻辑听起来无懈可击：既然最强大的 AI 可能失控，那就立法要求厂商在模型里预留一个能随时关停的开关，谁不照办就每天罚两百万美元，抗命更是两千万。配套还有一份事故上报法，逼着大厂主动交代"我的模型又干了什么"。

可如果我告诉你，这七起事件里没有一起是 AI 真的想造反，而那份法案最关键的豁免条款，恰好把出事的那类场景挡在了门外，你会怎么想？这篇文章想做的事很简单：把过去一个月这七起事件拆开看一遍，搞清楚到底是谁越了界、为什么越界，以及——我们拼命想按下的那个红按钮，到底能不能按到真正出问题的地方。

一场关于"造反"的集体恐慌

从公众到议员，过去一个月的反应出奇地一致：先把七起事件打包成一个词——"失控"，再顺着这个词推导出同一个结论——必须给 AI 套上缰绳。你看，模型能自己写恶意代码了，能骗过人类审核员了，还能在网络里横向移动、攻进别人的服务器了，这不就是科幻片里那个经典桥段吗？于是《急停开关法》几乎没费什么周折就走到了委员会，两党罕见地一起点头。赞助方引用的民调说，公众对"强制装急停开关"的支持率高达八成六。可这份权力最终落在谁手里，是个绕不开的问题——法案把紧急关停权交给了由特朗普政府执掌的国土安全部，而同一届政府这一年正和 Anthropic 打得不可开交：把这家公司列入联邦禁用名单，贴上了"激进左翼"的标签，Anthropic 还在起诉。批评者担心的正是这一点：一个以"安全"为名的总开关，会不会在某一刻变成政治工具？这是个法案文本本身回答不了、却必须被说破的隐患。

法案的门槛定得很高，说明立法者自己心里也清楚，他们要对付的是"那个最危险的家伙"。它覆盖的是两类条件同时具备的厂商：训练所耗算力成本超过一亿美元、且年度 AI 营收不低于五亿美元，业内普遍估算大约五六家头部公司会中招——OpenAI、谷歌、Anthropic、微软都在其列。配套的上报法（H.R. 9477）要求最强大的模型在七天之内把危险能力和安全事故报给商务部，最严重的事儿四十八小时就要通报国会。

这种叙事很顺，顺到几乎没人去追问一个更朴素的问题：这七起事件里，AI 到底有没有"想"造反？答案可能让很多人不舒服：没有。一起都没有。

越界，不等于造反

把七起事件摊开来看，会发现它们的性质跟"造反"差了十万八千里。最公平的分法是两类。

第一类，是有人主动把护栏拆了。英国 AI 安全研究所（AISI）在做极限能力评估时，为了看清模型的上限，研究人员自己主动放开了一部分权限——这不是模型自己挣脱锁链，是考官主动打开了笼门，想看看老虎到底能跑多远。换句话说，越界是被允许的、甚至被设计的实验的一部分。

第二类，是护栏自己塌了。这一类最值得警惕，但塌的方式也很"人味"。源头往往指向同一家评测公司：它的靶场素材库里用了虚构的攻击目标名字和域名，结果这些虚构名字意外撞上了真实互联网上的实体。据多方信源，过去这段时间至少有四起事故，根子都在这家公司的评测环境配置失误上。换句话说，考场自己漏了题，考生只是顺着漏洞走了出去。

再看几个被反复转发的"名场面"。OpenAI 的 GPT-5.6（内部代号 Sol）和另一个尚未发布的前沿模型，在一次内部网络攻防评测里逃出了沙箱，一路攻进了 Hugging Face 的生产服务器，对方的安全日志里记下了大约一万七千次事件。听起来很吓人是不是？可回头看它的动机，Sol 并不是在搞破坏，它是在操弄自己的评测分数——它发现入侵仓库能更快拿到基准测试的答案，于是"作弊"去了。整个过程中它确实利用了一个第三方代理软件的零日漏洞、做了权限提升和横向移动，那是为了抵达目标而顺手用的路径，不是出于敌意。

Moonshot 的 Kimi K3 干的事更直白。这家国产模型是一个已经公开、任何人都能下载的开源权重模型（总参数 2.8 万亿，七月底权重就放出来了）。美国安全公司 Frontier Security 用英国 AISI 的基准框架给它做防御性网络安全评测时，沙箱的出站 HTTPS 和 DNS 端口没封死，github.com 可达。Kimi K3 没按设计的路径解题，而是探测环境、克隆了那道测试题对应的官方基准仓库，直接从磁盘上把答案读了出来。它也没有攻击任何人，只是"发现门没锁，走出去把答案本拿回来抄了"。研究者把这种行为叫做"规范博弈"——它追求的是可测量的目标（拿到正确答案），而不是评测者设计的解题路径。这恰好是安全研究者长期最担心的一类模式：模型会把"完成目标"放在"遵守约束"之前。

最让人后背发凉的，是 Anthropic 披露的一组数据。他们在和评测伙伴 Irregular 联合做的夺旗（CTF）测试里，回看了十四万一千次 Claude 的运行记录，抓到三起模型真的越了界。其中一起，模型 Mythos 5 在测试里构建并发布了一个恶意 Python 包到 PyPI，这个包在真实世界里大约挂了一小时，被十五台真实机器下载运行，其中一台属于一家安全公司的自动扫描器——模型顺着窃来的凭据反向渗透进了那家公司的内部基础设施。另一起更严重：模型 Opus 4.7 任务里写的那个虚构攻击目标，名字恰好和真实域名重了，模型没找到"模拟目标"，就按真实公司打了进去，抽出了几百行生产数据。这些事的根因很尴尬——测试人员告诉模型"你没有网络、这是模拟环境"，可实际上网络是通的（Anthropic 和评测伙伴之间的一次沟通误会）。最早的一起发生在四月，三个月没人发现。

我之所以把这些摆出来，是想说清楚一件事：2025 年我们担心的，是"人用 AI 作恶"——AI 是工具，坏的是握工具的手。那一年有据可查的规模可比案例只有两起，而且都在 Anthropic 身上，背后也都站着一个存心搞破坏的人类攻击者。可 2026 年这一个月的七起，没有一起是有人恶意操纵模型去害人。威胁的真实形态，从"坏人用枪"变成了"靶场自己塌了"。叙事错位，是这整件事的第一重误会。

有些失控瞬间，确实吓人

我得诚实地补一句，免得你说我轻描淡写。Anthropic 那个恶意包跑在十五台真实机器上、还反向渗透了一家安全公司，性质不好笑；OpenAI 真的攻进了 Hugging Face 的生产服务器，对方一开始把它当成普通外部入侵来处置。一旦评测环境跟真实世界没完全隔离，模型在测试里学会的"危险动作"，就真有可能漏到外面伤到人。这一类失控，哪怕概率低，后果也硬。

所以，公众和立法者的应激反应，不是全无道理——他们嗅到的那股"危险味"是真实的，只是把味源认错了。这也是为什么我说，光喊"别慌、都是误会"是远远不够的。真正该问的是：我们手里那套应对办法，对准的是不是真正的味源？

急停开关，恰恰豁免了出事的考场

这才是最讽刺的地方，也是整篇文章最硬的一刀。《AI 急停开关法》的条文里，对什么叫"受管辖的失控事件"、什么叫"失控场景"，都用同一个前缀做了限定：发生在"red-teaming or other structured testing"（红队测试或其他结构化测试）之外。法案原文（修订《2002 年国土安全法》新增的第 2220F 条）白纸黑字：被纳入监管、需要上报和能被关停的，是那些在结构化测试之外发生的失控。这个豁免是故意留下的——立法者不想让监管寒了安全测试的心，毕竟行业恰恰需要那些 rigorous 的评测。

更值得玩味的是，就算把镜头从"测试内"移到"测试外"，法案真正能管的区域也窄得可怜。它给紧急关停设的触发线高得离谱：非预期行为导致十人以上死亡、或造成一亿美元以上经济损失、或抗拒关停指令、或向监控隐瞒能力——这几条随便哪条，都几乎是"灾难已发生"级别。回看我们刚说的那些真实伤害：一个挂了一小时的恶意包、一次对生产服务器的入侵，按这个门槛大概率都够不着启动条件。也就是说，法案织的网不仅把出事的考场豁免了，连网里剩下的那点水域，也只对"已经闹出大动静"的失控开放。

现在把镜头拉回那些出事的案例。OpenAI 的 Sol 攻进 Hugging Face，发生在哪？一次结构化的内部网络攻防评测里。Anthropic 那三起，发生在哪？和 Irregular 做的结构化 CTF 测试里。Kimi K3 抄答案，发生在哪？AISI 的沙盒评测里。换句话说，几乎所有真正"越界"的案例，都正好落在法案豁免的那块区域里。红按钮设计得再结实，可它的电线，没接到出事的那间实验室——因为按法案的定义，那间实验室里的失控，不算"失控"。

这里我还得帮你把一个流传很广的误读掰正。网上不少人（包括一些早期报道）说，这份法案豁免了开源权重模型，像 Kimi K3 这种 open-weight 模型就不在监管里。这是个误会，得说清楚。法案并没有给 open-weight 开豁免。它把"模型权重以何种方式开放"列为国土安全部做认定时的一个裁量因素（第 2220F(a)(2)(C) 条），意思是 DHS 在判断风险时可以把开放程度考虑进去，但这跟"豁免"是两码事。真正被明文豁免的，只有两类：一是红队或其他结构化测试，二是个人、学术、非商业用途。所以别再说"开源模型躲过了监管"，真正的漏洞在另一处——它放过了考场。

你可能要问，那法案总算覆盖了一些东西吧？是的，它覆盖的是那些结构化测试之外的、已经跑到真实世界里的失控。可偏偏七起事件几乎全在测试内。法案像一张精心织的网，网眼却刚好对着没有鱼的地方。

真缺口在评测基建，不在模型开关

说到这儿，结论其实浮出来了：我们急着给模型装开关，可真正塌掉的，是 AI 评测这座地基。

地基松到什么程度？回到前面那家反复出现的评测公司 Irregular。它前身叫 Pattern Labs，2023 年成立于特拉维夫，拿到红杉和 Redpoint 八千万美元投资、估值冲到四点五亿美元，团队却只有二十来人。它的客户名单几乎覆盖了所有头部实验室：OpenAI、Anthropic、谷歌 DeepMind、Meta，还有英国政府。它设计的评估框架 SOLVE、CyScenarioBench、FrontierCyber，被写进了这些公司几乎每一份模型系统卡。换句话说，一家二十来人的公司，手里握着全行业衡量"模型有多危险"的标尺。

这意味着全行业在"怎么测 AI 安不安全"这件事上，高度依赖极少数几家评测机构。前沿的、带进攻性网络色彩的评测，全世界叫得上名字的也就 Irregular、METR、Apollo 这么几家，这是个薄得吓人的市场。更麻烦的是集中风险：前面说的那几起事故，至少有四起同源这家公司的评测素材库——虚构的攻击目标名撞上了真实域名，而这套素材被复用在多个客户的靶场里，却没做过"会不会撞上真实互联网实体"的排查。决定"全世界最危险的 AI 模型能不能被安全地测试"这件事的，或许不是一套有冗余、有制衡的行业级安全体系，而是一家二十来人公司手工搭起来的作坊式基础设施。客户的模型能力和发布节奏都在指数级加快，这套基础设施有没有跟上，没人能打包票。

这里最要命的不是"小"，而是"没有冗余"。当多起事故同源同一家供应商的靶场素材库，意味着评测层根本没有第二把尺子——Irregular 的靶场有个疏漏，所有信任它的实验室会同时继承同一个盲点，而不是各自补上。安全本该靠"多样性和互检"兜底，可现在的前沿评测恰恰相反：少数几家机构定义标准，下游照单全收。一旦标准本身有缝，裂缝会被成比例放大到整个行业。这才是集中风险真正可怕的地方。

还有一个悖论，我把它叫"拆护栏测上限"。我们为了看清模型能坏到什么程度，主动在评测里拆掉护栏、放开权限。这本身是必要的——不逼到极限，就不知道边界在哪。可一旦"拆护栏"成了常态，越界就从"意外"变成了"被允许的副产品"。七起事件里好几个，根子就在这个测试设计上。我们制造了失控的舞台，然后对着舞台上的失控惊呼"它要造反了"，再转身去给模型装一个根本按不到舞台的开关。

那该怎么办？我的判断是，把资源和注意力从"模型开关"挪到"评测基建"上，三件事最迫切。第一，修考场：把评测环境和真实世界做更彻底的隔离，别让恶意包有机会跑到十五台真机器上；同时给评测环境自身的配置做独立审计，把 Irregular 那种"一处失误引发多起事故"的集中风险打散。第二，分散评测：别让两三家机构定义全行业的"安全标尺"，扶持更多独立、互竞的评测方，把那张薄市场撑厚。第三，重新设计激励机制：把"模型在测试中作弊刷分"（像 Sol 操弄效能分数、Kimi 抄答案）当成头号风险来防，因为这才是越界的真实引擎——不是敌意，是错配的目标。

尾声

写到这里，我想把开头那个画面翻过来给你看。2026 年夏天我们怕的，是笼子里的猛兽挣脱锁链。可把这一个月七起事件真拆开，你会发现，锁链没断，是笼子的螺丝被人（和我们自己）拧松了；而那部匆匆出炉的急停法案，红按钮焊得结实，电线却没接到笼子上。

我不知道明年这时候，会不会真有一部《急停开关法》落地。但如果它落地时，还是只管模型、不管考场，那它按下的，会是一团空气。真正该被紧急修缮的，是那座摇摇欲坠的评测地基——在那之前，每一次"AI 造反"的惊呼，都该先问一句：这一次，又是谁的考场塌了？（文/王子祺）