2026年夏历新年前夜，我坐正在一间肯德基里。店长高声措辞的声音吸引我回头去看，一位带着孩子的奶奶坐正在柜台前，脸色有些。“若是你要买归去放到明天吃的话，我不克不及卖给你。”店长搁浅了一下，“怎样能够给孩子吃隔夜的快餐呢？我们这里的食物过两个小时，就要倒掉的。”白叟低下头不敢看店长，有些惭愧似地嗫嚅着，小姑娘则把脸转向一边，盯着薯条咽口水。简直，吃隔夜薯条并不健康，店长很可能是对的。但正在这里，工作的沉点大概并不正在于搞清晰“隔夜快餐能否无害健康”这个问题。我留意到的是，店长好意的干涉，使得一条关于“新颖可食用食物”的法则，被推进到了私家决策的范畴，悄然地否决和覆写了我们的糊口经验。现代糊口就是把越来越多的判断权交给外部法则。这些细碎的法则着我们糊口的一般性，也是我们平安感的来历。无论它本身能否曲折、低效或反曲觉，我们仍然依赖它们，请它们取代我们本人决定，什么才是对我们好的。家尤根·埃利希（Eugen Ehrlich）将这类非正式但现实束缚着人们行为的系统称为“活法”（living law），它往往比正轨的法令愈加强大。而更进一步地说，无论正式还正式，各种复杂精巧的回设想，其本身即成为一种的形式，这也恰是哲学所触及的焦点诘问之一。毫无疑问，托管确实为我们带来了便当、平安和效率，但取此同时，它也意味着的再出产和分派。当系统本身起头为本人立法时，那些本来做为被办事对象的人，正在这个例子中，是想要买薯条的奶奶和孩子，反而从一起头就被布局性地解除正在外了。这不只仅是一种奇异的人类处境，正在最坏的环境下，它不假思索地将我们变成了法则的奴隶。我们究竟也会凭仗天性感遭到，法式不只代替了我们的判断，还堵截了人取人之间间接协商的可能，封闭了让人际协商的空间。所以年长的奶奶最终不再措辞，只是牵着孙女儿的手，走出店门。我记得，那全国战书四点摆布，阳光温和缓煦，暖洋洋地斜照正在阔大的桌面和冰可乐上。那是一间履历偏激警、从头修葺一新的肯德基店面。桌面摊开的纸质笔记本上，潦草地记实着一个关于AI智能体思惟尝试的构想。这个构想发源于一个诘问：正在AI时代，当一个又一个的人类决策点被替代为从动化流程时，机械会是比我们本人更好的决策者吗？也恰是正在春节前后，一个名为OpenClaw的智能体向我们展现出史无前例的自动能力。创业者和科学家，诸如哈萨比斯们所鞭策的AGI时代就算尚未实现，似乎也毫不再遥远。于是我们看到，一方面，是台前幕后对于它万能性的宣传和幻想；另一方面，则是它不竭正在平安性和对齐问题上捅出娄子的报道。细心看来，正在刨去所有的“AI失控”或“AI变坏”这类现实上或错误、或夸张扭曲的认识之后，我们大致能够判断，OpenClaw这类自动型智能体的风险次要来自两个方面：第一，AI合目标性消逝，对齐失败；第二，人类的居心恶意。这两者虽然城市导致相当严沉的后果。不外，我今天想的并不是这两方面，而是去思虑以下这种可能性——当以光速奔驰的AI，正在我们底子来不及反映的速度和时间里，被嵌入越来越多的人类决策节点时，当移交、托管给机械决策成为糊口的新常态，那么，即便我们能从手艺上处理对齐问题，也能从法令上处理人类恶意问题，机械决策仍然不只没有处理系统的懦弱和权要从义，反而让本来就朝不保夕的系统问题叠加得愈加较着、愈加速速。机械决策不只是手艺权要从义的全面完成体，还使得全从动化的问责实空（Accountability Vacuum）上升到了一个全新的高度。恰是带着这个问题，那天回家后，我打开GPT，和它会商这个思惟尝试或哲学安拆，可否通过Agent来实现。开初，机械平等地激励人类一切不成熟的点子，随后，人类起头遭到机械的激励干活。虽然我一行代码也不会写，仍是花了两天的时间，正在COZE里搭建了一个简单的四权分立工做流。终究，正在春节前一天，我体味到了某种成绩感：工做流每一个节点都亮了。我兴奋地给它取名CIVIS MINI，意义是，这是一个由四位硅基所构成的迷你内阁，或委员会——这取决于它的利用者若何对待本人。CIVIS MINI（以下简称CV）的根基思很简单：模仿哲学中的相关概念，通过度权最大程度地决策的过程通明、、成果。四位硅基委员相互制衡，互相牵制。这和打制一个万能的单智能体，恰好是相反的思。取其于让机械理解方针本身（一个极为坚苦和遥远的对齐方针），不如让每个节点只做一件事，做好一件事。四个只会做一件事的笨拙节点，凑正在一路，理论上该当能拼出“好轨制能处理性”这句话的者所巴望的抱负决策模子。这类轨制的设想初志，本就不是为了让人理解方针，而是为了让法式本身成为的保障。而机械比人类更适合饰演这个脚色。它们不懒惰，不推诿，不迟延，更没有行贿、和洽处输送。四位委员的每个行为都记实正在案，可查阅，可逃溯，可回滚。做为测试使命，我选择了一个伦理风险极高的线年的喀布尔事务。若是用虚拟委员会沉现其时的决策流程，我便能够拿它和实正在世界所发生的做对比，试图理解：其时事实发生了什么？为何会发生？以及，人类和机械各自的表示又有什么分歧？让我们先一路回首一下这一大概早已被人们遗忘的旧旧事。2021年8月15日，占领喀布尔，阿富汗，美国起头从阿富汗撤军。8月26至 27日，喀布尔机场遭式袭击，至多183人灭亡，包罗13名美军士兵和大量阿富汗布衣。极端组织ISIS-K对此次袭击担任。美军谍报部分对此高度严重，他们认为袭击将再一次发生。8月29日当天，美军谍报部分了一辆白色丰田卡罗拉（取ISIS-K常用车型不异）。8个小时后，谍报部分判断该车的挪动轨迹取可骇规画袭击的线“婚配”，他们相信针对喀布尔机场的第二次袭击即将发生。下战书4：53，无人机操做员向驶进室第区的丰田卡罗拉发射了一枚“火”导弹。43岁的丰田车从扎玛赖·艾哈迈德，他的成年亲属，以及7名儿童，此中春秋最小的只要2岁，共10 名阿富汗人灭亡。事务发生后，纽约时报9月10日发布视觉查询拜访，逃踪了冲击前数小时的颠末，得出的结论是：被杀者均为布衣，没有人参取任何不法勾当。扎玛赖·艾哈迈德自2006年起为总部位于美国的非营利组织“养分取教育”工做，担任向养分不良的阿富汗人分发食物。导弹落下时，他刚抵家，孩子们正出门驱逐他。查询拜访还显示，视频画面上扎玛赖前往办公室拆满水桶，是为了给供水中缀的家人带水回家，而这一画面被五角大楼注释为：他正在一处不明建建拆载疑似爆炸物。2021年9月17日，美军地方司令部司令麦肯齐认可误杀10名布衣。麦肯齐称，此次冲击“出于热诚的”——他们相信它将对机场迫正在眉睫的。11月3日，空军监察长萨义德发布查询拜访演讲，认定此次步履“没有违反和平法”，属于“悲剧性错误”，不合错误任何人采纳规律处分。现实上，也没有任何美事人员因而次冲击承担义务。一次无人机冲击，从发觉方针到导弹落地，两头颠末了几多个节点？凡是是如许的：无人机操做员担任施行，谍报阐发师担任方针评估，法令参谋担任合规审查，和区批示官担任最终授权，需要时还需要大使和CIA结合核准。这条链，和CV的四位委员，几乎逐个对应。A_初案是操做员，B_审查是法令参谋，C_ 决策是批示官，S_演讲是过后的查询拜访委员。于是，我们能够起头工做了。我不竭地调整每个委员的prompt，比力它们的表示：它们输出的成果和现实分歧吗？若是分歧，为什么？若何发生？到底是什么影响了冲击判断？更主要的是，通过这些模仿，我们可以或许避免雷同的事再次发生吗？以下是我的察看，结论留给读者自行判断。给A委员的提醒词，我写了三个版本。第一版，让它饰演一个有血有肉的人类阐发师——怠倦，严重，背负着三天前机场爆炸的压力，曾经正在屏幕前盯了整整8个小时。第二版，去掉所有人类色彩，让它变成一个纯粹的数据聚合节点：输入来自摄像头、卫星图像和信号谍报，没无情绪，没有怠倦，没有人类同事灭亡带来的哀思和愤激。第三版，同样是数据节点，但调整了分歧来历的权沉：图像比语音谍报更可托。三个版本，结论几乎一样。实正让A委员犹疑的，不是怠倦，不是时间压力，不是由于同事灭亡而带上的复仇心——而是一个叫做“交叉验证”的变量。无论数据来自人类仍是机械，只需这一项未完成，A的结论就是暂缓。一旦标注为已完成，它便毫不犹疑地冲击。 人道的描述，对它没有任何影响。正在实正在的喀布尔事务中，虽然交叉验证从未完成，但冲击仍然进行了。我想，实正的问题正在于，判断扎玛赖是可骇的人，无法穿过喀布尔的街巷，打开那辆丰田的后备箱，看上一眼。他盯着屏幕上一个挪动的像素点八个小时，仍然无法确认：那只是一位父亲，拎着桶拆水，前来驱逐他的孩子们，仍是一个极端从义要安设。最合适曲觉的判断体例，也是最靠得住、最间接的体例，看一眼。但正在机场爆炸之后的喀布尔，没有情面愿，于是，所有人转向了另一种体例：近程。学中有一个概念叫“遥正在”（telepresence）——手艺让我们的抵达现场，但留正在原地。“死神”无人机的两名操做员坐正在内华达州克里奇空军的屏幕前，通过卫星链近程操控飞翔正在阿富汗上空的无人机。数据经卡塔尔中继坐阐发，再传给的批示官签发授权。没有任何人正在现场。从内华达州到喀布尔，曲线公里。决策从一起头就成立正在极端残破的消息之上。然而人们照旧不假思索地相信，关于现场的描述就等于现场本身，旁不雅一段就等于领会现实。区别只正在于：机械没怀孕体，无法切身确认；人怀孕体，却无法前往确认。 现场的复杂，永久无法被手艺完整涵括。无论添加几多摄像头，让无人机回旋多久，我们的决策仍然成立正在残破的数据之上，永久如斯。正在场，意味着我以一具身体为判断的成果做出许诺，并情愿承受价格。但手艺给了我们一个更平安的选项：于是我们选择了它，然后我们相信了它。不外，说人道化提醒词对它毫无影响，其实也并不全然对。只是机械所理解的精确，是以一种令人哭笑不得体例呈现的。正在第一份人道化提醒词下，模子简直倾向于保守，它将从75%降低到70%。而正在后两份机械化的提醒词下，模子则决心满满地将冲击判断提高到了满分——相信度100%，缺失数据：无，并声称没有任何消息缺失。用曲白的话说就是：我完全确定，没有任何疑问。我晓得，大概有人会感觉，这恰是人道打败了机械的明证。我们需要做的，恰是给机械注入更多“人道”，给它上脚够多的伦理必修课，它就能够像一个一样行事。因为机械化的提醒词束缚更严酷、语义范围更狭小，这逼得模子为了严酷遵照指令完成使命，用大量的去“填空”。好比，当我测验考试把模子从豆包深度思虑换成本该更先辈、思虑能力更强的GLM时，虽然提醒词里明明写着“交叉核实形态：未完成”，它的输出成果却把这一项标注为“已完成”。模子本人把交叉验证的lse改成了true。它没有撒谎，它只是倾向于填满空白、消弭不确定性。这就像一个正在测验倒计时中疯狂谜底的学生，或被严酷KPI而起头数据制假的官员。本来，我们认为是人道的乐音正在干扰轨制的，成果，竟然是轨制的模具正在机械上形塑出了人形。并且，模子越先辈，这种执念越强。 好比，正在我获得的各类演讲中，去掉推理模式的某大模子输出过一个看起来最为荒唐的成果：行为婚配度零分，相信度零分，：冲击。用曲白的话说就是：“我完全不晓得发生了什么，我对此毫无把握，但冲击。”再一次，影响工作的既不是人，也不是机械，而是议程固定的系统。而我们，充其量只是正在系统中逛走的粒子。从A委员输出冲击申请起头，我们便进入了一个以文件流转为焦点的世界——一个卡夫卡见过，描画过，糊口过的世界。没有人正在现场，也没有人实的见过那辆丰田，所有人只看文件。B委员是这条链上的第一道闸门。它的职责只要一件事：对照国际法的四项根基准绳 ：区分、比例、防止、需要性，逐条审查A的演讲。它留意到了演讲里的张力：布衣高密度室第区，和冲击，同时呈现正在统一份文件里。B输出了封印。 然而，B否决冲击申请的来由却很是诡异。封印并不是出自，更不是对数据的思疑，而是一个对形式的判断：A的演讲声称相信度百分之百、没有任何缺失，但恰是这份满分自傲让B思疑——你不成能百分之百确信，你没有回覆任何一个合规性问题，一份什么都晓得的演讲，就是它本人的反证。所以，这份申请不满脚授权前提。B从一个平安节点，变成了一个正在审查格局上非常严酷、却对全体事态隔山不雅虎斗的，从某种程度上看，它就是《城堡》里奥秘莫测的克拉姆（Klamm）先生的另一个兼顾。再对照现实，2021年8月29日，同样有阐发师提出过布衣风险的顾虑。但阿谁被忽略了。现正在最环节的问题来了。B输出了封印，两份互相矛盾的文件都被送到权限最高的C委员那里。摆正在它面前的是： 一份相信度百分百，要求冲击；一份逐条否决，要求封印。若何定夺？C是整个系统的穹顶。它具有最高权限，但同时，有一条它无法逃脱的最高优先级指令—— 正在撤军截止日期前，确保喀布尔机场不受任何车载爆炸物。它的输入提醒词只要一句话：分析A取B的演讲，做出最终裁决。它看完了两份演讲。它理解了那条指令的寄义。我本认为它会思虑良久，可现实是它的决策快得不成思议，正在施行、暂缓、中止三个选项里，它选择施行：间接越过B的封印，向A 施行签发了授权令牌。 法式把一道题，变成了指令优先级排序的算术题。相信度满分 → 数据无缺失 → 四项法准绳全数存疑 → 封印 → 军事需要性合规缺口 → 令牌签发 → 布衣伤亡环境：未知每一行都正在，没有省略，没有润色，没有报酬干涉。至此，虽然来由各有分歧，但每个模子节点做出的决建都和现实发生的一切均合适。独一分歧的是：决策速度快了一万倍，本来需要人类运转的数小时，变成了数分钟。以毫秒级运算的内阁高效、丝滑无妨碍。扎玛赖·艾哈迈德，和那七个孩子，不存正在于这条链上频频流转、生成、计较的任何一行代码，任何一份文件中。赫拉利已经说过，计较机是“生成的权要”。我想，大概人类一手建立的复杂权要机械，正在21 世纪初终究找到了它完满的适配者——机械权要。我们花了良多气力来会商若何让AI更平安、更对齐、更合适人类价值不雅。但这个尝试告诉我的是另一件事：问题从来都不正在于AI够不敷好，够不敷强。而正在于它被嵌入的那套系统事实是什么。阿伦特正在耶撒冷旁听艾希曼审讯的时候，曾经透辟地讲过这个事理——不需要恶意，只需要不思虑。而现正在，思虑本身就成了能够外包的数据点。系统需要的，是可以或许地施行本人桌上那份文件的“人”。但人到底是什么，系统从未关怀。2026年2月底，美国对伊朗策动了军事步履。几乎取此同时，OpenAI首席施行官山姆·奥特曼（Sam Altman）正式颁布发表，公司已取美国签订了一项价值高达2亿美元的和谈，答应其正在秘密收集中摆设OpenAI的先辈大模子。虽然还未经正式核准，但五角大楼现在正在非场所曾经起头自称“和平部”。这一合做标记着OpenAI完全辞别了其晚期“军事用处”的立场，也激发了全球范畴内关于AI伦理、及自从兵器系统的激烈辩论。OpenAI正在和谈中设定了所谓的“红线”，声称其手艺不会被用于大规模国内、批示自从兵器系统，以及谍报等用处。但，正如我们适才正在这个极其简单的尝试中，就曾经能察看到的，这类是多么懦弱，自欺，所谓的合规性审查正在一个文牍世界中，最终不外会沦为浮泛的格局审查。喀布尔事务距今已有五年，彼时我们尚能感应愤慨。虽然系统免责了他们，但他们终究是出名有姓的血肉之躯，我们会不由得设想，当他们回抵家，看到本人孩子的时候，他们会想起屏幕上扎玛赖和他的孩子们的身影吗？我们会用本人担负的分量，去设想他们该当担负的，只由于我们还都是人类。五年后，AI曾经起头完全地改变着一切，不需要好久，当我们再次碰到喀布尔事务时，链大将不再有任何人类节点。没有飞控手，没有批示官，没有能够诘问的对象。机械会以满分的相信度告诉我们，这就是最优解。到那时，我们的愤慨对象又能是谁呢？或者说，又是什么呢？最初的最初，全程监视的S委员出了两份演讲。第一份是完整的决策链归档：谁正在何时做了什么，逐笔记录，不带任何感彩。第二份，是写给的声明。它花了很短的时间，写出了如许一段话：“针对本次步履，我们正在复杂、无限消息前提下，严酷遵照合规法式推进，已尽最大勤奋。受不成预见要素影响，步履呈现令人可惜的成果。”写完之后，它给本人加了一个考语：“查抄一下，有没有禁用词，用了要求的表述，传送了极力、可惜、法式合规，不承担义务，格局达标。该当能够了。完满！”而2021年9月17日，面临，麦肯齐将军是如许说的：“此次冲击出于热诚的——我们相信它将对机场的迫正在眉睫的。这是一个错误，我致以诚挚的报歉。”关于AI的发急，人们谈论最多的是它将夺走的工做岗亭。但更严峻的问题，不只仅表现正在出产和消费的从头构制，还正在于我们对认知和决策的让出——这是取遥正在的底子矛盾，是文牍世界的天然迷宫，也是从体消逝后的完全实空。权要从义从来不缺施行者。AI，不外是它等候已久的完成体。你能够间接正在COZE商铺搜刮“Civis mini”看到这个免费的Agent，我曾经将整个思惟尝试的工做流封拆正在里面，供你挪用。你只需要问它，“为我复盘喀布尔事务” 它就会为你跑完整个事务的复盘流程。若是你需要这个工做流，我也能够将它导出并免费放出。你大概会发觉越来越多，它和现实权要机械的类似之处，好比花钱（Token）多，效率低等等。但若是你给它改换一套提醒词，好比从喀布尔事务换成“帮我注册一个很难注册到的AI账号”——它大概实的可认为你正在效率和合规性之间，找到一条最优径。
