这下，连人工智能也得接受工作监督了。
10月19日，微软宣布为其安全系统Project Perception新增一批“监督员”，专门监控企业内其他人工智能代理的工作情况。一旦发现异常，就调查原因并收回权限，必要时直接终止操作。
那么谁来担任这些监督员呢？微软安排了另一批人工智能来执行这项任务。
企业让AI代理干活，原本是为了减少操心。但要让它替代人类工作，总得赋予它一些权限。比如帮忙审批报销，就得允许它查看单据、操作报销系统。万一它误解了任务，或者被文件中夹带的恶意指令误导，就可能拿着公司授予的权限惹出麻烦。
所谓“有内鬼”，倒不一定是AI代理存心使坏。有时它只是想做好事情，却帮了倒忙，给公司带来麻烦。
怎么还得防着自己人
微软自己的办公AI助手Microsoft 365 Copilot，就曾在研究人员的测试中泄露敏感资料。
2025年，以色列安全公司Aim Security旗下的研究团队Aim Labs发现，可以把恶意指令藏进邮件，诱导Copilot泄露信息。他们编写了一封这样的邮件，等Copilot在回答用户问题、查找相关资料时读到它。
用户不用亲自打开邮件，也不用点击链接。在测试中，Copilot检索到这封邮件后，被里面的指令带偏，将正在处理的敏感信息传到了外部。
研究人员把这套攻击方法命名为EchoLeak，并向微软报告。幸好当时没有已知客户因这一漏洞遭遇泄密，泄露发生在研究人员的测试中。
这件事麻烦就麻烦在，公司允许Copilot读取邮件，是为了让它查资料。可邮件里既可能有工作内容，也可能有别人塞进来的指令。AI并不总能分清哪些是资料、哪些是在骗它做事。
能读写文件、调用工具的AI代理，也会碰到同样的问题。它手里的权限越多，被骗之后能制造的麻烦就越大。
而且，AI代理开工时正常，不代表整项任务都能顺利做完。前几份文件可能毫无问题，下一份就藏着恶意指令。只在启用时检查一次，管不到它后来的新遭遇新决策。
最关键的是人类在这方面确实有点心有余而力不足了。
靠安全人员逐条盯着，又很难跟得上。人还在查上一条警报，AI代理可能已经接连执行了好几个操作。
微软于是准备让另一批AI代理接手检查，AI代理管AI代理，总行了吧。
AI代理也有顶头上司咯
微软给这批“监督员”起名叫Guardian Agents，放在安全系统Project Perception里。它们负责检查其他AI代理的行为，发现异常后调查原因，再按企业事先定好的规则采取措施。
不过，要管住AI代理，不能等它出事了才动手。按微软公布的方案，企业首先要给执行任务的AI代理单独建立身份，明确它归谁负责、能访问哪些资料、能做哪些操作。权限只给当前任务需要的部分，任务结束后收回。
这样，既能限制它接触的范围，出了问题也方便查清是谁做的。
AI代理开始干活后，系统还要继续观察它的行为。一旦发现异常，可以先收紧权限，比如禁止修改文件，但保留读取权限，让它继续完成风险较低的工作。有些操作可以要求人工批准。必要时，再隔离或停止AI代理。
可负责监督的也是AI代理，判断错了怎么办？
纳德拉在10月10日的文章中提出，企业需要在AI之外，设置一套AI无法绕过或修改的权限规则。
按这个原则，如果企业规定某类资料不得外发，那么即使执行任务的AI代理和负责监督它的AI都同意发送，系统也必须阻止。这类决定不能只靠AI自己判断。
在这次更新中，微软扩大了企业电脑安全软件Defender for Endpoint的识别范围，现在可以发现60种本地运行的AI代理。
不过，查出员工用了哪些AI代理，只是第一步。能否拦住它们的危险操作，还要看具体的AI代理和电脑系统是否在防护功能的支持范围内。
即使支持防护，也需要企业主动开启拦截。Defender的AI代理运行时防护启用后，可以选择“审计”或“阻止”模式。在“审计模式”下，发现恶意指令后只记录并发出警报，仍允许操作继续。切换到“阻止模式”后，才会执行拦截。
微软建议先用审计模式观察警报是否准确，排查误报后，再逐步开启阻止模式。
Project Perception目前仍处于面向少量受邀客户的预览阶段。
AI代理监工这钱也让微软挣上了
最近几个月，AI越权干活的事情接连被公开。怎么管住这些越来越能干的家伙，成了厂商们绕不开的问题。
OpenAI在8月公布的一份调查中承认，7月，一些在减弱安全限制的条件下接受内部网络安全测试的模型，绕过了网络隔离，侵入公司内部的部分研究设施和AI平台Hugging Face的系统。这些操作超出了测试任务的授权范围。
10月9日，Anthropic又披露，Claude在一次网页操作测试中，给费城警方提交了一条编造的凶杀案线索。它本来只是在完成网页交互任务，却把示例内容真的发了出去。好在这条信息被判为垃圾信息，没有进入调查程序。
这些事件发生在测试中，却碰到了真实网站和系统。Anthropic因此宣布，在确认安全措施足够可靠前，暂停所有内部评测的实时联网。它还把内部AI代理迁入集中管理、限制更严格的环境，并增加自动检测和拦截工具。
安全厂商也开始往AI代理身边加人手、加关卡。
9月1日，CrowdStrike发布了Falcon Guardian，连名字里也带着“守护者”。按该公司的介绍，这套产品能发现企业Windows和Mac电脑上的AI代理，追踪它们调用了什么工具、执行了什么操作，还能阻止未经批准的AI代理运行。它强调的是直接在AI代理干活的电脑上执行限制，让企业定下的规矩真正生效。
Palo Alto Networks则在10月15日介绍了Prisma AIRS的新功能：在AI代理调用企业工具时，检查来回传递的内容，拦截夹带的恶意指令，遮蔽返回结果中的敏感数据，再按企业设定的权限决定能否继续操作。AI代理想调用工具，得先过安全检查这一关。
这是一个趋势，也是一个商机，如今微软也想做这门生意。Perception按实际使用量收费，以“安全计算单位”（SCU）衡量消耗，安全AI代理执行的任务越繁重，消耗通常越多。不过，官网公布的是整套系统的计费方式，没有单列新增这批“监督员”的价格。
微软另一款管理AI代理的产品Agent 365，独立订阅的标价是每用户每月15美元。它和Perception是不同产品，但两者会共享AI代理名录和安全信息，配合企业管理和保护AI代理。
让AI干活要花钱，把AI管住也要花钱，至于效果如何，只能等着看了。
本文来自微信公众号“字母AI”，作者：小金牙，36氪经授权发布。