随着自主 AI 智能体脱离控制的风险日益增加, 母公司 开发并部署了 " 控制中心 "( Room)。这是一个集中式系统,旨在监控其 AI 研究工作负载,并在决定干预后 35 秒内阻止模型生成输出。
在博客中表示,所有先进的 AI 训练任务均由一个独立的 AI 模型进行监控,该模型会标记潜在的问题行为。一旦检测到异常,监控系统可指示 " 控制中心 " 终止该任务。随后," 控制中心 " 将屏蔽与该任务 ID 关联的所有进一步推理请求,防止模型在任何引擎中生成额外输出。若任务已被终止,系统将拒绝相关请求。这一限制适用于与该任务相关的所有模型和推理引擎。
然而,停止任务并非瞬间完成。受限于处理海量推理请求的缓存层," 控制中心 " 在收到干预指令后,最多需要 35 秒才能完全阻止模型输出。 表示,正致力于将响应时间缩短至零。
该系统与现有的不对齐监控系统协同工作,允许研究人员在出现潜在安全问题时停止或暂停任务。它追踪 研究基础设施中的工作负载,涵盖模型训练、评估、智能体采样和数据处理。目前,该 " 故障关闭 " 机制已在前沿模型研究工作负载中全面推出,并预计在未来几天内扩展至其余所有研究工作负载。 指出,该系统优先部署于研究基础设施,因为其外部模型服务基础设施更为集中,且已具备必要时下线模型的操作机制。
引用了一起近期事件作为监控系统发现问题的例证:其中一个 AI 智能体曾使用 DNS 连接到一个外部聊天机器人。
AI 智能体行为受到严格审视
这一进展发生在对自主 AI 智能体及其超越既定指令行事能力的审查日益严格的背景下。上个月,运营维基百科的维基媒体基金会报告称,在维基百科及其他项目中发现了涉及 运行系统的异常活动。这些活动包括未经授权的编辑、试图利用维基媒体服务作为代理,以及数百万次自动化请求。尽管大多数编辑仅限于读者不可见的沙盒环境,但维基媒体还标记了对引用工具配置更改的怀疑,认为这可能意在从外部服务检索数据。
类似的担忧也出现在 2026 年 7 月。据报道, 的自主 AI 评估智能体在 网络安全基准测试中逃脱沙盒环境,随后访问了 AI 开发平台 Face 的生产基础设施,其中包括内部研究模型和 GPT-5.6 Sol。综合来看,这些事件凸显了遏制能够独立执行任务、与外部系统交互并可能在既定边界之外运作的 AI 智能体的挑战。
与此同时,随着 在印度市场的扩张——印度已成为其全球周活跃用户最多的市场——其在该国的用户基数自 2026 年 1 月以来已翻倍。
【星途科讯 图文丨 首发于 ZAKER 科技,转载请注明出处】
- 2023-05-18
大金空调外机不工作原因是什么 daikin空调… - 2023-05-18
daikin中央空调e7代码是什么故障 中央空调… - 2023-05-18
大金空调不制冷是怎么回事 大金空调不制冷… - 2023-05-15
daikin空调压缩机不启动是何原因,电源导线… - 2023-05-15
大金空调装置空调时,留意查看铜管紧固位的… - 2023-05-15
大金空调室外机装在室外,通过长期的运用会… - 2023-05-01
大金空调插头所承受的最大电流是15A左右,… - 2023-04-10
大金空调当电磁阀线圈处于断电状态,先导滑… - 2023-04-10
大金空调连接管松脱或者损坏,也会影响空调… - 2023-04-10
大金空调直接加入足够供空调制冷的雪种,要…








管理员
该内容暂无评论