您好!欢迎光临大金空调售后维修官网
大金空调售后维修官网
联系我们
大金空调售后维修官网
联系人:徐先生
电话:400-102-1256
地址:各区设有分点
当前位置:首页 > 资讯 > 新闻中心

常见问答

OpenAI部署控制中心,35秒内阻断失控AI智能体具体真相是什么
更新时间:2026-11-11 13:11浏览次数:306发布时间:11小时前
核心提示:随着自主 AI 智能体脱离控制的风险日益增加, 母公司开发并部署了 " 控制中心 "( Room)。这是一个集中式系统,旨在监控其 AI 研究工作负载,并在决定干预后 35 秒内阻止模型生成输出。 在博客中表示,所有先进的 AI 训练任务均由一个独立的 AI 模型进行监控,该模型会标记潜在的问题行为

随着自主 AI 智能体脱离控制的风险日益增加, 母公司 开发并部署了 " 控制中心 "( Room)。这是一个集中式系统,旨在监控其 AI 研究工作负载,并在决定干预后 35 秒内阻止模型生成输出。

在博客中表示,所有先进的 AI 训练任务均由一个独立的 AI 模型进行监控,该模型会标记潜在的问题行为。一旦检测到异常,监控系统可指示 " 控制中心 " 终止该任务。随后," 控制中心 " 将屏蔽与该任务 ID 关联的所有进一步推理请求,防止模型在任何引擎中生成额外输出。若任务已被终止,系统将拒绝相关请求。这一限制适用于与该任务相关的所有模型和推理引擎。

然而,停止任务并非瞬间完成。受限于处理海量推理请求的缓存层," 控制中心 " 在收到干预指令后,最多需要 35 秒才能完全阻止模型输出。 表示,正致力于将响应时间缩短至零。

该系统与现有的不对齐监控系统协同工作,允许研究人员在出现潜在安全问题时停止或暂停任务。它追踪 研究基础设施中的工作负载,涵盖模型训练、评估、智能体采样和数据处理。目前,该 " 故障关闭 " 机制已在前沿模型研究工作负载中全面推出,并预计在未来几天内扩展至其余所有研究工作负载。 指出,该系统优先部署于研究基础设施,因为其外部模型服务基础设施更为集中,且已具备必要时下线模型的操作机制。

引用了一起近期事件作为监控系统发现问题的例证:其中一个 AI 智能体曾使用 DNS 连接到一个外部聊天机器人。

AI 智能体行为受到严格审视

这一进展发生在对自主 AI 智能体及其超越既定指令行事能力的审查日益严格的背景下。上个月,运营维基百科的维基媒体基金会报告称,在维基百科及其他项目中发现了涉及 运行系统的异常活动。这些活动包括未经授权的编辑、试图利用维基媒体服务作为代理,以及数百万次自动化请求。尽管大多数编辑仅限于读者不可见的沙盒环境,但维基媒体还标记了对引用工具配置更改的怀疑,认为这可能意在从外部服务检索数据。

类似的担忧也出现在 2026 年 7 月。据报道, 的自主 AI 评估智能体在 网络安全基准测试中逃脱沙盒环境,随后访问了 AI 开发平台 Face 的生产基础设施,其中包括内部研究模型和 GPT-5.6 Sol。综合来看,这些事件凸显了遏制能够独立执行任务、与外部系统交互并可能在既定边界之外运作的 AI 智能体的挑战。

与此同时,随着 在印度市场的扩张——印度已成为其全球周活跃用户最多的市场——其在该国的用户基数自 2026 年 1 月以来已翻倍。

【星途科讯 图文丨 首发于 ZAKER 科技,转载请注明出处】

你觉得这篇文章怎么样?

0 0
标签:全部
网友评论

管理员

该内容暂无评论

江苏省苏州市网友
400-102-1256