4 Neon 正式发布。数据显示,该模型在基准测试中性能有所提升,且推理速度大幅优化。通过 提供服务时,Neon 的速度达到每秒 127 个 token,远高于 4 的每秒 46 个 token。此前,排除早期投票因素后, 曾是 Agent Duel 排行榜上表现最佳的模型,但其主要短板在于速度过慢。
构建胜率模型
为评估模型表现,相关分析构建了 Agent Duel 排行榜的胜率模型。该模型评估包含三个核心维度:模型身份、推理速度以及用户是否进行早期投票。研究引入速度与早期投票的交互项后,模型拟合效果显著改善。分析指出,速度对模型排名的影响权重几乎与模型身份相当。
预测 4 Neon 表现
基于 4 Neon 基准测试分数更优的事实,研究假设其基础性能与 4 持平,并结合每秒 127 个 token 的运行速度进行推演。预测显示, 4 Neon 在 Agent Duel 排行榜上的 Elo 得分约为 1066 分。
这一得分略低于后续分析快照中记录的 Opus 5.5(1078 分)。两者预计 Elo 差值的 90% 置信区间为 -94 至 +68,Neon 对阵 Opus 的预期胜率为 48.3%(平局计为半胜)。
【星途科讯 图文丨略略 首发于 ZAKER 科技,转载请注明出处】
- 2023-05-18
大金空调外机不工作原因是什么 daikin空调… - 2023-05-18
daikin中央空调e7代码是什么故障 中央空调… - 2023-05-18
大金空调不制冷是怎么回事 大金空调不制冷… - 2023-05-15
daikin空调压缩机不启动是何原因,电源导线… - 2023-05-15
大金空调装置空调时,留意查看铜管紧固位的… - 2023-05-15
大金空调室外机装在室外,通过长期的运用会… - 2023-05-01
大金空调插头所承受的最大电流是15A左右,… - 2023-04-10
大金空调当电磁阀线圈处于断电状态,先导滑… - 2023-04-10
大金空调连接管松脱或者损坏,也会影响空调… - 2023-04-10
大金空调直接加入足够供空调制冷的雪种,要…








管理员
该内容暂无评论