IM体育关注到以下体育动态:
IT之家 10 月 20 日消息,AI 竞技场 Arena 今日宣布,深度求索最新发布的 DeepSeek-V4.
1-Flash-1017 登顶 Agent Arena 以及 Code Arena: WebDev 开源模型榜单,总榜排名第 11。
Agent Arena 排行榜显示,DeepSeek-V4.
1-Flash-20261017(Max)位列开源模型第一、总榜第 11。
根据榜单数据,该模型基于 7498 次真实使用会话取得 5.
13% 的综合净改善指标,单任务成本中位数约为 0.
18 美元(IT之家注:现汇率约合 1.
2 元人民币)。
在具体指标方面,该模型的任务成功确认、用户正负反馈和 Bash 命令执行可靠性均位列开源模型第一。
其中,任务成功确认指标为 11.
54%,总榜排名第 8;
用户正负反馈指标为 5.
89%,总榜排名第 11;
Bash 命令执行可靠性指标为 5.
42%,总榜排名第 12。
可引导性指标为 2.
46%,总榜排名第 13,同样位列开源模型第一。
Arena 的榜单还显示,该模型的工具幻觉指标为 0.
48%。
该指标用于衡量模型虚构自身并不具备的工具的情况,数值越低意味着此类问题越少。
按这一指标,该模型在榜单中排名第 7。
成本方面,DeepSeek-V4.
1-Flash-20261017(Max)的单任务成本中位数约为 0.
18 至 0.
19 美元,不同榜单页面显示的数据略有差异。
Arena 同时将该模型列入性能与任务成本的帕累托前沿,意味着在该评测所采用的指标下,它属于无法在性能和成本两方面同时被其他入选模型超越的模型之一。
特别
IM体育将继续整理相关资讯。



