评测¶

Agentica 与 Codex CLI 在同一套题目、同一套 pytest 上的对照。底模都是 deepseek-v4-flash-official，题集是 Aider Polyglot 的 Python 全量 34 题（官方全榜 225 题含其它语言；本仓库 runner 只跑 Python 子集）。

判分在 harness 外面跑：对错、墙钟、crash、误报完成、误改文件都不读对方 TUI。原始机器输出仍在本地 evaluation/code_benchmark/outputs/（含 workdir，不入库）；GitHub 上只放 summary.json 和 predictions.jsonl。

Agentica vs Codex（coding）¶

两边质量打平：全对、0 crash、0 误报、0 误改。差距在效率——同一模型下 Agentica 更快、更少工具、更少 token，更省钱。

仓库内路径：evaluation/code_benchmark/results/<run-id>/。summary.json 的 metrics 与上表对应；predictions.jsonl 一行一题，含通过与否、墙钟、工具次数、token 和模型输出。

设定¶

• 模型：deepseek-v4-flash-official（思考开：Agentica reasoning.effort=high，Codex model_reasoning_effort=high）
• 题集：--bench polyglot --language python --max-samples 0（34 题）
• 裁判：题目目录里的 pytest（--rootdir=. --noconftest），两边同一条命令
• Agentica：run.py --agent agentica（默认 --wire-api responses；DeepAgent 文件读写 + execute）
• Codex：--agent codex --agent-timeout 600（codex exec --json，隔离 CODEX_HOME）
• 串行、同一兼容端点；评测把 AGENTICA_HOME 指到输出目录，不写 ~/.agentica

复现（key / base-url 自己导出，不要写进命令行）：

python evaluation/code_benchmark/run.py \
  --bench polyglot --max-samples 0 --language python \
  --agent agentica --model deepseek-v4-flash-official \
  --extra-body '{"reasoning": {"effort": "high"}}'

python evaluation/code_benchmark/run.py \
  --bench polyglot --max-samples 0 --language python \
  --agent codex --agent-timeout 600 --model deepseek-v4-flash-official

评测入口说明见 evaluation/code_benchmark/README.md。

Data analysis（InfiAgent-DABench）¶

InfiAgent-DABench 的 DAEval validation 封闭题：给 CSV，agent 用 pandas / sklearn 算出 @name[value]。判分是精确匹配（浮点 1e-6），与官方 eval_closed_form.py 同口径。这是 data analysis 类别，不是 Polyglot 那种改代码 + pytest。

全量 257 题，同一模型、同一 Responses 接口、思考都是 high。Agentica 评测 agent 与 Polyglot 同一套；prompt 点名 CSV、禁止题面没要求的清洗、算出 @tag 立刻停。Agentica 更准、更快、更省钱。

python evaluation/code_benchmark/run.py \
  --bench dabench --max-samples 0 --agent agentica --wire-api responses \
  --model deepseek-v4-flash-official \
  --extra-body '{"reasoning": {"effort": "high"}}'

python evaluation/code_benchmark/run.py \
  --bench dabench --max-samples 0 --agent codex --agent-timeout 600 \
  --model deepseek-v4-flash-official \
  --extra-body '{"reasoning": {"effort": "high"}}'