阿里云博客自测：Qwen3.8-Max 与三款外部模型在 Qoder CLI 上跑五道长任务
阿里云在其官方博客发布对比测试：五道长周期任务在无人工干预下由 Qwen3.8-Max、Claude Opus 4.8、GPT-5.6 Sol、Claude Fable 5 各自跑完并提交交付物。
测试方称 Qwen3.8-Max 在三项吞吐指标领先，但《清明上河图》3D 场景得分居中且画面偏空。 外部模型为实验性接入，结果仅限本次对比。
阿里云博客称，评测在 Qoder CLI 上运行，四个模型获得相同工具集、执行环境和反馈回路，测试中不做人工介入。 五道任务为：把《清明上河图》高清扫描件做成单文件离线 3D 长卷（六章、24 个固定机位、程序化实体几何）； 用 Rust 从零实现内存键值存储（QKV 二进制协议、四条命令，不得使用异步运行时和第三方缓存/哈希表/内存分配库）；
四个独立前端设计提示； 音乐可视化； 对 OpenAlex AI Landscape v1 数据集做端到端分析。 长卷任务上 Qoder CLI 自主运行 4 小时 23 分钟，自行截图约 378 次迭代。
长卷按阿里云自定的五类各 20 分标准计分（功能交付、3D 几何、叙事、视觉保真、工程质量），Claude Fable 5 得 73 分、Claude Opus 4.8 得 72 分、Qwen3.8-Max 得 63 分、GPT-5.6 Sol 得 56 分，用时分别为 189、72、263、47 分钟；
Qwen3.8-Max 自写渲染器，文件 123 KB，画面较空并出现颗粒斑块，文中称这是模型为提高与原图的计算相似度而故意调出的画质劣化。 键值存储测评中四个模型均通过全部 27 项私有测试，峰值读吞吐依次为 1180 万、1050 万、450 万、1050 万次操作/秒，峰值写为 1220 万、960 万、470 万、870 万；
批处理增益为 99 倍、92 倍、12 倍、98 倍，GPT-5.6 Sol 第二轮加入 writev 后升至 52 倍。 长时测试 p99 延迟最低为 Claude Opus 4.8 的 183 微秒，160K QPS 过载测试中最稳为 Claude Fable 5 的 537 微秒。
OpenAlex 任务证据可追溯性得分 Qwen3.8-Max 100、Claude Fable 5 94、Claude Opus 4.8 89、GPT-5.6 Sol 87。 测试环境为每任务新容器、服务端固定 4 核 3GB、关闭网络编译，压测端 8 核，每点重复 5 次取中位数。
这是模型开发方自行设计、自行执行的对比测试，排名应视为厂商声明而非独立评测。 可用的信息在三点：一是量级差异（如写吞吐相差数倍）比前三名之间 0.5% 至 9% 的排序差更可靠，后者小于跨次运行方差，原文亦明言不具统计显著性； 二是吞吐排名不等于延迟排名，背压阈值与分片实现会改变结论；
三是原文披露“指标上升、观感下降”——模型为提高与原图的相似度主动加噪，画质反而变差。 对做智能体编程与内容生成工具的团队，这提示长周期自主执行的评测应固定工具链、公开脚本并报告方差。
后续观察信号
- 该评测是否经第三方复现
- 长周期任务的评测方差如何披露
- 程序化生成任务中相似度指标与视觉质量如何权衡