大模型生成
采用统一的 Prompt 集、数据输入与运行条件，对每个模型独立生成 3 轮，并汇总平均结果。
模型生成能力评测
采用统一的 Prompt 集、数据输入与评测标准，对比主流大模型在 ToC 用户场景和 ToD 专业生成场景中的 A2UI 生成质量、响应速度与 Token 消耗，为模型选型与实际应用提供参考。
能力排名
生成效果
| 提示词 | gemini-3.5-flash | claude-opus-5 | gpt-5.6-sol | claude-opus-4-8 | gemini-3.1-flash-lite | qwen3.7-max | deepseek-v4-pro | qwen3-coder | gpt-5.4-mini | claude-sonnet-5 | gemini-3.1-pro | gemini-2.5-pro | kimi-k2.6 | gemini-2.5-flash | glm-5.2 |
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
评测环境
模型列表
gemini-3.5-flash
gemini-3.1-pro
gemini-2.5-pro
gemini-2.5-flash
gemini-3.1-flash-lite
claude-opus-5
claude-opus-4-8
claude-sonnet-5
gpt-5.6-sol
gpt-5.4-mini
qwen3.7-max
阿里
qwen3-coder开源
阿里
deepseek-v4-pro开源
DeepSeek
glm-5.2开源
智谱
kimi-k2.6开源
月之暗面
评测流程
渲染与截图
真机原生渲染并采集最终截图。
指标评估
计算锚点命中、数据一致、结构、交互、耗时与 Token；并由大模型对有效截图进行专业 UI 质量盲评。
评估规则
ToC 用户场景
意图理解能力
是否真正理解用户想要什么，核心信息是否覆盖。
sum(anchor_weight * anchor_hit) / sum(anchor_weight)
公式参数说明
- sum
- 将括号内的所有有效项相加。
- anchor_weight
- 当前验收锚点的权重。
- anchor_hit
- 锚点是否命中；命中为 1，否则为 0。
数据准确性
关键信息是否完整，展示的数据是否正确。
sqrt(info_coverage * data_accuracy)
公式参数说明
- sqrt
- 对乘积取平方根，用于平衡多项能力。
- info_coverage
- 核心信息的覆盖率。
- data_accuracy
- 可验证数据项的准确率。
UI可用度
页面能否正常显示、结构是否完整、交互是否可用。
sqrt(info_coverage * (0.5 * basic_usability + 0.5 * ui_quality))
公式参数说明
- sqrt
- 对乘积取平方根，用于平衡多项能力。
- info_coverage
- 核心信息的覆盖率。
- basic_usability
- 由渲染成功、结构完整和可选交互正确性组成的基础可用度。
- ui_quality
- 大模型对有效截图给出的专业 UI 质量盲评分。
- 0.5 / 0.5
- 两项组成指标各占 50%。
首 Token 响应时间（TTFT）
用户发出请求到收到第一段内容的耗时。
first_token_time - request_time
公式参数说明
- first_token_time
- 收到首个可见、非空 Token 的时间。
- request_time
- 请求发出的时间。
Token 总消耗
输入 Token 与输出 Token 的总和。
input_tokens + output_tokens
公式参数说明
- input_tokens
- 输入总 Token。
- output_tokens
- 输出总 Token。
ToD 专业生成场景
UI 生成能力
是否按照要求生成了功能完整、视觉专业的页面。
sqrt(feature_completion * ui_quality)
公式参数说明
- sqrt
- 对乘积取平方根，用于平衡多项能力。
- feature_completion
- 显式功能特性要求和交互要求的完成度。
- ui_quality
- 大模型对有效截图给出的专业 UI 质量盲评分。
UI 编辑能力
能否准确修改指定内容，同时保持其他部分不变。
sqrt(edit_completion * (0.5 * component_retention + 0.5 * data_retention))
公式参数说明
- sqrt
- 对乘积取平方根，用于平衡多项能力。
- edit_completion
- 第二轮指定修改的完成率。
- component_retention
- 未要求修改的组件保持率。
- data_retention
- 未要求修改的数据保持率。
- 0.5 / 0.5
- 两项组成指标各占 50%。
UI 稿还原能力
生成页面与设计稿在布局、样式和内容上的相似度。
clamp(ms_ssim, 0, 1)
公式参数说明
- clamp
- 将数值限制在指定的最小值和最大值之间。
- ms_ssim
- 渲染截图与设计稿的多尺度结构相似度。
生成速度
从发起请求到完整页面生成结束耗时。
generation_completed_time - request_time
公式参数说明
- generation_completed_time
- 第一轮完整页面生成结束的时间。
- request_time
- 请求发出的时间。
Token 总消耗
输入 Token 与输出 Token 的总和。
input_tokens + output_tokens
公式参数说明
- input_tokens
- 输入总 Token。
- output_tokens
- 输出总 Token。