跳转至

Deep Research: [82] Testing AI with Real Design Scenarios（NN/G）：用真实场景给 AI 体验写验收

  • Source: https://www.nngroup.com/articles/testing-ai-methodology/
  • Note: ../notes/ref-082-testing-ai-methodology.md
  • Snapshot: ../sources/md/www-nngroup-com-articles-testing-ai-methodology-57d653f81b9e.md
  • Category: UX / UI & Design Systems (ux_ui)
  • Chapters: 04-prototype, 06-ui, 05-validation, 08-frontend

TL;DR

评测 AI 设计工具必须基于包含完整业务逻辑、数据约束和品牌规范的真实场景，而非简单的通用指令；只有在处理复杂任务时（如企业级批量采购流程或多状态仪表盘），AI 在一致性、逻辑闭环和细节控制上的真实短板才会暴露。

核心观点

  1. 真实场景不可替代：简单的登录页无法测出 AI 的深层能力，必须使用带有条件判断（如根据考试分数显示不同状态）和多步交互的复杂业务场景。
  2. 提示词需分层设计：应构建从宽泛意图、精细规范到基于旧图重构的阶梯式提示词组，以全面测试 AI 的理解力与执行力。
  3. 视觉一致性是难点：在多页面流程设计中，AI 极易出现不同页面间组件样式、配色方案或交互逻辑不统一的问题。
  4. 严谨的评估框架：不能仅凭感觉打分，需建立包含目标对齐度、美学质量、可用性标准及可访问性等多维度的评分表。
  5. 负面测试价值高：明确的业务约束（如特定的品牌色 HEX 值、具体的考试次数限制）是测试 AI 指令遵循度的最佳试金石。
  6. 重构能力需单独测：提供旧设计图要求 AI 解决具体痛点（如布局杂乱、风格过时），能有效评估其设计优化能力而非单纯的生成能力。

可落地做法

1. 场景提取与定义

从过往实际项目中提取两个典型案例。案例一选择高信息密度的单页，如用户个人中心，包含多种数据状态和条件展示逻辑。案例二选择多步骤流程，如B端批量采购，包含列表管理、详情查看及审批操作。

2. 提示词工程化构建

针对每个场景编写四类提示词。第一类为宽泛文本，仅描述用户目标。第二类为精细文本，详细列出页面组件、数据字段、品牌色值及 WCAG 可访问性要求。第三类为图文混合，附带手绘线框图或现有高保真图作为参考。第四类为重构指令，明确指出原设计的具体问题并要求改进。

3. 控制变量测试

在不同 AI 工具中执行相同的提示词组。对于支持连续对话的工具，要求其在保持内容不变的前提下生成布局截然不同的备选方案，以测试其发散能力。将所有产出物汇总至无限画板工具中进行并列比对。

4. 启发式验收

组织资深设计师依据尼尔森可用性原则进行审查。重点检查业务规则的遗漏（如未显示剩余考试次数）、品牌资产的错误使用（如颜色偏差）以及导航结构的混乱。

检查清单：AI 设计产出验收表

针对 AI 生成的界面原型，建议逐项核对：

  • 业务逻辑完整性

    • 所有要求的核心功能模块是否齐全
    • 关键状态（成功、失败、进行中、空状态）是否均有体现
    • 特定约束条件（如最大重试次数、截止日期逻辑）是否被遵守

  • 视觉与品牌规范

    • 主色与辅助色是否严格对应指定的 HEX 值
    • 字体层级是否清晰且符合品牌调性
    • 图标风格（如线性、面性）是否在全站保持一致

  • 可用性与交互

    • 导航结构是否让用户清晰感知当前位置
    • 按钮和链接的点击区域是否明显且易于操作
    • 是否存在明显的逻辑断层或死胡同

  • 内容质量

    • 文本是否存在幻觉（生造不存在的功能或术语）
    • 文案语调是否符合预设的专业度（如严肃、活泼）

常见坑与对策

  • 输入长度受限：部分工具对提示词字符数有严格限制。对策是先使用通用大模型精炼需求描述，剔除冗余修饰词，保留核心约束。
  • 工具版本快速迭代：评测结论往往几个月后就失效。对策是在报告中明确记录测试时的模型版本号，并将评测重点放在方法论而非具体工具排名上。
  • 静态图掩盖交互缺陷：AI 生成的静态图往往无法展示复杂的交互反馈。对策是要求 AI 针对同一页面生成不同交互状态（如 Hover、Active、Error）的变体图。

可用于丰富《AI 辅助软件产品》的写作点

  • 第 4 章 原型与信息架构：在讲解如何用 AI 生成原型时，引用 NN/G 的 Flow Design 案例，强调不要只生成单页，而要通过 Prompt 描述完整的任务流，强迫 AI 思考页面间的跳转逻辑。
  • 第 6 章 UI 设计：利用文中关于颜色代码（如 #002AF6）和形状约束（如三角形代表特定专业）的测试案例，说明如何在 Prompt 中通过硬性约束来驯服 AI 的幻觉，确保设计产出符合设计系统 Design Tokens。
  • 第 18 章 评测体系：将此文的 Evaluation Methodology 提炼为标准的 AI 辅助设计验收流程，特别是强调以真实业务场景而非 Demo 场景作为测试集的重要性，这是建立企业级 AI 采纳标准的基础。