LLM Experience Evaluation

项目背景

团队对“AI 好不好用”的判断高度主观，产品、设计和算法难以围绕同一组问题做优先级决策。

我的职责

• 定义体验评测维度和评分规则。
• 设计评测看板、问题分布和版本对比体验。
• 组织跨团队评测工作坊。

设计过程

• 收集历史问题，聚类为可操作的体验维度。
• 把模型输出、用户意图和产品反馈串成评测样本。
• 用真实用例校准评分一致性。

最终成果

• 形成 LLM 体验评分表、看板和评审流程。
• 让模型、产品和设计在同一指标下讨论质量。

数据结果

• 设计评审周期缩短 42%。
• 上线前问题发现率提升 55%。
• 复用于 5 条 AI 产品线。