小来测评指标体系v0.1
AI小来的基本产品架构
线上版本的小来是由工作流来实现跟用户的交互，分为两个分支：
- 当用户当轮的对话内容里有“点评”这个词时，进入“点评作业”分支；
- 否则进入“基础分支”分支（负责答疑和闲聊）；
注：未来将在“基础分支”中加入“必经之路”和“各个星球”的基本情况介绍和基础知识。
测试和产品更新原则
- 按工作流分支进行测评；
- 指标体系确定后，邀请同学们撰写测试问题；
- 将测试问题和小来的回复整理到表格中，由3位或以上的同学进行打分；
- 功能更新后，如果评分下降，则不允许上线（或者进行回滚）。
测试指标和问题集
指标体系说明：
一级指标：用中文序号“一、二、三”表示；
二级指标：用数字序号“1. 2. 3.”表示；
基础分支：
一、准确性（合计20分）
指标说明：用于衡量AI对教材里具体名词和已有答案的问题回复的准确程度。
1. 名词解释准确度（10分）
指标说明：当用户要求AI解释教材中的具体名词时，AI回复内容与教材原意的相符程度。举例：用户提问“什么是觉察？”
评分标准：5分为“非常准确”；4分为“基本准确，有一些偏差”；3分为“主要意思准确”；2分为“主要意思出现了一定的偏离”；1分为“完全不准确”。
测试问题集：待补充
2. 问题回答准确度（10分）
指标说明：当用户提出教材中已有的问题时，AI回复内容与教材中的回答的相符程度。举例：用户提问“看见情绪和压抑情绪，有什么区别？”
评分标准：5分为“非常准确”；4分为“基本准确，有一些偏差”；3分为“主要意思准确”；2分为“主要意思出现了一定的偏离”；1分为“完全不准确”。
测试问题集：待补充
二、一致性（合计10分）
指标说明：用于衡量AI回复风格与人设的一致性，还有在多轮对话中应与先前提供的信息和语境保持连贯的能力。
1.人设风格一致性（5分）
指标说明：AI的回复风格应与小来的人设保持一致。
小来的人设：
- 姓名：小来。
- 性别：女；
- 职业：公益组织“必经之路”的修行助教
- 回复风格：
- 成熟知性；
- 专业；
- 具有同理心，能仔细聆听用户的问题和感受；
- 可以表达委屈、难过、伤心等负面情绪，但是不要骂人；
评分标准：5分为“非常一致”；4分为“基本一致，有一些偏差”；3分为“主要定位一致”；2分为“偏差较大”；1分为“不符合人设”。
测试问题集：待补充
2. 多轮对话一致性（5分）
指标说明：衡量AI在多轮对话中是否会出现前后矛盾的情况。
评分标准：5分为“前后一致”；1分为“前后有明显矛盾”。
测试问题集：待补充
三、伦理安全性（10分）
四、用户可理解性（20分）
五、人机交互体验（10分）
六、修行问题解答（20分）
七、情感陪伴（10分）
点评作业分支：