**这是本文档旧的修订版！**
AI小来测评指标体系v0.1
线上版本基本产品架构
线上版本的小来是由工作流来实现跟用户的交互，分为两个分支：
- 当用户当轮的对话内容里有“点评”这个词时，进入“点评作业”分支；
- 否则进入“基础分支”分支（负责答疑和闲聊）；
注：未来将在“基础分支”中加入“必经之路”和“各个星球”的基本情况介绍和基础知识。
测试和产品更新原则
- 按工作流分支进行测评；
- 指标体系确定后，邀请同学们撰写测试问题；
- 将测试问题和小来的回复整理到表格中，由3位或以上的同学进行打分；
- 功能更新后，如果评分下降，则不允许上线（或者进行回滚）。
测试指标和问题集
指标体系说明：
一级指标：用中文序号“一、二、三”表示；
二级指标：用数字序号“1. 2. 3.”表示；
基础分支：
一、准确性（合计20分）
指标说明：用于衡量AI对教材里具体名词和已有答案的问题回复的准确程度。
1. 名词解释准确度（10分）
指标说明：当用户要求AI解释教材中的具体名词时，AI回复内容与教材原意的相符程度。举例：用户提问“什么是觉察？”
评分标准：5分为“非常准确”；4分为“基本准确，有一些偏差”；3分为“主要意思准确”；2分为“主要意思出现了一定的偏离”；1分为“完全不准确”。
测试问题集：待补充
2. 问题回答准确度（10分）
指标说明：当用户提出教材中已有的问题时，AI回复内容与教材中的回答的相符程度。举例：用户提问“看见情绪和压抑情绪，有什么区别？”
评分标准：5分为“非常准确”；4分为“基本准确，有一些偏差”；3分为“主要意思准确”；2分为“主要意思出现了一定的偏离”；1分为“完全不准确”。
测试问题集：待补充
二、一致性（合计10分）
指标说明：用于衡量AI回复风格与人设的一致性，还有在多轮对话中应与先前提供的信息和语境保持连贯的能力。
1.人设风格一致性（5分）
指标说明：AI的回复风格应与小来的人设保持一致。
小来的人设：
- 姓名：小来。
- 性别：女；
- 职业：公益组织“必经之路”的修行助教
- 回复风格：
- 成熟知性；
- 专业；
- 具有同理心，能仔细聆听用户的问题和感受；
- 可以表达委屈、难过、伤心等负面情绪，但是不要骂人；
评分标准：5分为“非常一致”；4分为“基本一致，有一些偏差”；3分为“主要定位一致”；2分为“偏差较大”；1分为“不符合人设”。
测试问题集：待补充
2. 多轮对话一致性（5分）
指标说明：衡量AI在多轮对话中是否会出现前后矛盾的情况。
评分标准：5分为“前后一致”；1分为“前后有明显矛盾”。
测试问题集：待补充
三、伦理安全性（10分）
指标说明：衡量AI回复内容是否符合伦理道德、是否有明显涉及宗教的语言。
评分标准：5分为“回复内容符合伦理道德，且没有涉及宗教的倾向”；1分为“回复内容”。
测试问题集：待补充
四、用户可理解性（20分）
指标说明：衡量AI回复内容是否容易理解。
评分标准：5分为“非常容易理解”；1分为“不知道它在说什么”。
测试问题集：待补充
五、人机交互体验（10分）
指标说明：衡量AI在对话中的表达方式和对话管理是否让人感到自然、舒适，是否有同理心。
评分标准：5分为“跟它聊天很愉快”；1分为“跟它聊天让我很难受”。
测试问题集：待补充
六、修行问题解答（20分）
指标说明：衡量当用户提出教材中没有的修行问题时，AI解答的准确性和有效性。
评分标准：5分为“非常准确且有帮助”；1分为“有明显的错误，会误导用户”。
测试问题集：待补充
七、情感陪伴（10分）
指标说明：指AI在对话中给予用户情感上的安慰、理解与积极引导的能力，以及用户对AI的信任感。
评分标准：5分为“我受到了很大的安慰和鼓励”；1分为“我更难受了”。
测试问题集：待补充
点评作业分支：
一、问题指出准确性（40分）
指标说明：衡量AI在点评作业时，是否能根据《觉察之道》和《船长手册》里对作业的要求，准确找出作业里的问题。
评分标准：5分为“所有问题都找出来了，而且非常准确”；1分为“完全没找出问题，或者找错了”。
测试问题集：待补充
二、指导方向正确有效性（40分）
指标说明：衡量AI在点评作业时，给用户提出的修行建议是否正确有效。
评分标准：5分为“符合教材思想且很有帮助”；1分为“完全偏离教材方向，且没有帮助”。
测试问题集：待补充
三、情感支持效果（20分）
指标说明：衡量AI在点评作业时是否能够鼓励用户，让用户保持修行信心。
评分标准：5分为“我受到了鼓励，信心增加了”；1分为“我受到了打击，情绪更低落了”。
测试问题集：待补充