AI PM视角：对话机器人的算法是如何开发的？( 三 )

2）特征工程
选型之后，算法工程师会进行特征工程的工作。整个模型构建可以理解为：从样本数据中提取可以很好描述数据的特征，再利用它们建立出对未知数据有优先预测能力的模型。
所以在模型构建中，特征工程师非常重要的部分。数据和特征决定了机器学习的上限，而模型和算法只是逼近这个上限而已。
而现有的技术能力，如神经网络等算法能力，可通过模型的自主提取特征能力，而取代人工提取特征的过程。方式的不同，在效果上也可能比算法工程师人工提取特征，可能有提高。需具体业务情况具体看。
3）模型训练
算法工程师会根据数据在不同模型的训练结果，做调参工作，以确保模型最终的效果是可满足业务的要求，并可持续优化的。
算法工程师在训练模型时使用的数据为【训练集】，该数据集合需不能与最后模型测试使用的【测试集】重合/有交集，以确保后续测试是客观、不失真的。
五、模型测试主要角色：测试工程师【 AI PM视角：对话机器人的算法是如何开发的？】模型构建完成后，就需要算法测试工程师介入测试模型的效果。对于算法的测试，衡量的基础指标主要是：P值（精准率）、R值（召回率）和F1值，分别衡量模型预测的准确性、覆盖面和二者的综合能力。
当然，还可以根据业务的不同，有其他的测试验收指标，这边不赘述。
测试的过程，一般会使用脚本自动化测试，以覆盖数据量庞大的测试内容，保证最短时间内测可能多的内容。
测试完成后，测试工程师需出具测试报告。报告的接收方为：算法工程师、产品经理、AI训练师。需确认报告内容。同时，产品经理/AI训练师需评估，模型的效果是否符合预期。若否，则需算法模型重新训练调优，直至达到上线标准为止。
六、模型验证主要角色：产品经理、AI训练师模型验证指的是模型上线后的数据观察，以验证模型效果，通常由产品经理/AI训练师，做上线后的跟踪与观察。在上线之后，一般会做算法相关的数据统计，每天实时监测数据的情况。
若有数据异常或不符合预期，通常需要做以下处理。
1）告知算法团队，做数据反馈收集与模型优化
算法的优化过程是较为缓慢的，涉及的流程包括数据重新标注、模型重新训练、重新测试/调优等等。通常周期以“周”为单位。
2）通过规则矫正
业务的问题总是需要及时地处理与反馈的，所以需要一些辅助措施，来响应响应的需求。一旦发现算法模型效果不佳，需要产品经理/AI训练师通过规则矫正的方式，优先做处理。当后续算法优化更新之后，再做原有规则的恢复。
七、结语对话机器人算法的开发过程，是一个闭环的过程。通过数据的训练、测试、调优，达成相应的业务目标。随着数据的不断反馈，算法模型的效果则会越来越符合业务的需求，是一个循序渐进的过程。本篇文章大致介绍了算法开发的整个流程与脉络，希望可以帮到你。
作者：咖喱鱼丸，5年PM经验，2年AI PM经验
本文由 @咖喱鱼蛋egg 原创发布于人人都是产品经理。未经许可，禁止转载
题图来自Unsplash，基于CC0协议