模型评估

https://json0071.gitbooks.io/svm/content/mlsui_sui_nian.html

模型评估

https://json0071.gitbooks.io/svm/content/mlsui_sui_nian.html

1. 数据不平衡问题

* 获取更多数据

* 评价方式：F1

* 重组数据：上下采样

* 使用其他的机器学习方法

• 神经网络不适合不平衡数据问题

• 树的方法，效果好

* 修改算法

• 例如：设置sigmoid的值

2. 分类器的评估

* F1

* AUC和ROC

http://alexkong.net/2013/06/introduction-to-auc-and-roc/ http://blog.csdn.net/abcjennifer/article/details/7359370

3. 需要多少数据

当训练样本的数量与模型参数数量的比率达到10:1之后，模型得分基本稳定在0.85，该比率便可以作为良好性能模型的一种定义。

5. ABtest

• 调参数需要用预测效果来比较还坏，有人可能会问，那该如何测试才能比较客观的检验参数甚至模型的有效性？达观数据的测试方法主要有两种：离线测试和在线测试。离线测试时我们只有训练数据，一般会采用学术界常用的交叉验证方法。如图9所示，我们将训练数据平均分为n份，在这n份数据上进行n次循环，每次取其中一份作为检验集（Validation Set），其他n-1份作为训练集（Training Set）。最后对n次预测的结果求平均，以平均得分来对比不同的参数和模型。n一般取5、10或者20。

• 离线测试得到满意的性能提升之后，就可以进行在线测试。离线测试效果好，并不意味着上线就能取得满意效果。在线测试采用工业界广泛使用的AB测试，首先我们会从线上切一小部分流量（B流量）给新模型、新参数，将效果和使用原先的模型和参数的主流量（A流量）进行对比，如果效果有所提升，再增加B流量的比例。测试通过了就可以全流量上线。