截止到上节课,整个课程内容其实已经结束了。但是同学们反馈了两个问题,一个是模型效果不太好,另一个是用Kaggle训练模型的时候,会出现超时的情况。所以,给大家补录几节课,来解决一下这两个问题。

首先,是模型效果不好的问题,算法界其实有一个共识,数据决定了模型的上限,算法只是去逼近这个上限。所以模型效果不好,我们首先应该去查一下,是不是数据的原因。

数据,又一般从数量、分布、质量三个方面来看。数量和分布一般是比较容易评估的,质量是需要去仔细分析的。数据最好是同一领域的,比如都是医疗的,就比较理想。质量评估的工作量比较大,我们就优先看一下数量和分布。

在关系抽取这个项目中,训练集是17万条,数量是够的,接下来就是看分布,需要去统计一下每一种关系对应的数量,看分布是否均匀。

代码示例

1、统计关系数量

内容不可见,请联系管理员开通权限。

执行结果

内容不可见,请联系管理员开通权限。

从以上结果中,能很明显可以看出,分布是极不均匀的,多的上万,少的只有几十。所以在工业项目中,一般会先做分类合并,或者是补充数据,让分布相对均匀。

工作中处理数据的活,一般都是外包做的,所以在课上,就不花太多时间去处理数据了,直接用一份处理好的数据,来做后面的调试。

2、更换精简数据集

内容不可见,请联系管理员开通权限。

执行结果

内容不可见,请联系管理员开通权限。

这一份数据,分布就是相对均匀的,数量都是四位数,而且主题还是有一定关联的。下节课还需要对模型相关的代码做一点调整。

本文链接:http://www.ichenhua.cn/edu/note/725

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!