上节课,我们完成了模型的训练过程,然后用相同的逻辑计算了验证集的 loss 值,但 loss 值的大小,并不能代表模型的好坏,所以这节课,还需要单独写一个评估的逻辑,来衡量模型的效果。

在这个评估函数里面,需要完成两件事情,一个就是根据验证集的英文输入,去逐字生成翻译结果,第二个才是用翻译常用的评估指标,去评估模型的好坏。这节课,我们先搞定逐字生成翻译结果的功能。

代码示例

1、定义评估函数

内容不可见,请联系管理员开通权限。

2、逐字生成预测值

内容不可见,请联系管理员开通权限。

3、tokenizer逆转,生成预测句子

内容不可见,请联系管理员开通权限。

现在,我们就完成了,根据验证集的输入,逐字输出预测结果的功能,但是还是只能靠肉眼去观察输出文本,没有一个具体的数值,来评估模型的好坏。所以下节课,我们要引入一个翻译任务的评估指标,来给模型效果打一个分,方便我们更直观的看出模型的好坏。

本文链接:http://www.ichenhua.cn/edu/note/671

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!