Transformer P24 模型逐字生成预测值
上节课,我们完成了模型的训练过程,然后用相同的逻辑计算了验证集的 loss 值,但 loss 值的大小,并不能代表模型的好坏,所以这节课,还需要单独写一个评估的逻辑,来衡量模型的效果。
在这个评估函数里面,需要完成两件事情,一个就是根据验证集的英文输入,去逐字生成翻译结果,第二个才是用翻译常用的评估指标,去评估模型的好坏。这节课,我们先搞定逐字生成翻译结果的功能。
代码示例
1、定义评估函数
内容不可见,请联系管理员开通权限。
2、逐字生成预测值
内容不可见,请联系管理员开通权限。
3、tokenizer逆转,生成预测句子
内容不可见,请联系管理员开通权限。
现在,我们就完成了,根据验证集的输入,逐字输出预测结果的功能,但是还是只能靠肉眼去观察输出文本,没有一个具体的数值,来评估模型的好坏。所以下节课,我们要引入一个翻译任务的评估指标,来给模型效果打一个分,方便我们更直观的看出模型的好坏。
本文链接:http://www.ichenhua.cn/edu/note/671
版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!