参照 Transformer 结构图,在解码器之后,还有一个 linear 层和 softmax,我们把这两步操作,封装到一个生成器里面,这一层的输出,就是模型生成的目标序列。

代码示例

1、生成器层

模型的输出值,就是目标序列词表中,每个字的概率值。

内容不可见,请联系管理员开通权限。

2、调用测试

通过 softmax 之后,最大的概率值对应的索引位置,就是生成的词的索引。

内容不可见,请联系管理员开通权限。

好的,到目前为止,Transformer 中几个大的模块,就全部实现了,然后可以新建一个 model.py 文件,把代码规整一下,下节课还有最后一件事,就是把零散的模块,封装成一个完整的模型结构。

本文链接:http://www.ichenhua.cn/edu/note/662

版权声明:本文为「陈华编程」原创课程讲义,请给与知识创作者起码的尊重,未经许可不得传播或转售!