上节课介绍了解码器中唯一特殊的点，就是需要用 mask 遮掩后生成的位置权重，除了这一点之外，其他的都是在编码器部分已经实现的模块，接下来，就是对照 Transformer 的结构图，组装出一个解码器层。

代码示例

1、解码器子层

需要注意的是，第二个注意力层中，query 来自上一层输出，key 和 value 来自编码层的输出，称为 memory。 

内容不可见，请联系管理员开通权限。

2、解码器层 

内容不可见，请联系管理员开通权限。

3、调用测试 

内容不可见，请联系管理员开通权限。

好的，到现在为止，编码器和解码器就都已经实现了。接下来，就只剩下最后一块，就是生成目标值了。

本文链接：http://www.ichenhua.cn/edu/note/661

版权声明：本文为「陈华编程」原创课程讲义，请给与知识创作者起码的尊重，未经许可不得传播或转售！