手把手教你用PyTorch搭建Transformer英译中翻译模型

本课程分为三个部分:Transformer模型搭建、自定义Mini数据集训练、新闻数据集并行训练,手把手教大家用PyTorch搭建一个Transformer模型,并完成英译中翻译任务。

温馨提示 课程有效期为120天,不允许多人共享账号,请知悉。

综合概述:32课时 / 7小时

学习人数:3310

视频+源码+课程范围内答疑

368.00

视频+源码(不含答疑)

298.00

本课程分为三个部分:Transformer模型搭建、自定义Mini数据集训练、新闻数据集并行训练,手把手教大家用PyTorch搭建一个Transformer模型,并完成英译中翻译任务。

课程内容

1、Transformer 模型搭建

大约用13个小节,带大家逐步实现 Transformer 模型结构。

(1) 文本嵌入层、位置编码层

(2) 编码器层:多头注意力机制、前馈神经网络、残差连接和归一化

(3) 解码器层:多头注意力机制、编码-解码注意力机制、前馈神经网络、残差连接和归一化

(4) 生成器层

2、自定义Mini数据集训练

因为训练生成任务的样本量一般都比较大,自定义Mini数据集,方便调试,整个流程走通之后再做替换,自定义数据集跟真实数据格式一致。

(1) 分词、词表生成

(2) 数据集加载、数据对齐

(3) 模型训练和验证、BLEU评估指标

(4) 模型预测

3、新闻数据集并行训练

新闻数据集词表大,模型参数量大,训练样本多,需要用多块GPU并行训练。

(1) Label Smoothing、动态调整学习率策略

(2) 多 GPU 并行训练、多 GPU 负载均衡设置

(3) Kaggle 免费 GPU 资源

32课时 / 7小时
暂未开放评论功能.
扫码支付
用户邮箱: 未登录
购买课程: 手把手教你用PyTorch搭建Transformer英译中翻译模型
应付总额: ¥298.00 (不含答疑) ¥368.00 (含答疑)

不允许多人共享账号,违规封号不退款!

微信 扫一扫,添加客服微信,

将本弹框截图,发送给客服处理。