上节课讲到数据的批量加载，但是因为数据不规整，需要用一个中间过程来处理一下，这节课就来完成这个数据处理的中间过程，主要是两块，一个是等长填充，另一个是 target 的拆分。

代码示例

1、zip 技巧 

内容不可见，请联系管理员开通权限。

2、pad_sequence

要进行批量运行，需要把句子填充成等长，之前项目里面一直用的是循环，有同学吐槽太土了，换个方法。 

内容不可见，请联系管理员开通权限。

3、数据整理

把数据整理成方便输入模型的结构，重点关注 mask 和 target 的数据处理。 

内容不可见，请联系管理员开通权限。

4、调用测试 

内容不可见，请联系管理员开通权限。

好的，现在数据集的加载就处理好了，下节课，就可以开始写训练的逻辑了。

本文链接：http://www.ichenhua.cn/edu/note/668

版权声明：本文为「陈华编程」原创课程讲义，请给与知识创作者起码的尊重，未经许可不得传播或转售！