173分钟
PyTorch实战——Bert应用实战
Transformer抛弃了传统的CNN和RNN，Transformer由且仅由self-Attenion和Feed Forward Neural Network组成。它使用了Attention机制，…
Transformer抛弃了传统的CNN和RNN，Transformer由且仅由self-Attenion和Feed Forward Neural Network组成。它使用了Attention机制，将序列中任意两位置之间的距离缩小为一个常量；其次它不是类似RNN的顺序结构，因此具有更好的并行性，符合现有的GPU框架。
课程细致讲解Transformer中的各个组成模块，并通过谷歌开源项目代码解读以及应用实例，帮助大家透彻理解Transformer的结构，及BERT训练方法，学会理论的同时，上手实践项目。
一、自然语言处理通用框架BERT原理解读
- 1.BERT课程简介
- 2.BERT任务目标概述
- 3.传统解决方案遇到的问题
- 4.注意力机制的作用
- 5.Self-attention计算方法
- 6.特征分配与softmax机制
- 7.Multi-head的作用
- 8.位置编码与多层堆叠
- 9.Transformer整体架构梳理
- 10.BERT模型训练方法
- 11.BERT实例训练
二、谷歌开源项目BERT源码解读与应用实例
- 1.BERT开源项目简介
- 2.项目参数配置
- 3.数据读取模块
- 4.数据预处理模块
- 5.Tfrecord制作
- 6.Embedding层的作用
- 7.加入额外编码特征
- 8.加入位置编码特征
- 9.Mask机制
- 10.构建QKV矩阵
- 11.完成transformer模块构建
三、基于Pytorch实战BERT模型
- 1.项目配置与环境概述
- 2.数据读取与预处理
- 3.网络结构定义
- 4.网络模型训练
唐宇迪
同济大学硕士，华东理工大学博士