自然语言处理项目实战——BERT模型

一、自然语言处理通用框架BERT原理解读 - 1.BERT课程简介 - 2.BERT任务目标概述 - 3.传统解决方案遇到的问题 - 4.注意力机制的作用 - 5.Self-attention计算方法 - 6.特征分配与softmax机制 - 7.Multi-head的作用 - 8.位置编码与多层堆叠 - 9.Transformer整体架构梳理 - 10.BERT模型训练方法 - 11.BERT实例训练 二、谷歌开源项目BERT源码解读与应用实例 - 1.BERT开源项目简介 - 2.项目参数配置 - 3.数据读取模块 - 4.数据预处理模块 - 5.Tfrecord制作 - 6.Embedding层的作用 - 7.加入额外编码特征 - 8.加入位置编码特征 - 9.Mask机制 - 10.构建QKV矩阵 - 11.完成transformer模块构建 三、项目实战：基于BERT的中文情感分析实战 - 1.中文分类数据与任务概述 - 2.读取训练数据集 - 3.训练BERT中文分类模型 四、项目实战：基于BERT的中文命名实体识别实战 - 1.命名实体识别数据分析与任务目标 - 2.NER标注数据处理与读取 - 3.构建BERT与CRF模型 五、必备知识点：Word2vec模型通俗解读 - 1.词向量模型通俗解释 - 2.模型整体框架 - 3.训练数据构建 - 4.CBOW与Skip-gram模型 - 5.负采样方案 六、必备基础：掌握Tensorflow 如何实现Word2vec 模型 - 1.数据与任务流程 - 2.数据清洗 - 3.batch数据制作 - 4.网络训练 - 5.可视化展示 七、RNN网络架构与情感分析应用实例 - 1.RNN网络模型解读 - 2.NLP应用领域与任务简介 - 3.项目流程解读 - 4.加载词向量特征 - 5.正负样本数据读取 - 6.构建LSTM网络模型 - 7.训练与测试效果 八、医学糖尿病数据命名实体识别 - 1.数据与任务介绍 - 2.整体模型架构 - 3.数据——标签——语料库处理 - 4.输入样本填充补齐 - 5.训练网络模型 - 6.医疗数据集（糖尿病）实体识别 课后测试 课程资料