类ChatGPT微调实战

类ChatGPT微调实战

1220分钟

随着人工智能技术的不断发展,自然语言处理(NLP)在各个领域的应用越来越广泛。ChatGPT作为一种先进的AI对话模型,其微调技术对于提升对话系统的性能和用户体验至关重要。 为了帮助大家更好的做类Ch…

随着人工智能技术的不断发展,自然语言处理(NLP)在各个领域的应用越来越广泛。ChatGPT作为一种先进的AI对话模型,其微调技术对于提升对话系统的性能和用户体验至关重要。 为了帮助大家更好的做类ChatGPT项目的实战,且基于LLaMA甚至可商用开源模型做中文版ChatGPT、垂直版ChatGPT、商用版ChatGPT,特开设本课程。 课程亮点: 系统讲解:从零起步实现transformer、LLaMA、ChatGLM-6B、Chat-LLaMA/ColossalChat 细节剖析:如何更好的部署与微调,涉及Alpaca、Vicuna、BELLE等 知识综合:大语言模型训练指南,涉及Megatron-DeepSpeed、ZeRO、数据并行、张量并行 技术实践:如何更好的调参,涉及Optimizer设计(Adam等)、ep-ochs、learning rate、dropout 总体内容分为四大阶段,干货满满,涵盖模型基础、微调方法、实战演练等多个方面,旨在帮助学员快速掌握AI对话系统的核心技术,提升实际应用能力。
课程导读 第一部分 LLaMA/ChatLLaMA的整体技术架构与代码逐行解读 - 第1课 1.1实战必备 夯实基础:ChatGPT背后的原理解析 - 第1课1.2 实战必备 夯实基础:ChatGPT背后的原理解析 - 第1课1.3 实战必备 夯实基础:ChatGPT背后的原理解析 - 第1课1.4 实战必备 夯实基础:ChatGPT背后的原理解析 - 第2课2.1 Meta LLaMA的复现与解读:参数少但多数任务的效果好于GPT3 - 第2课2.2 Meta LLaMA的复现与解读:参数少但多数任务的效果好于GPT3 - 第2课2.3 Meta LLaMA的复现与解读:参数少但多数任务的效果好于GPT3 - 第2课2.4 Meta LLaMA的复现与解读:参数少但多数任务的效果好于GPT3 - 第2课2.5 Meta LLaMA的复现与解读:参数少但多数任务的效果好于GPT3 - 第3课3.1 LLaMA的RLHF版:ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat - 第3课3.2 LLaMA的RLHF版:ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat - 第3课3.3 LLaMA的RLHF版:ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat - 第3课3.4 LLaMA的RLHF版:ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat - 第3课3.5 LLaMA的RLHF版:ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat 第二部分 各种微调LLaMA:Alpaca、Vicuna、BELLE、中文LLaMA、姜子牙、LLaMA 2 - 第4课4.1 Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B - 第4课4.2 Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B - 第4课4.3 Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B - 第4课4.4 Stanford Alpaca:结合英文语料通过Self Instruct方式微调LLaMA 7B - 第4课补充之1:Alpaca-LoRA微调过程「使用已清洗的alpaca数据基于LoRA微调LLaMA-7B」 - 第4课补充之2:半小时总结LLaMA 2的技术架构精要 - 第5课5.1 Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaMA/Chinese-Alpaca - 第5课5.2 Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaMA/Chinese-Alpaca - 第5课5.3 Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaMA/Chinese-Alpaca 第三部分 以ChatGLM2-6B/MOSS/baichuan为例如何训练LLM及调参部署 - 第6课6.1 ChatGLM-6B的基座、部署、微调、实现 - 第6课6.2 ChatGLM-6B的基座、部署、微调、实现 - 第6课6.3 ChatGLM-6B的基座、部署、微调、实现 - 第6课补充之1:ChatGLM-6B推理部署及微调过程 - 第6课补充之2:LLM微调方法总结:Freeze方法/P-Tuning/LoRA及QLoRA - 第7课7.1 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调 - 第7课7.2 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调 - 第7课补充之1:Baichuan-7B推理及微调过程 - 第7课补充之2:Baichuan-13B推理及微调过程 - 第7课补充之3:ChatGLM2-6B推理部署及微调过程 - 第7课补充之4:阿里通义千问Qwen-7B的原理及ReAct用法 第四部分 大模型并行训练指南与数据的处理、模型的评估 - 第8课8.1 大模型并行训练指南初步:理解基本概念 - 第8课8.2 大模型并行训练指南初步:理解基本概念 - 第8课8.3 大模型并行训练指南初步:理解基本概念 - 第9课9.1 大模型并行训练指南进阶:深入实战 - 第9课9.2 大模型并行训练指南进阶:深入实战 - 第9课9.3 大模型并行训练指南进阶:深入实战 - 第9课9.4 大模型并行训练指南进阶:深入实战 - 第10课10.1 如何更好的收集数据、处理数据、利用数据 - 第10课10.2 如何更好的收集数据、处理数据、利用数据 - 第10课10.3 如何更好的收集数据、处理数据、利用数据 - 第10课10.4 如何更好的收集数据、处理数据、利用数据 - 第11课11.1 模型的优化、评估与部署上线 - 第11课11.2 模型的优化、评估与部署上线 - 第11课11.3 模型的优化、评估与部署上线 - 第11课11.4 模型的优化、评估与部署上线 课程总结 课后测试题
七月在线/July老师
七月在线/July老师

集AI大模型教育、应用开发、机器人解决方案为一体/七月在线创始人兼CEO、北理工校外导师、微软AlMVP兼CSDN技术专家