类ChatGPT微调实战

1220分钟

随着人工智能技术的不断发展，自然语言处理（NLP）在各个领域的应用越来越广泛。ChatGPT作为一种先进的AI对话模型，其微调技术对于提升对话系统的性能和用户体验至关重要。为了帮助大家更好的做类Ch…

顾问咨询

课程分类: 人工智能 | 技术开发

适用人群: 工程师, 专家, 研究员课程标签: 大模型微调,LLaMA,实战开发

随着人工智能技术的不断发展，自然语言处理（NLP）在各个领域的应用越来越广泛。ChatGPT作为一种先进的AI对话模型，其微调技术对于提升对话系统的性能和用户体验至关重要。为了帮助大家更好的做类ChatGPT项目的实战，且基于LLaMA甚至可商用开源模型做中文版ChatGPT、垂直版ChatGPT、商用版ChatGPT，特开设本课程。课程亮点：系统讲解：从零起步实现transformer、LLaMA、ChatGLM-6B、Chat-LLaMA/ColossalChat 细节剖析：如何更好的部署与微调，涉及Alpaca、Vicuna、BELLE等知识综合：大语言模型训练指南，涉及Megatron-DeepSpeed、ZeRO、数据并行、张量并行技术实践：如何更好的调参，涉及Optimizer设计(Adam等)、ep-ochs、learning rate、dropout 总体内容分为四大阶段，干货满满，涵盖模型基础、微调方法、实战演练等多个方面，旨在帮助学员快速掌握AI对话系统的核心技术，提升实际应用能力。

课程导读第一部分 LLaMA/ChatLLaMA的整体技术架构与代码逐行解读 - 第1课 1.1实战必备夯实基础：ChatGPT背后的原理解析 - 第1课1.2 实战必备夯实基础：ChatGPT背后的原理解析 - 第1课1.3 实战必备夯实基础：ChatGPT背后的原理解析 - 第1课1.4 实战必备夯实基础：ChatGPT背后的原理解析 - 第2课2.1 Meta LLaMA的复现与解读：参数少但多数任务的效果好于GPT3 - 第2课2.2 Meta LLaMA的复现与解读：参数少但多数任务的效果好于GPT3 - 第2课2.3 Meta LLaMA的复现与解读：参数少但多数任务的效果好于GPT3 - 第2课2.4 Meta LLaMA的复现与解读：参数少但多数任务的效果好于GPT3 - 第2课2.5 Meta LLaMA的复现与解读：参数少但多数任务的效果好于GPT3 - 第3课3.1 LLaMA的RLHF版：ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat - 第3课3.2 LLaMA的RLHF版：ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat - 第3课3.3 LLaMA的RLHF版：ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat - 第3课3.4 LLaMA的RLHF版：ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat - 第3课3.5 LLaMA的RLHF版：ChatLLaMA(英文版)/ColossalChat/DeepSpeed Chat 第二部分各种微调LLaMA：Alpaca、Vicuna、BELLE、中文LLaMA、姜子牙、LLaMA 2 - 第4课4.1 Stanford Alpaca：结合英文语料通过Self Instruct方式微调LLaMA 7B - 第4课4.2 Stanford Alpaca：结合英文语料通过Self Instruct方式微调LLaMA 7B - 第4课4.3 Stanford Alpaca：结合英文语料通过Self Instruct方式微调LLaMA 7B - 第4课4.4 Stanford Alpaca：结合英文语料通过Self Instruct方式微调LLaMA 7B - 第4课补充之1：Alpaca-LoRA微调过程「使用已清洗的alpaca数据基于LoRA微调LLaMA-7B」 - 第4课补充之2：半小时总结LLaMA 2的技术架构精要 - 第5课5.1 Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaMA/Chinese-Alpaca - 第5课5.2 Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaMA/Chinese-Alpaca - 第5课5.3 Vicuna(shareGPT)、BELLE(self-instruct)、Chinese-LLaMA/Chinese-Alpaca 第三部分以ChatGLM2-6B/MOSS/baichuan为例如何训练LLM及调参部署 - 第6课6.1 ChatGLM-6B的基座、部署、微调、实现 - 第6课6.2 ChatGLM-6B的基座、部署、微调、实现 - 第6课6.3 ChatGLM-6B的基座、部署、微调、实现 - 第6课补充之1：ChatGLM-6B推理部署及微调过程 - 第6课补充之2：LLM微调方法总结：Freeze方法/P-Tuning/LoRA及QLoRA - 第7课7.1 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调 - 第7课7.2 基于MOSS、baichuan7B/13B、ChatGLM2-6B的结构与微调 - 第7课补充之1：Baichuan-7B推理及微调过程 - 第7课补充之2：Baichuan-13B推理及微调过程 - 第7课补充之3：ChatGLM2-6B推理部署及微调过程 - 第7课补充之4：阿里通义千问Qwen-7B的原理及ReAct用法第四部分大模型并行训练指南与数据的处理、模型的评估 - 第8课8.1 大模型并行训练指南初步：理解基本概念 - 第8课8.2 大模型并行训练指南初步：理解基本概念 - 第8课8.3 大模型并行训练指南初步：理解基本概念 - 第9课9.1 大模型并行训练指南进阶：深入实战 - 第9课9.2 大模型并行训练指南进阶：深入实战 - 第9课9.3 大模型并行训练指南进阶：深入实战 - 第9课9.4 大模型并行训练指南进阶：深入实战 - 第10课10.1 如何更好的收集数据、处理数据、利用数据 - 第10课10.2 如何更好的收集数据、处理数据、利用数据 - 第10课10.3 如何更好的收集数据、处理数据、利用数据 - 第10课10.4 如何更好的收集数据、处理数据、利用数据 - 第11课11.1 模型的优化、评估与部署上线 - 第11课11.2 模型的优化、评估与部署上线 - 第11课11.3 模型的优化、评估与部署上线 - 第11课11.4 模型的优化、评估与部署上线课程总结课后测试题

七月在线/July老师

集AI大模型教育、应用开发、机器人解决方案为一体/七月在线创始人兼CEO、北理工校外导师、微软AlMVP兼CSDN技术专家

课程详情

类ChatGPT微调实战

七月在线/July老师