141分钟
GPU&大模型 kubernetes
随着人工智能技术的快速发展，大模型和GPU资源的应用日益广泛，如何高效管理和调度这些资源成为了企业和开发者面临的重要挑战。Kubernetes作为云原生领域的核心工具，能够帮助实现GPU资源的动态分配…
随着人工智能技术的快速发展，大模型和GPU资源的应用日益广泛，如何高效管理和调度这些资源成为了企业和开发者面临的重要挑战。Kubernetes作为云原生领域的核心工具，能够帮助实现GPU资源的动态分配和大模型的自动化部署，从而显著提升AI应用的开发效率和资源利用率。为此，三节课很荣幸地邀请到杜宽老师，为大家带来《Kubernetes管理大模型和GPU入门与实践》这门课程，帮助大家掌握Kubernetes在大模型和GPU资源管理中的核心技术与实践方法。
课程将从大模型与Ollama的初体验开始，带领学员了解Ollama工具的特性及其与其他工具的对比，并通过实际操作演示如何一键部署Deepseek R1等大模型。接着，课程将深入探讨Kubernetes在管理GPU资源和大模型服务中的技术架构，详细介绍Kubernetes GPU Operator和Ollama Operator的核心功能，以及如何使用Kollama工具进行资源调度和管理。最后，课程将聚焦实战，带领学员在Kubernetes环境中部署大模型，涵盖如何使用Model资源和Kollama工具一键部署Deepseek R1及其他大模型，并演示如何在Kubernetes中指定GPU资源进行模型部署和扩容。
通过本课程的学习，学员将能够熟练运用Kubernetes管理GPU资源和大模型，提升AI应用的开发效率和资源利用率。无论你是AI开发者、运维工程师，还是对云原生技术感兴趣的从业者，这门课程都将为你提供实用的技能和宝贵的实践经验。
课程介绍
- 第一节 主要内容介绍
- 第二节 课程大纲
第一章 Kubernetes驱动的GPU与大模型管理
- 第一节 为什么要使用Kubernetes管理GPU和大模型
- 第二节 云原生人工智能（CNAI）
第二章 OIIama入门与实践
- 第一节 OIIama介绍和特性
- 第二节 OIIama和其他工具的对比
- 第三节 GPU机器申请
- 第四节 OIIama安装
- 第五节 OIIama初体验：私有化部署Deepseek R1
- 第六节 OIIama WebUI部署
- 第七节 OIIama客户端使用详解
- 第八节 OIIama服务端常用配置
- 第九节 OIIama限制使用的GPU
- 第十节 OIIama知识库RAG使用
第三章 K8s环境准备
- 第一节 K8s管理GPU资源技术架构
- 第二节 K8s管理大模型服务的方案
- 第三节 K8s GPU Operator 介绍
- 第四节 K8s OIIama Operator和Model资源介绍
- 第五节 K8s KoIIama使用介绍
- 第六节 K8s环境部署
- 第七节 K8s GPU插件部署
- 第八节 K8s GPU调度测试
- 第九节 K8s动态存储安装
- 第十节 K8s动态存储测试
- 第十一节 K8s Ollama和Kollama安装
第四章 K8s部署大模型实践
- 第一节 K8s使用Model资源一键部署大模型
- 第二节 K8s使用kollama资源一键部署大模型
- 第三节 K8s一键部署Deepseek R1模型
- 第四节 K8s部署Open WebUI
- 第五节 在K8s一键部署任意大模型
- 第六节 在K8s中指定GPU部署大模型及模型扩容
宽哥
某上市集团云原生架构师