GPU&大模型 kubernetes

141分钟

随着人工智能技术的快速发展，大模型和GPU资源的应用日益广泛，如何高效管理和调度这些资源成为了企业和开发者面临的重要挑战。Kubernetes作为云原生领域的核心工具，能够帮助实现GPU资源的动态分配…

顾问咨询

课程分类: 人工智能 | 技术开发

适用人群: 工程师, 专家, 研究员课程标签: Kubernetes,大模型,GPU管理

随着人工智能技术的快速发展，大模型和GPU资源的应用日益广泛，如何高效管理和调度这些资源成为了企业和开发者面临的重要挑战。Kubernetes作为云原生领域的核心工具，能够帮助实现GPU资源的动态分配和大模型的自动化部署，从而显著提升AI应用的开发效率和资源利用率。为此，三节课很荣幸地邀请到杜宽老师，为大家带来《Kubernetes管理大模型和GPU入门与实践》这门课程，帮助大家掌握Kubernetes在大模型和GPU资源管理中的核心技术与实践方法。课程将从大模型与Ollama的初体验开始，带领学员了解Ollama工具的特性及其与其他工具的对比，并通过实际操作演示如何一键部署Deepseek R1等大模型。接着，课程将深入探讨Kubernetes在管理GPU资源和大模型服务中的技术架构，详细介绍Kubernetes GPU Operator和Ollama Operator的核心功能，以及如何使用Kollama工具进行资源调度和管理。最后，课程将聚焦实战，带领学员在Kubernetes环境中部署大模型，涵盖如何使用Model资源和Kollama工具一键部署Deepseek R1及其他大模型，并演示如何在Kubernetes中指定GPU资源进行模型部署和扩容。通过本课程的学习，学员将能够熟练运用Kubernetes管理GPU资源和大模型，提升AI应用的开发效率和资源利用率。无论你是AI开发者、运维工程师，还是对云原生技术感兴趣的从业者，这门课程都将为你提供实用的技能和宝贵的实践经验。

课程介绍 - 第一节主要内容介绍 - 第二节课程大纲第一章 Kubernetes驱动的GPU与大模型管理 - 第一节为什么要使用Kubernetes管理GPU和大模型 - 第二节云原生人工智能（CNAI）第二章 OIIama入门与实践 - 第一节 OIIama介绍和特性 - 第二节 OIIama和其他工具的对比 - 第三节 GPU机器申请 - 第四节 OIIama安装 - 第五节 OIIama初体验：私有化部署Deepseek R1 - 第六节 OIIama WebUI部署 - 第七节 OIIama客户端使用详解 - 第八节 OIIama服务端常用配置 - 第九节 OIIama限制使用的GPU - 第十节 OIIama知识库RAG使用第三章 K8s环境准备 - 第一节 K8s管理GPU资源技术架构 - 第二节 K8s管理大模型服务的方案 - 第三节 K8s GPU Operator 介绍 - 第四节 K8s OIIama Operator和Model资源介绍 - 第五节 K8s KoIIama使用介绍 - 第六节 K8s环境部署 - 第七节 K8s GPU插件部署 - 第八节 K8s GPU调度测试 - 第九节 K8s动态存储安装 - 第十节 K8s动态存储测试 - 第十一节 K8s Ollama和Kollama安装第四章 K8s部署大模型实践 - 第一节 K8s使用Model资源一键部署大模型 - 第二节 K8s使用kollama资源一键部署大模型 - 第三节 K8s一键部署Deepseek R1模型 - 第四节 K8s部署Open WebUI - 第五节在K8s一键部署任意大模型 - 第六节在K8s中指定GPU部署大模型及模型扩容

宽哥

某上市集团云原生架构师

课程详情

GPU&大模型 kubernetes

宽哥