1599分钟
第三代人工智能技术基础——从可微分编程到因果推理
自从1956年“人工智能”诞生于达特茅斯会议以来,已经经历了从早期的以符号推理为主体的第一代人工智能,以及以深度神经网络、机器学习为主体的第二代人工智能。而ChatGPT的横空出世,生成式AI的普及,…
自从1956年“人工智能”诞生于达特茅斯会议以来,已经经历了从早期的以符号推理为主体的第一代人工智能,以及以深度神经网络、机器学习为主体的第二代人工智能。而ChatGPT的横空出世,生成式AI的普及,以及AI for Science等新领域的突破,标志着第三代人工智能的呼之欲出。新一代人工智能将会融合第一代的符号推理与第二代的机器学习技术,通过生成式大模型实现可学习、懂因果、会推理的智能主体。
可微分编程、神经微分方程、自监督学习、生成式模型、Transformer、基于图网络的学习与推理、因果表征与因果推断,基于世界模型的强化学习……,所有这些脱胎于前两代人工智能的技术要素很有可能将构成第三代人工智能的理论与技术的基础。然而,这些技术要素大多散落在各大会议、期刊的海量论文之中,没有被系统的梳理与综合,因而不方便初学者学习。
在这样的背景下,北京师范大学系统科学学院教授,集智俱乐部、集智学园的创始人张江老师,为大家带来了全新的《第三代人工智能技术基础——从可微分编程到因果推理》这门课程,试图系统化地梳理从机器学习到大语言模型,从图神经网络到因果推理等一系列可能成为第三代人工智能基础的技术要素,为研究者或学生在生成式AI、大模型、AI for Science等相关领域的学习和研究工作奠定基础。
第1章 大数据驱动的人工智能
- 1. AI总览:新进展与应用领域
- 2. AI发展历史-1
- 3. AI发展历史-2
- 4. AI发展历史-3
第2章 自动微分与PyTorch编程
- 1. 自动微分
- 2. PyTorch介绍-1
- 3. PyTorch介绍-2
- 4. 第一个机器学习程序案例
- 5. 优化问题
第3章 机器学习基础
- 1. 机器学习简介
- 2. 回归分析-1
- 3. 回归分析-2
- 4. 二类任务-1
- 5. 二类任务-2
第4章 常见神经网络架构
- 1. 前馈神经网络-1
- 1. 前馈神经网络-2
- 2. 神经网络预测案例-1
- 3. 神经网络预测案例-2
- 4. 神经网络诊断
- 5. 神经网络用于分类任务
第5章 神经微分方程
- 1. 卷积神经网络-1
- 1. 卷积神经网络-2
- 2. 循环神经网络
第6章 表示学习与迁移学习
- 1. 表示学习
- 2. Word2Vec -1
- 3. Word2Vec -2
- 4. Word2Vec -3
- 5. 迁移学习
第7章 生成模型概览
- 1. 背景
- 2. 残差网络
- 3. NeuralODE基本介绍
- 4. NeuralODE解决监督学习问题-1
- 5. NeuralODE解决监督学习问题-2
- 6. NeuralODE解决时间序列预测问题
第8章 从Transformer到ChatGPT
- 1. 什么是AIGC
- 2. 生成模型
- 3. GAN -1
- 4. GAN -2
- 5. GAN -3
- 6. 更多的GAN模型
第9章 图神经网络
- 1. VAE-1
- 1. VAE-2
- 2. Flow-based models
- 3. Diffusion models -1
- 4. Diffusion models -2
第10章 复杂系统自动建模
- 1. 背景
- 2. Tranformer -1
- 3. Tranformer -2
- 4. 预训练模型
- 5. ChatGPT
第11章 因果科学基础
- 1. 背景
- 2. 网络嵌入-1
- 3. 网络嵌入-2
- 4. 图卷积
- 5. 图注意力网络
第12章 因果机器学习
- 1. 动态图自编码器-1
- 1. 动态图自编码器-2
- 2. 网络补全-1
- 3. 网络补全-2
- 4. 图生成
第13章 基于世界模型的强化学习
- 1. 复杂系统及其建模方法
- 2. 动力学学习
- 3. 网络重构
- 4. 多尺度建模
- 5. 模拟、优化与控制
第14章 因果推理原理
- 1. 为什么研究因果
- 2. 相关:贝叶斯网络
- 3. 干预:因果图-1
- 4. 干预:因果图-2
- 5. 反事实:结构因果图
第15章 因果表示学习
- 1. 背景和基础-1
- 2. 背景和基础-2
- 3. 因果发现
- 4. 因果表示学习
- 5. 因果涌现和神经信息压缩机-1
- 6. 因果涌现和神经信息压缩机-2
第16章 因果与强化学习
- 1. 基础知识
- 2. AlphaGo
- 3. 深度Q-Learning算法
- 4. 强化学习与因果
- 5. 世界模型
集智学园/张江
为探索者创造生长涌现的环境/集智学园创始人