西安交大人工智能课程设置

Posted 2023-03-01 Elwood Ying

这是结合指南以及个人所需备注的，可能不适用于所有人
本课程为模式识别与智能系统、控制科学与工程、计算机科学、软件工程、信息安全、电子信息、管理科学、应用数学等学科研究生的专业普及课。本课程主要讲述矩阵代数和最优化计算法等人工智能的数学基础，以及矩阵分析、子空间分析、机器学习中的优化模型、一阶求解算法和二阶求解算法及其收敛性理论。通过本课程的学习，希望学生对常用的矩阵代数和最优化计算法有初步的了解，掌握机器学习优化模型的建立方法以及求解这些优化模型的算法设计思路、算法收敛性结果的证明方法，了解机器学习中优化方法的最新研究成果和前沿研究动态，加深学生对机器学习理论方法的理解。
课程基本要求：
1.要求保质保量完成作业。作业涉及算法设计、程序实现，每次题目2-4题，完成作业时间约3-4小时。作业在最后评分中占比约30-40%。
2.课程结束布置大作业，综合的算法设计，分析与对比。大约需要一个周时间内完成。
3.最后课堂考试。

预修课程
高等数学，线性代数，概率论与数理统计

教材
自编讲义：郭田德、韩丛英、刘彦《机器学习优化方法》

主要内容
共计12.5周，
第一周： 矩阵代数基础
第二周：矩阵分析前三节
第三周：子空间分析+最优化基础
第四周：牛顿法、共轭梯度法
第五周：拟牛顿算法、有限记忆的拟牛顿法、非光滑优化
第六周：经验风险、结构风险及其一般优化模型、优化算法的一般框架
第七周：一阶优化算法及其理论分析
第八周：方差缩减技术
第九周：对角矩阵修正技术和其它重要算法
第十周：优化算法中迭代方向选取方法
第十一周：优化算法中自适应步长选取方法和随机样本量的选取方法
第十二周：约束优化的罚方法、增广拉格朗日乘子方法和交替方向乘子方法

*人工智能的现代方法
《人工智能-一种现代的方法》Stuart Russel
《概率图模型-原理与技术》Daphne Koller
*自然语言处理
《统计自然语言处理》宗成庆
《自然语言处理综论》Jurafsky D
《思维与语言》列夫
《语言的认知神经科学》戴维
*计算机视觉与模式识别
*强化学习与自然计算
《自然计算导论》吴启迪
*人工智能的科学理解-控制论与人工智能、智能系统的信念
《理解信念》Nils Nlisson

*认知心理学基础
《认知心理学》Robert Solso
《普通心理学》Robert Feldman
*神经生物学与脑科学
《神经生物学-从神经元到脑》John Nicholls
《神经生物学》（丁斐）
*计算神经工程
《脑机接口导论》Rajesh Rao
*机器学习工具与平台
开源平台：OpenPAI,KubeFlow
微软Azure ML
TensorRT,TVM,ONNX
数据处理系统：Spark,Hadoop,HDFS

分布式训练绪论：
数据并行、模型并行
参数服务器、AllReduce
分布式训练工具
基于OpenPAI平台的分布式AI训练
OpenPAI推断部署、KubeFlow推断部署
分布式系统概述：YARN,Kubernetes
面向深度学习的调度系统和算法：1.群调度与容量调度；2.支持拓扑的GPU调度
调度算法的公平和效率研讨
AI平台监控与分析、AI平台故障处理、AI作业性能监控与调试

Verilog实验、FPGA实验

*机器人学基础
《机器人学》蔡自兴
《自主移动机器人导论第二版》。翻译。李人厚
*多智能体与人机混合智能
《多智能体系统即应用》。王崇骏
*认知机器人
机器人规划(robot plannig)
《认知计算导论》陈敏
MIT Cognitive Robotics课程材料
*仿生机器人
《仿生学导论》任露泉
《仿人机器人理论与技术》陈恳

《计算方法》李桂成
《最优化方法》孙文瑜
《运筹学》钱颂迪
《矩阵分析与应用》 张贤达
《应用回归分析》 何晓群
《数值最优化方法》 高立
《凸优化》 翻译 王书宁
随机过程
复变函数与积分变换
《经济博弈论》谢识予
博弈论基础 Robert Gibbon
博弈论 Michael Maschler
信息论 Thomas Covert
现代控制工程

理论计算机的重要思想
MIT open courseware 6.080/6.089
CMU course 15-251
确定型算法-卡拉楚巴算法
随机化算法-拉斯维加斯算法与蒙特卡洛算法
数论–连分数与无理数的逼近
数值线性代数-条件数和病态矩阵

贪婪算法、分治算法、回溯算法、动态规划、随机化算法
存储器技术和优化方法（降低SDRAM中的功耗、闪存、提高存储系统的可靠性）
缓存性能的10种高级优化方法
虚拟存储器与虚拟机
指令级并行及其开发
数据级并行及其开发
向量处理器体系结构
线程级并行
仓库级计算机
Google TPU，微软Catapult、Intel Crest