1、介绍
目录
纵向，硬件和开发中，横向，学术界和产业界
历史
产业落地和开发者来优化
2、深入理解
最关心的问题
对应
2.0可用性
动静结合，基础和高层API
tensor计算
组网便捷
高层组网
基础和高层的融合
动态图模式
编程范式演变，cuda、静态图、动态图
动静转换
控制流对比
开发效率高，部署效率低，静态图提前组网，优化网络结构
动静转换
模型保存和加载，动态图代码构建网络结构，静态图可以直接保存网络结构
开发推理流程
2.1分布式训练
挑战
大规模分布式训练
数据并行，张量模型并行-把张量的参数分布下去，流水线并行-网络结构拆分，分组参数并行在模型并行的基础上切的更细
集合通信和参数服务器，去中心和有中心
如何配置分布式训练
集合通信跟更简单
组合并行训练，文心大模型
2.2硬件匹配移植方便
硬件生态，CPU，GPU训练，GPU推理（服务端，移动端，网页端），FPGU
硬件测试适配架构图
部署优势
2.4更新迭代方便，算法模型库完整
3、算子开发
算子编写，前向反向
写完算子对齐后，进行编译
使用自定义的算子
QA:
明确框架的底层的原理和思想