Lu Qi Speech - New Paradigm, New Era, New Opportunity

新范式
	两个维度
		思考方式变了
		执行体系变了
	变革比较深，比较广，从三个维度分享
		产业发展的范式维度
			内在的结构性的体系是三位一体
				非常稳定的体系结构，源自于复杂学，是复杂体系稳定的结构
					每个人、每个组织、每个公司、一个社会、数字化产业，都是复杂体系
				系统构成分析
					信息子系统
						从环境当中获取信息
							成本结构性的变革会催生巨大的变化
							信息的获取成本从边际走向固定是核心原因
						代表公司
							IBM
							苹果
					模型子系统：知识
						针对所要达到的目的，把信息表达足够有效，可以做记忆、推理、规划、分析
							大模型技术的出现
							模型的成本从边际走向固定是核心原因
						另外一个维度，人的模型组合
							认知模型
								能听，能看，能思考，能规划
							任务模型
								能搬椅子，爬楼梯，剥鸡蛋
							领域模型
								有些人是律师、设计师、码农
						代表公司
							openai+微软
							谷歌
					行动子系统
						根据规划可以跟行动，跟环境做交互转换能源，达到目的
							人类的最终目的永远是减熵
						三个组合
							机器人
							自动驾驶
							数字化的空间计算
						代表公司
							特斯拉
				三位一体数字化产业发展带来通用人工智能
					通用人工智能四个的维度
						涌现
						代理
						功能可见
							affordence
						具身
							embodiment
			这次数字化产业发生的一个新的范式的根本原因
				拐点所带来的机会，是由这个产业的发展结构所决定的，这个发展结构就是有一个生产资源，这次是模型/知识，它的成本结构将从边际移向固定
		技术驱动人类社会发展的结构与范式更迭
			人类的无尽追求
				知识
				能力
				财富
			三大核心要素
				科学
					解释和预测
						第一范式
							经验主义
						第二范式
							系统性的做实验
						第三范式
							大理论做模拟
						第四范式
							数据驱动
						第五范式 
							数据加计算驱动
					人类社会进步的最根本的生产力是科学的进步
				经济
					技术驱动的
						技术的本质：用科学可解释的原理，用能力去改变自然现象，用信息去转化能源，来服务人的需求
						技术驱动社会经济发展的三大模式：信息和能源的组合决定的
							农业化社会
								光合作用简单
							工业化社会
								化石能源，机械设备，电气设备，电力设备
							数字化时代
								用数字，用可编程的能力去更有效的转化能源
				科技
					技术驱动经济发展范式变更
						不断演进的数字化平台
						移动互联网/云
							信息生态体系
						人工智能/边缘计算
							大模型/知识生态体系，自动加上-机器人/行动生态体系
						新兴平台
							元宇宙，web3，脑机，量子，生物机
					人类改造世界范式变革
						新能源科技
							改造世界，必须要用信息转换能源
							能源转换的两种体系
								生命体系转化
								物理体系转化
						新生命科技
						新材料科技
						新空间科技
							路面的自动驾驶
							水上的深海
							低空，轨道空间，轨道之外的指数深空，星座其他星体
					数字化是人的延伸，是人的自我认知自我能力的延伸
					科技公司和非科技公司的根本区别
						用信息更有效的转化能源
		技术驱动发展社会化更迭，对人的影响
			游牧文明
			农业化
				体力为主，简单工具，没有流动性
					家
				农业经济
				农民
			工业化
				体力为主，脑力为辅，机械、电器、电子等自动化工具，地域性流动
				商品经济
				工人
			数字化
				信息化
					信息无处不在
					脑力为主，体力为辅，电脑，收集等信息化工具，全球性流动
					服务经济
					码农、设计师、分析师
				知识化
					模型无处不在
					创新为主，其他为辅，新一代认知思考能力工具，逐步替代脑力劳动
					体验经济
					职业
						创业者
							把技术，把独到的见解，变成体验，变成价值
						科学家
							做新一代的科研
						艺术家
							有独到见解能力
				自主化
					行动无处不在
					创新探索，下一代自主行动工具，全面替代脑力和体力劳动
					AI经济
					人类价值系统
			新游牧文明
	新的范式如何去适应
		思考和行动都要改变
			源头公司的履历，创始人的履历
				信念上，坚信未来，坚信通用智能一定会到来，任何人都无法挡住和阻止sam
				技术上相信两个重要的技术点
					模型只要足够深，数据加上算力，一个高效的训练体系，无监督学习，监督学习
					强化学习/增强学习，跟进化本质上相关，最终这个模型为人类所用
				在组织行为上
					这一代的组织既要做科研，又要做工程，有要开发平台和产品，OpenAI代表新一代组织，既能做科研，又能写代码，又能做工程
					要融到大量资本，而且在组织结构上，任何人都没法影响你追求的目标
						真正改变世界是有独到的见解，坚持不为任何其他所动
	新范式的动力引擎
		常规思路
			先做视觉感知智能，再做认知智能NLP
			先做自然语言理解，在引入知识对齐
		OpenAI的思路
			先做NLP，语言不单单是语言而是所有认知的载体
			先引入知识对齐，再去做自然语言理解
	新范式的演化路径
		模型是新物种，根本意义是进化，大模型就跟基因一样，永远是结构、功能、组合、选择
			达尔文进化是选择和自然环境相匹配的
			技术进化它选择是人类需求更多的地方
		路径走向
			大模型基础模型
			事情的模型:领域模型/工作模型
			人的模型:认知模型/任务模型
				系统1
					快速思考，靠直觉，不是认真去用逻辑分析，过程性的，基于场景的
						大部分大模型以系统1为主
				系统2
					人创建的理论模型，专业性很强
		处在寒武纪时代
			github
			huggingface

新时代
	社会经济发展格局
		全面强劲的经济发展驱动力
			动力和速度是空前的，资产是知识
				速度更快
				降本
				增效
		所有人类职业的结构性影响
			对人类职业的影响，小助手会更加多
		更强大更活跃的数字化产业
			数字化产业，影响到每个行业，成本降低，产出提高很多倍
		每个行业系统性和结构性的变迁
		政府的更多参与
			政府的监管和安全
		市场和社会的长期影响
			教育，科技
	中国的发展机会
		全球唯二，奋起直追
			基础模型
				模型开发
					算力
					语料
					数据
					评估
				基础设施
				抢先进入第一梯队
					GPT3.5的能力是分水岭
			产业模型
				指令调试
					数据、代码
				对齐研发
					RLHF、自然语言、价值观、安全
			平台研发
				模型延伸模式
					API、Plugin
				抢占产业制高点
					具备类比ChatGPT的生态能力
		算力资源，竞争关键
			中国约有20万张A100，国际头部团队大致用1万张H100（约10万A100），一个国际的头部团队，用了中国一半的算力
			国家地区经济发展的档次，就看核心有效算力有多少
		产业发展，齐头并进
		全球化的创业机会
			超过77%使用OpenAI的接口：GPT4 21%,GPT3.5 46%
			基于开源的模型自研和使用Stable Diffusuin的各占3%
		国家引导
		社会影响
	OpenAI生态快速形成
		后端
			GPT系列
				后端应用
					可扩展的API
						付费
					PlayGround
						开发实验用的
					Foundry
						算力
		前端
			ChatGPT
				前端应用
					Plug-in
		投资生态
			生态的健康成长是最高优先级的
	开发对战雏形高速发展
		模型开发
			基础模型
				数据体系
					数据集/语料
					标准系统
					管线系统
				模型体系
					深度/参数/模态/Token
				集群体系
					多卡并行
					RDMA带宽
					基于以太网/HPC通讯调度
					特别强调
						你不需要RDMA，就是直接访问内存
						在大模型时代计算机服务器这个概念很快就会没有，需要几万张卡在一起，每张卡之间必须直接访问内存，才能有效做训练和推理
						卡怎么连在一起
							方法1
								HPC很贵
									英伟达的NVLink infiniBand,没法做到几万张，一两万张顶多了
							方法2
								以太网，高速连接的以太网怎么用
				训练体系
					指令调试
					正则化/Epoch优化等
				对齐体系
					自然语言
					代码
					价值观/安全
						坏人会用
				评估体系
				系统化的工程体系
					性能，成本，多维度优化
				说明
					开发体系逐步成型以大厂自研为主，OpenAI/微软/Google等
			垂直/领域模型
				基于已有大模型
					知识蒸馏
					微调或提示
					PEFT
						参数有效的微调
					模型案例
						Einstein
						Baize
						FireFly
				领域数据集
					语言学知识/知识图谱
				API工具和服务
					工具服务案例
						Lamini
						huggingface
			多模态/扩散模型
				数据系统
					标注数据集
				模型系统
					可扩展的Transformer
					U-Net等结构优化
					采样/推理优化
				工程系统
					编译/硬件优化
				说明
					开发体系还在早期发展Stability/LoRa/ControlNet等工具和方法
			轻模型（局部可运行的）模型
				知识蒸馏
				量化优化
					FP32>int
				结构优化（避免Padding等）
				内存优化
			开源模型/数据集
				编码器
					BERT
					ALBERT
					ROBERTA
					DEBERTA
				解码器
					LLaMa
					GPT早期
					BLLOM
					FLAN
				编码器-解码器
					T5
					T0
					BART
					FLAN-T5
				活跃模型系统
					LLaMa(Meta)
					LLaMa Adaptor
					Alpaca
					Vicuna
					Koala
					CerebasGTP
					MPT-7B(MosiacAI)
					Dolly(Databrick)
				重要数据集/系统
					Wikipedia
					Common Crawl
					MSCOCO
					VQA
		应用开发
			工具箱&工具链
				基础开发能力
					代码框架
						PyTorch
						TensorFlow
						MXNet
					基础服务
						AWS
						Azure
						Google Colab
					工作流
						LangChain
						Cohere
						Helicone
						StackAI
					代理
						Auto-GPT
					编制
						BabyAHI
					整合
						Jarvis
					提示
						Github Copilot,Tabnine
					调试
						Sync Code
					记忆（embedding）
						Pinecore,Zilliz
				扩展开发能力（自然语言）
					抽象层次
					知识结构
					推理机制
					规划能力
					执行框架
					说明
						更完整，可靠，稳定，更强的ReAct,Agent
			开发对象&资源
				运行时（runtime），怎么展示
					后端：云和服务
					前端：Web(例如Vercel,Chrome扩展等)
					前端：移动（针对大模型的开发系统有待发展）
					前端：物联网（长期意义特殊性，有待大量开发）
				其他资源
					课程
						如吴恩达提示词工程课，O Reilly课程
					数据
						预期未来O Reilly专业系列
					论文代码
						AI前言论文整理推送
						相应的Github repo
	新产业发展部不断加速
		资本
		产品
		技术（论文）
	产业发展的扩散结构与体系
		源头的要求，对比OpenAI
			核心算法体系研究
				论文研究
			平台生态开发
				代码
			系统工程研发
				产品商业化
		政府后面进来
		全球就中国和北美
		对个人的影响极大
			这一次的会把人的距离拉开，聪明勤奋努力学会用这个工具的人，你跟你同档次的人很快距离就会拉开，也容易掉伍
		阶段
			爆发阶段
			狂热阶段
			协同阶段
			成熟阶段

新机会
	全方位探索把控好：技术驱动创新内在的“人+事”机会空间
		人
			创始人的心力愿力能力
		事
			碗里的、锅里的、田里的
		深思熟虑，行动导向
			不去蹭热
			勤于学习
				该看的论文还得看，一遍不想就两遍
			深度思考
				克服惯性思维
			行动导向
				不进则退
	全方位探索，事的机会空间
		产品业务的机会
			有没有新的机会，危险该怎么去探索
		产业变革的机会
			所在的产业是不是有根本性的变革，应该占个不同的坑
		能力开发的机会
			所在产业的研发体系和能力是不是彻底变更了
	完整和系统性的机会探索体系
		版块一，数字化基础
		版块二，数字化应用
			二维的信息，电脑手机触达所有人
				这次技术
			三维的体验，叫元宇宙
			数字化的抽象关系所有权，激励机制叫web3,货币，DAO等
			数字化驱动的无聊环境的交互，自动驾驶机器人
			数字化嵌入人的身体内在脑机接口，内部测试机制
			数字化带来的知识是嵌入的，到处都可以用的
				这次技术
		版块三，改造世界
	机会版块
		机会版块一
			数字化基础-稳定的数字化平台结构
				前端
					可能延伸出来的体验，有设备，容器，画布
					万亿美元的公司，都在前端做设备，做操作系统
				后端
					完整可延伸的能力，计算，存储，通讯
				数字化发展基础
					底层的基础设施，计算体系，芯片，基础服务，开源代码
			数字化基础-大模型时代新一代基础设施和工具
				开发工具链
					尤其是框架（比如基于Triton）
			平台公司
			新体验和新设备端
			自动驾驶
				机器人和自动驾驶将是人类最大的两个产业
		事的机会二
			技术推动+需求拉动：大模型为先
				做大模型为先的产品
				起步就是自然语言处理，自然语言交互，三位一体是终局
				有没有壁垒
					范式
						第一，自己有数据
						第二，可以自己开发模型，可以用大模型开发模型
						第三，模型被使用之后，使用的数据能拿到，使用的数据能闭环，让自有数据源越来越强
					数据到模型到使用到闭环，是这个时代落地一定要做的
				如何考虑应用
					技术上三个点
						1 模型在所在的领域，进展的速度是高，还是中，还是低
						2 做三位一体的体验的机会是高，还是中，还是低，能做赶快做，抢占长期的一个制高点
						3 大模型在你的研发体系是不是每个环节都颠覆掉了
				内容
				游戏
				消费、电商
				通讯
				医疗，三位一体
				一对一的教育
				设计师
				研究员
				营销
	人的机会
		创业是最好的职业
			创业者
				创业把风险算进去，创业是创造财富最大的一个职业，要对得起自己，要考虑是否要创业
		新一代的科学研发
			研究
			代码
			产品

奇绩创坛
	任何事物的内在结构，和它的发展体系，新的现象是如何形成的，这样才能系统的分析梳理，帮助我们把控好机会
	本身也在变，投资这个行业肯定也变了，毫无疑问今天的模式一定不成立，因为今天加速的周期太快了，时间缩短，一个创业项目与它需要的运营资本也不一样，它更需要的不是钱是算力，它更需要的是数据等等，这个行业变了

问答