深度思考 | 下一代深度学习的思考与若干问题

作者 | 煎饼果子不要果子  编辑 | 汽车人

原文链接:https://zhuanlan.zhihu.com/p/636179209

点击下方卡片,关注“自动驾驶之心”公众号

ADAS巨卷干货,即可获取

点击进入→自动驾驶之心【全栈算法】技术交流群

掉在大数据的坑里我们怎么爬出来?

我们有深度!

cb8ec7c49c24bae33ab335564ec71603.png

深度学习七十年

56f2cce8c491b46d5b62a04b6008e9ab.png

BP 解决非线性异或问题

致敬 1974 Werbos

bcf636591efd7da3ac9283d34b8dc612.png

再发现:Hinton 三巨头提出使用 BP 算法进行表征学习

卷积神经网络雏形 1980 年

再次致敬

89c3c9f8491016f9f797971d88c1f710.png

思考:深度学习从哪来?又要到哪里去?

神经网络用极多个神经元连接,模拟小脑计算运作的过程

完全是靠学习和训练吗?纯数据驱动

那先验知识在其中有什么用呢?

创新的道路在哪里?

1e3b144b3fa0b543eb44956b0abe2f17.png

黑盒越来越大,怎么解释呢?解释问题、过程还是结果?

a4a7144c5ffb908482acb6797105b9fa.png 787854b53c21d5a10b1ca2d8d844e3c4.png
  1. 有哪些深度学习网络体现了这些功能呢

  2. 再有大数据你就是小样本,嘿,不要被淹死

  3. 人脑是智慧 高度非线性,局部 BP 是需要的,但全局更不能少

  4. sigmoid 毫无这些特性,表征就不好怎么能学好呢

  5. 剪枝 & NAS 三个性质怎么解释

  6. 找到正确的优化的解

  7. 只有感知够吗,认知起了什么作用?推理、决策

0b74a51d95ff0b63446820d92857b619.png

三大过程

5d9e2790b824229be9514b588b0f5d40.png

Universal Approximation

565965796fd31cdfa71549b8987bf49c.png 666c3fe2546a9c56deaf0c8367ed80b7.png

输入未知,非线性怎么逼近

e91cbc99937bf75c43167daf78890070.png

表征都没出来怎么去学习特征呢

4f09cbfc991bcc79297bfbf44484c06c.png

表征理论不是单纯累加模型层数

a49e7b316b325933af531ae24cc8bc15.png

表征是开始,所以很重要

c3c0a54bd596227967115ff3697de30d.png

模型得匹配对

f00a27509e1e4ce645d6126de11b08c0.png 5598063cd4306e5574dabe9493183e28.png 1547df62db8700487d3e3a9634dd8850.png a48b2dda2f8e5a487613b7ad6aa2bbca.png 210800a6b0ca517fc15d410093f1765a.png ae82ac24dbab4dd501d945043a921b89.png bffc7e55decfe84e7af3145143a153d9.png

捷径和收敛速度分不开,100 张 V100 能放在火箭上吗

每个变量都是有物理意义的,要作为物理过程计算,brain-inspiring,而不是一个单纯的计算机过程

能量、熵、功率能解释通吗

传统方程探究的时候会研究它们的量纲是否一致,但现在计算机模型做到了吗

946f78d3d146673d4c587a6ec406318d.png

该页被特别推荐!

000da056774e4e6cdb410c34e6ba56f7.png

脑科学领域 20 年最新成果,Nature Science,有多少在深度学习模型上体现了

afa47f35666a63ae9e1a84c4b2db2665.png e719e17f3538a5c577be93ac85fe234a.png

工作1:物理机制结合,Wishart 分布

工作2:对方向奇异性表征探究

d8061b89ddd426c9907e05588f7bbeab.png

工作3: Contourl Net 及其复数域

9a14480086a1e1880b16927299382e0b.png a6c5c87f20512d8087ca58bf28ccb7e3.png

机器学习和物理学的关联 Physical-Informed / Physical-Inspired

从此开始,拍照已经赶不上翻页的速度:

哈密顿量、拉格朗日量、牛顿莱布尼茨公式

6f8ef66617e0e066a35e1bfcdbcb18e1.png

物理信息神经网络

电磁学启发

电路启发:基于霍夫定律

0da7bc9b480723ee05efebf9cf6a4c21.png

光学神经网络:光电神经网络、全光神经网络

热力学影响

熵原理:求解最优解启示(退火算法)

量子力学:结合了不确定性

29e6cd1c014e194160353d1795fa30c3.png

进化角度:群体思想、自然免疫、进化计算

体会:NAS 在免疫和进化有很好的潜力,非常有用

超参数优化问题

元学习问题

c32eafede14e32e9602116b2ef1e88b4.png

多思考!

中国人任重道远

(一)视频课程来了!

自动驾驶之心为大家汇集了毫米波雷达视觉融合、高精地图、BEV感知、多传感器标定、传感器部署、自动驾驶协同感知、语义分割、自动驾驶仿真、L4感知、决策规划、轨迹预测等多个方向学习视频,欢迎大家自取(扫码进入学习)

93ec99b3cb634a6d734c43d253e58dfa.png

(扫码学习最新视频)

视频官网:www.zdjszx.com

(二)国内首个自动驾驶学习社区

近1000人的交流社区,和20+自动驾驶技术栈学习路线,想要了解更多自动驾驶感知(分类、检测、分割、关键点、车道线、3D目标检测、Occpuancy、多传感器融合、目标跟踪、光流估计、轨迹预测)、自动驾驶定位建图(SLAM、高精地图)、自动驾驶规划控制、领域技术方案、AI模型部署落地实战、行业动态、岗位发布,欢迎扫描下方二维码,加入自动驾驶之心知识星球,这是一个真正有干货的地方,与领域大佬交流入门、学习、工作、跳槽上的各类难题,日常分享论文+代码+视频,期待交流!

14dcc0488352865307ec07a11e8c17de.jpeg

(三)自动驾驶之心】全栈技术交流群

自动驾驶之心是首个自动驾驶开发者社区,聚焦目标检测、语义分割、全景分割、实例分割、关键点检测、车道线、目标跟踪、3D目标检测、BEV感知、多传感器融合、SLAM、光流估计、深度估计、轨迹预测、高精地图、NeRF、规划控制、模型部署落地、自动驾驶仿真测试、产品经理、硬件配置、AI求职交流等方向;

490c698c1bb918ae3743c2ed5189128d.jpeg

添加汽车人助理微信邀请入群

备注:学校/公司+方向+昵称

猜你喜欢

转载自blog.csdn.net/CV_Autobot/article/details/131318760