深度学习三大痛点,英特尔的解决之道

很多人认为深度学习的主要痛点是性能,只要有足够强大的性能,即可以解决深度学习存在的各种问题。但在马子雅看来,性能并非深度学习的主要痛点,用户的真正痛点主要有三个方面。

第一大痛点就是如何将数据与 ML/DL 算法结合在一起。长期以来,业界一直存在一个争论,即要想获得更强大的 ML/DL 解决方案,我们是否应该更重视数据或者算法层面的改进。考虑到大家已经拥有合理的算法,那么下一步的核心自然在于数据。ImagNet 是其中的典型例子,近年来图像分析的重大突破,正是由 ImageNet 这类大规模公开数据集推动的。英特尔推出 BigDL 和 Analytics Zoo,也是为了更好地解决数据与机器学习 / 深度学习算法整合的问题。

第二大痛点与 AI/ML 的生产落地有关。尽管当前市场对于 AI 技术抱有很大兴趣,但实施水平仍然相当低下。因此,需要考虑如何帮助客户真正有效地将路径查找或概念验证 AI 项目投入生产环境,从而根据需求构建起完整的 AI/ 分析流水线——包括高质量数据源整理、数据预处理与清洁、适当特征数据的选择与构建、适当模型的选择、模型超参数的优化、机器学习模型的后期处理、可视化以及部署等。这类解决方案要求数据工程师、数据科学家以及 IT 工程师共同参与并高效协作。

第三大痛点在于 AI 技能组合的供需之间存在巨大的鸿沟。由于这种差距的客观存在,任何一家企业或者个人都无法轻松地使用 AI 技术。在过去几年,有越来越多的学术课程与行业研讨活动正在试图缩小这种差距。但截至目前,我们可能还需要一段时间才能迎来真正能够立刻投入生产的技能成熟的员工队伍。

谈谈人工智能行业和未来趋势

AI 不再停留在实验室里

马子雅认为,目前越来越多的人工智能不再停留在实验室或研发阶段,在金融、在线零售、无人驾驶、医疗、供应链优化、智能家居、智能制造等多个领域的实际业务场景中,AI 都已经有典型的落地案例。现在,人工智能领域已经从最初的火爆慢慢过渡到冷静期,企业更关注的是人工智能是否能够为实际业务场景带来价值。这是一个非常好的趋势。

AI 技术正在扮演着非常重要的角色,并在推动业务差异化方面发挥关键作用。越来越多企业开始把人工智能解决方案实际投入到生产中,虽然很多企业目前还属于正在部署或者刚刚部署人工智能的状态,但对人工智能第一阶段落地的投入通常都已经具备一定规模,并且在提高资源使用效率、改善实际业务成果上初具成效。因此,对于未来人工智能实际的部署落地,马子雅持非常正面的态度。

中国企业在 AI 部署上胆子更大

英特尔在美国与中国都拥有众多客户与合作伙伴,马子雅与我们分享了中美企业在寻求 AI 解决方案上存在的一些差异。

在马子雅看来,在 AI 技术的研究与探索方面,近年来中国在快速发展。通过过去几年中国在论文发布数量与开源项目参与度方面的迅猛提升,就已经能够看到这一明显趋势。

扫描二维码关注公众号,回复: 11012351 查看本文章

另一方面,对于 AI 技术方案的部署,中国的生产与部署十分广泛。例如,在中国,我们能够想到的几乎所有行业都在尝试部署 AI 方案。中国的企业无论规模大小,都在积极尝试利用 AI 技术改善其业务成果。

而在美国,大多数企业客户更愿意在“非常成熟”时才部署 AI 解决方案,且相关产品最好是由 ISV、OEM 或者 CSP 负责提供并支持。另外,国内人工智能解决方案的规模,尤其是投入生产的规模,相对来说比美国的很多用户要更大一些。

重点关注三大 AI 新兴趋势

马子雅表示,未来英特尔将重点关注以下三大新兴趋势:

首先,AI 技术将继续在企业与云环境中快速增长。在云上,CSP 领域的 AI 创新速度非常快,ISV 则正在努力追赶。以最新趋势来看,HPC(高性能计算)与 AI 技术正在融合。未来五年之内,HPC AI 营收将由 23 亿美元增长至 47 亿美元。由于数据分析人员开始使用规模较大的数据集,相他们可能会通过分析提出越来越困难的问题,其中的工作负载将越来越多地表现为高性能计算问题。另一方面,传统 HPC 研究人员也希望借助大数据与 AI 技术加快自己的研究。为了满足这一需求,英特尔正致力于在 HPC 之上实现 AI 与大数据分析功能,同时充分利用已有的 HPC 基础设施(包括高性能存储、结构与计算等)。

第二,分析与 AI 技术正在融入大数据平台。为了实现生产应用,AI 方案需要配备端到端分析流水线,其中 80% 的资源被用于数据摄取、清洁与预处理、管理以及可视化等等;只有 20% 专注于训练与推理。英特尔将利用自身在大数据与分析领域的领导地位,提供统一的生产级平台,将数据科学生态系统引入大数据平台。同时不断改进特定数据科学项目的单节点性能,例如 pandas、scikit-learn、DAAL 以及 Spark SQL 等,提高大数据平台上 Python 项目的横向扩展效率,并将关键计算密集型算法转交由加速器负责处理。

第三,未来新的用户场景更需要端到端解决方案的支持,且可能涉及从边缘 / 客户端到数据中心的整个体系。据 IDC 预测,未来 45% 的数据将在边缘进行管理和分析。边缘端的智能 / 推理方案将使实时决策成为可能,从而显著节约网络带宽与数据中心存储 / 计算带来的成本。

发布了241 篇原创文章 · 获赞 54 · 访问量 13万+

猜你喜欢

转载自blog.csdn.net/txpp520/article/details/105533332