旷视:深度学习框架开源

  • 天元MegEngine
  • 深度学习框架正式开源

Brain++ 新一代AI生产力平台

旷视Brain++是由旷视研究院自主研发的新一代 AI 生产力平台,致力于帮助企业和开发者提升AI生产效率、规范生产流程。Brain++的核心能力包括数据的处理、清洗和管理能力,算力的共享、调度和分布式能力,算法的训练、推理及部署能力,目前,旷视正通过逐步开源核心框架、开放算力和数据平台的形式,为企业客户和广大开发者提供规模化AI生产能力。

发展历程

2014

旷视Brain++的核心深度学习框架天元(MegEngine)启动研发。为满足旷视日益增长的业务需求,MegData数据管理平台启动研发。

2015

MegCompute深度学习云计算平台项目启动,解决不断增长的集群管理、算力调度等问题;MegEngine全量支持旷视内深度学习任务,多卡加速比较同期开源框架快10倍以上。

2016

旷视深度学习研发业务的服务器全量切换至MegCompute深度学习云计算平台进行管理。

2019

包含MegEngine、MegData、MegCompute的Brain++三位一体概念正式提出,并获得”世界互联网先进成果”称号。

2020

Brain++启动开源、开放计划,并正式开源自研深度学习框架天元MegEngine,同时开放数据和算力平台,为客户提供一站式 AI 生产全流程服务。


全流程AI生产力平台

核心模块

 天元MegEngine

天元MegEngine诞生于2014年并于2020年3月开源,是Brain++的最为核心组件,也是全新一代的工业级深度学习开源框架。天元可帮助开发者用户借助友好的编程接口,进行大规模深度学习模型训练和部署。架构上天元具体分为计算接口、图表示、优化与编译、运行时管理和计算内核五层,可极大简化算法开发流程,实现了模型训练速度和精度的无损迁移,支持动静态的混合编程和模型导入,内置高性能计算机视觉算子,尤其适用于大模型算法训练。

  • 训练推理一体
  • 动静合一
  • 兼容并包
  • 灵活高效

 MegData

旷视MegData是旷视研究院原创自研的人工智能数据管理平台,全面覆盖数据获取、数据处理、数据标注、数据管理、数据安全五大维度。以数据生产为起点,支持不同业务场景和训练方式对数据进行处理和标注。平台提供对结构化数据的标注、特征处理、衍生、筛选等标准处理流程,同时对多种非结构化数据提供在线标注能力,通过标准化标注流程实现对标注数据、标注任务、标注人员、标注进度、标注质量和标注工具的统一管理,为AI模型训练提供高质量训练数据。同时,MegData设计了多重的数据安全功能,以保障数据的安全和隐私。

  • 高效
  • 专业
  • 安全
  • 稳定

 MegCompute

分布式深度学习平台MegCompute是旷视自主研发的大规模人工智能算力平台,提供E级算力资源调度、EB级海量数据存储管理、400G RDMA高速骨干网络。其中包含基础设施、数据存储、计算调度、上层服务等功能模块。通过分布式集群管理最大化提高资源利用率,算法生产全流程服务化使训练过程更加高效。

  • 400G RDMA
  • 异构资源池
  • 灵活的任务调度
  • 算法生成全流程

发布了389 篇原创文章 · 获赞 496 · 访问量 194万+

猜你喜欢

转载自blog.csdn.net/starzhou/article/details/105096581