亚马逊云科技携手Hugging Face让生成式AI触手可及

亚马逊云科技宣布与Hugging Face进一步合作,以加速对大语言模型和视觉模型的训练、精调和部署,促进生成式AI应用的创建。生成式AI应用可以执行各种任务,包括文本摘要、问题回答、代码生成、图像生成以及文本撰写等。

亚马逊云科技在生成式AI创新方面拥有深厚历史。例如,亚马逊使用AI技术为Amazon Alexa用户提供对话体验,每周用户互动次数达到数十亿次,同时也越来越多地使用生成式AI来支持新体验,如“Create with Alexa”功能。此外,作为亚马逊搜索(Amazon Search)的一个小组,M5可以帮助亚马逊各地团队将大模型应用到他们的应用程序中,并训练大模型以提升Amazon.com网站的搜索结果。亚马逊云科技持续在机器学习(ML)的所有领域中创新,包括基础设施、Amazon SageMaker相关工具和开箱即用的AI服务,比如Amazon CodeWhisperer,它嵌入到程序员使用的IDE中,通过注释来生成建议代码,以提高开发人员的生产力。为加速机器视觉与大语言模型的训练和推理,亚马逊云科技还推出了自研训练芯片Amazon Trainium与推理芯片Amazon Inferentia。

Hugging Face之所以选择亚马逊云科技作为首选云供应商,是因为它提供了灵活、可选的全球领先性能工具,例如Amazon SageMaker、Amazon Trainium和Amazon Inferentia,满足了Hugging Face模型训练、精调和部署需求。依赖于此,开发人员使用Hugging Face可以轻松优化性能并降低成本,从而更快地将生成式AI应用投入到生产环境。

高性能且兼具成本效益的生成式AI

大语言模型和视觉模型的构建、训练和部署是一个昂贵且耗时的过程,需要深厚的机器学习专业知识的支持。这两类模型非常复杂,可能包含数千亿个参数,因此在很大程度上,许多开发人员无法使用生成式AI。

为了弥补这一差距,Hugging Face与亚马逊云科技建立合作,让开发人员更容易通过访问亚马逊云科技的服务,来应用部署Hugging Face模型,尤其是那些生成式AI模型。这样做的好处是:可以更快地训练与扩展低延迟和高吞吐的推理任务。例如,由Amazon Trainium支持的Amazon Elastic Compute Cloud (Amazon EC2) Trn1实例提供了更快的训练时间,与基于GPU的实例相比,可节省高达50%的训练成本。而由最新一代Amazon Inferentia芯片支持的Amazon EC2 Inf2实例,旨在部署最新一代大语言模型和视觉模型。相比Inf1实例,Inf2实例吞吐量提升了4倍,延迟降低了10倍。Amazon SageMaker为ML提供工具和工作流,开发人员可以通过Amazon SageMaker等托管服务使用Amazon Trainium和Amazon Inferentia,亦或在Amazon EC2上自行管理。

猜你喜欢

转载自blog.csdn.net/Discovering_/article/details/129242745