英特尔、Habana Labs与Hugging Face推动Transformer业务在训练和推理优化及扩展取得关键进展

在过去的一年中,英特尔、Habana Labs和Hugging Face基于开源项目、集成开发者体验与科学研究,不断提升人工智能应用的效率并降低使用门槛,在创建和训练高质量Transformer模型上取得了重大进展。

Transformer模型为包括自然语言处理(NLP)、计算机视觉(CV)、语音等在内广泛的机器学习和深度学习任务提供先进的性能。大规模训练这些深度学习模型需要庞大的算力,这个过程非常复杂,不仅需要大量时间,而且成本高昂。


(资料图片仅供参考)

通过英特尔颠覆者计划(Intel Disruptor Program)与Hugging Face密切合作,能够帮助用户更广泛地采用基于最新英特尔®至强®可扩展处理器、Habana Gaudi®以及Gaudi®2处理器优化的训练和推理解决方案。此次合作将英特尔AI工具包中先进的深度学习创新技术引入Hugging Face的开源生态系统中,并以此推动未来英特尔®架构的创新发展,在英特尔至强平台上的分布式调优、内置优化、配合Habana Gaudi加速训练,以及小样本学习方面均取得了重大进展。

当使用单节点CPU进行训练速度不佳时,数据科学家们就需要分布式训练。在分布式训练中,集群中的每台服务器都保留一个模型副本,利用训练数据集的一部分进行训练,并通过英特尔®oneAPI集体通信库(Collective Communications Library)在各节点之间交换结果,从而更快地收敛到最终模型。目前,Transformer可原生支持该功能,并使数据科学家们更容易地进行分布式调优。

例如,在英特尔至强可扩展处理器的分布式集群上加速Transformer模型的PyTorch训练时,为在PyTorch中能够有效利用英特尔®高级矩阵扩展(英特尔®AMX)、AVX-512以及英特尔矢量神经网络指令(VNNI)等最新英特尔至强可扩展处理器所支持的硬件性能,英特尔为PyTorch设计了英特尔扩展,该软件库可为训练和推理提供开箱即用的加速功能。

此外,Hugging Face Transformer提供Trainer API,使用户可以无需手动编写训练循环,更轻松地开始训练。该Trainer为超参数搜索提供API,目前可支持多个搜索后端,其中包括可托管的超参数优化服务英特尔SigOpt。得益于此,数据科学家们可以更有效地训练并获取最佳模型。

非凡的开发者体验

Optimum是Hugging Face创建的一个开源库,用于在日益增长的训练及推理设备中简化Transformer的加速。通过其内置的优化技术和现成的脚本,初学者可以轻松地上手使用Optimum,而专家则可以通过不断调整以获得最佳性能。

“Optimum Intel”是Transformer库与英特尔所提供的不同工具和库之间的接口,用于加速英特尔架构上的端到端管线。该接口基于英特尔®神经压缩器所开发,为包括量化、剪枝、知识提取等多项网络压缩技术提供跨多个深度学习框架的统一体验。此外,开发人员亦可使用Optimum Intel来进行针对评估数据集的模型指标对比,从而更加轻松地在Transformer模型上运行训练后量化(PTQ)。

与此同时,Optimum Intel还提供了一个简单的接口来优化Transformer模型,并将模型转换为OpenVINO的中间层表示(IR),从而使用OpenVINO进行推理。

利用Habana Gaudi加速训练

现阶段,Habana Labs正携手Hugging Face更简易、快速地训练大规模、高质量的Transformer模型。得益于Habana的SynapseAI® 软件套件与Hugging Face Optimum-Habana开源库,数据科学家和机器学习工程师能够通过在Habana Gaudi和Habana Gaudi2处理器上运行几行代码,加速Transformer深度学习的训练。

Optimum-Habana库支持各种计算机视觉、自然语言和多模态模型。其支持且经过测试的模型架构包括BERT、AlBERT、DistilBERT、RoBERTa、Vision Transformer、swin、T5、GPT2、wav2vec2和Stable Diffusion。Hugging Facehub上目前已有4万多个基于这些架构的模型,而开发人员可以使用Optimum-Habana在Gaudi和Gaudi2上轻松地使用这些模型1。

Habana Gaudi解决方案已经用于亚马逊EC2 DL1实例,采用该解决方案进行训练的一个主要优势是性价比。Habana Gaudi的性价比与同类训练解决方案相比高40%,使客户能用更少的成本进行更多训练2,Gaudi2采用与第一代Gaudi相同的高效架构,同样提供了卓越的性价比。

Habana DeepSpeed也集成在Optimum-Habana库中,让人们在使用DeepSpeed优化的Gaudi设备时,能更易于大规模部署和训练大型语言模型。您可以通过Optimum Habana DeepSpeed使用指南了解更多信息。

最新版的Optimum-Habana在Hugging Facediffusers库中内置支持Stable Diffusion,使Hugging Face开发者能够在Habana Gaudi上进行极具性价比的图像生成测试。

生产中的小样本学习

英特尔研究院、Hugging Face和UKP Lab最近推出了SetFit,这是一种用于对Sentence Transformer进行小样本调优的有效框架。使用预先训练的语言模型进行小样本学习,将有望解决数据科学家在现实中面临的一大挑战:处理那些几乎没有标签的数据。

当前的小样本调优需要手工提示或描述器,将示例转换为适合底层语言模型的格式。通过直接从少量有标签的文本示例中直接生成丰富的嵌入,SetFit可省去提示。

研究人员设计了SetFit,可用于Hugging Face Hub上的任何Sentence Transformer,即通过调优多语言检查点,可以将文本分类为多种语言。

SetFit不需要像T5或GPT-3这样的大模型来实现高精度。与标准调优相比,它显著提高了采样效率并能够更好地耐受噪声。例如,对于在一个示例情感数据集上每类只有八个有标签的例子,SetFit可以与在包含3000个例子的完整训练集上的RoBERTa Large调优相媲美。Hugging Face发现,在零提示且体积缩小27倍的情况下,SetFit也取得了与T-Few 3B相当的效果,从而实现了兼具低成本和高效的训练3。

一直以来,英特尔致力于积极构建生态系统并助力降低AI成本,包括开源项目、集成的开发者体验和科学研究等举措。而工具和软件恰恰能够让开发人员加快构建应用程序,并释放处理器性能。英特尔旨在让人们能够更轻松地在任何地方构建和部署AI,使数据科学家和机器学习从业者能够采用最新的优化技术。

标签: Transformer HuggingFace