英特尔、Habana Labs与Hugging Face推动Transformer业务在训练和推理优化及扩展取得关键进展

在过去的一年中，英特尔、Habana Labs和Hugging Face基于开源项目、集成开发者体验与科学研究，不断提升人工智能应用的效率并降低使用门槛，在创建和训练高质量Transformer模型上取得了重大进展。

Transformer模型为包括自然语言处理（NLP）、计算机视觉（CV）、语音等在内广泛的机器学习和深度学习任务提供先进的性能。大规模训练这些深度学习模型需要庞大的算力，这个过程非常复杂，不仅需要大量时间，而且成本高昂。

(资料图片仅供参考)

通过英特尔颠覆者计划（Intel Disruptor Program）与Hugging Face密切合作，能够帮助用户更广泛地采用基于最新英特尔®至强®可扩展处理器、Habana Gaudi®以及Gaudi®2处理器优化的训练和推理解决方案。此次合作将英特尔AI工具包中先进的深度学习创新技术引入Hugging Face的开源生态系统中，并以此推动未来英特尔®架构的创新发展，在英特尔至强平台上的分布式调优、内置优化、配合Habana Gaudi加速训练，以及小样本学习方面均取得了重大进展。

当使用单节点CPU进行训练速度不佳时，数据科学家们就需要分布式训练。在分布式训练中，集群中的每台服务器都保留一个模型副本，利用训练数据集的一部分进行训练，并通过英特尔®oneAPI集体通信库（Collective Communications Library）在各节点之间交换结果，从而更快地收敛到最终模型。目前，Transformer可原生支持该功能，并使数据科学家们更容易地进行分布式调优。

例如，在英特尔至强可扩展处理器的分布式集群上加速Transformer模型的PyTorch训练时，为在PyTorch中能够有效利用英特尔®高级矩阵扩展（英特尔®AMX）、AVX-512以及英特尔矢量神经网络指令（VNNI）等最新英特尔至强可扩展处理器所支持的硬件性能，英特尔为PyTorch设计了英特尔扩展，该软件库可为训练和推理提供开箱即用的加速功能。

此外，Hugging Face Transformer提供Trainer API，使用户可以无需手动编写训练循环，更轻松地开始训练。该Trainer为超参数搜索提供API，目前可支持多个搜索后端，其中包括可托管的超参数优化服务英特尔SigOpt。得益于此，数据科学家们可以更有效地训练并获取最佳模型。

非凡的开发者体验

Optimum是Hugging Face创建的一个开源库，用于在日益增长的训练及推理设备中简化Transformer的加速。通过其内置的优化技术和现成的脚本，初学者可以轻松地上手使用Optimum，而专家则可以通过不断调整以获得最佳性能。

“Optimum Intel”是Transformer库与英特尔所提供的不同工具和库之间的接口，用于加速英特尔架构上的端到端管线。该接口基于英特尔®神经压缩器所开发，为包括量化、剪枝、知识提取等多项网络压缩技术提供跨多个深度学习框架的统一体验。此外，开发人员亦可使用Optimum Intel来进行针对评估数据集的模型指标对比，从而更加轻松地在Transformer模型上运行训练后量化（PTQ）。

与此同时，Optimum Intel还提供了一个简单的接口来优化Transformer模型，并将模型转换为OpenVINO的中间层表示（IR），从而使用OpenVINO进行推理。

利用Habana Gaudi加速训练

现阶段，Habana Labs正携手Hugging Face更简易、快速地训练大规模、高质量的Transformer模型。得益于Habana的SynapseAI® 软件套件与Hugging Face Optimum-Habana开源库，数据科学家和机器学习工程师能够通过在Habana Gaudi和Habana Gaudi2处理器上运行几行代码，加速Transformer深度学习的训练。

Optimum-Habana库支持各种计算机视觉、自然语言和多模态模型。其支持且经过测试的模型架构包括BERT、AlBERT、DistilBERT、RoBERTa、Vision Transformer、swin、T5、GPT2、wav2vec2和Stable Diffusion。Hugging Facehub上目前已有4万多个基于这些架构的模型，而开发人员可以使用Optimum-Habana在Gaudi和Gaudi2上轻松地使用这些模型1。

Habana Gaudi解决方案已经用于亚马逊EC2 DL1实例，采用该解决方案进行训练的一个主要优势是性价比。Habana Gaudi的性价比与同类训练解决方案相比高40%，使客户能用更少的成本进行更多训练2，Gaudi2采用与第一代Gaudi相同的高效架构，同样提供了卓越的性价比。

Habana DeepSpeed也集成在Optimum-Habana库中，让人们在使用DeepSpeed优化的Gaudi设备时，能更易于大规模部署和训练大型语言模型。您可以通过Optimum Habana DeepSpeed使用指南了解更多信息。

最新版的Optimum-Habana在Hugging Facediffusers库中内置支持Stable Diffusion，使Hugging Face开发者能够在Habana Gaudi上进行极具性价比的图像生成测试。

生产中的小样本学习

英特尔研究院、Hugging Face和UKP Lab最近推出了SetFit，这是一种用于对Sentence Transformer进行小样本调优的有效框架。使用预先训练的语言模型进行小样本学习，将有望解决数据科学家在现实中面临的一大挑战：处理那些几乎没有标签的数据。

当前的小样本调优需要手工提示或描述器，将示例转换为适合底层语言模型的格式。通过直接从少量有标签的文本示例中直接生成丰富的嵌入，SetFit可省去提示。

研究人员设计了SetFit，可用于Hugging Face Hub上的任何Sentence Transformer，即通过调优多语言检查点，可以将文本分类为多种语言。

SetFit不需要像T5或GPT-3这样的大模型来实现高精度。与标准调优相比，它显著提高了采样效率并能够更好地耐受噪声。例如，对于在一个示例情感数据集上每类只有八个有标签的例子，SetFit可以与在包含3000个例子的完整训练集上的RoBERTa Large调优相媲美。Hugging Face发现，在零提示且体积缩小27倍的情况下，SetFit也取得了与T-Few 3B相当的效果，从而实现了兼具低成本和高效的训练3。

一直以来，英特尔致力于积极构建生态系统并助力降低AI成本，包括开源项目、集成的开发者体验和科学研究等举措。而工具和软件恰恰能够让开发人员加快构建应用程序，并释放处理器性能。英特尔旨在让人们能够更轻松地在任何地方构建和部署AI，使数据科学家和机器学习从业者能够采用最新的优化技术。

标签： Transformer HuggingFace