重磅！微软开源Deep Speed Chat，人人拥有ChatGPT！

4月12日，微软宣布开源了Deep Speed Chat，帮助用户轻松训练类ChatGPT等大语言模型，使得人人都能拥有自己的ChatGPT！（开源地址：https://github.com/microsoft/DeepSpeed）

据悉，Deep Speed Chat是基于微软Deep Speed深度学习优化库开发而成，具备训练、强化推理等功能，还使用了RLHF（人工反馈机制的强化学习）技术，可将训练速度提升15倍以上，成本却大幅度降低。例如，一个130亿参数的类ChatGPT模型，只需1.25小时就能完成训练。

简单来说，用户通过Deep Speed Chat提供的“傻瓜式”操作，能以最短的时间、最高效的成本训练类ChatGPT大语言模型，这标志着一个人手一个ChatGPT的时代要来了。

微软为什么开源Deep Speed Chat

ChatGPT只用了几个月的时间便席卷全球，成为史上用户增长速度最快的消费级应用，对世界的经济发展、科技研发起到了重要的推动作用。很多企业、个人用户纷纷想参与到这场AI技术变革中，但由于庞大的资源、资金投入只能望而却步。

即便开源领域推出了LLaMa、Alpaca、Vicuna、Databricks-Dolly等优秀的类ChatGPT项目，仍缺乏一个支持端到端的基于RLHF的规模化系统，使得训练强大的类ChatGPT模型非常艰难。

例如，使用上述开源项目训练一个67亿参数的类ChatGPT模型，通常需要昂贵的多卡至多节点的GPU集群，但这些资源对大多数科学家、小型企业、个人开发者而言难以获取。

即便是拥有这样的资源，现有的开源系统的训练效率通常还不到，这些机器所能达到的最大效率的5%。

现在，通过Deep Speed Chat解决资源、算法等难题，轻松、高效的训练数千亿参数的最先进的类ChatGPT模型。

Deep Speed Chat技术简单介绍

ChatGPT模型的训练是基于InstructGPT论文中的RLHF方式，这使得现有深度学习系统在训练类ChatGPT模型时存在种种局限。现在，通过Deep Speed Chat可以突破这些训练瓶颈，达到最佳效果。

Deep Speed Chat拥有强化推理、RLHF模块、RLHF系统三大核心功能。

简化 ChatGPT 类型模型的训练和强化推理：只需一个脚本即可实现多个训练步骤，包括使用Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤，生成属于自己的类ChatGPT模型。此外，还提供了一个易于使用的推理API，用于在模型训练后测试对话性能。

Deep Speed-RLHF 模块：DeepSpeed-RLHF 复刻了InstructGPT 论文中的训练模式，并确保包括：a) 监督微调（SFT），b) 奖励模型微调和 c) 基于人类反馈的强化学习（RLHF）在内的三个步骤与其对应。此外，还提供了数据抽象和混合功能，以支持用户使用多个不同来源的数据源进行训练。

DeepSpeed-RLHF系统：将DeepSpeed的训练和推理能力整合到统一的混合引擎（DeepSpeed Hybrid Engine or DeepSpeed-HE）中用于RLHF 训练。DeepSpeed-HE 能够在RLHF中无缝地在推理和训练模式之间切换，使其能够利用来自 DeepSpeed-Inference 的各种优化。

例如，张量并行计算和高性能CUDA算子进行语言生成，同时对训练部分还能从 ZeRO- 和 LoRA-based 内存优化策略中受益。DeepSpeed-HE可以自动在 RLHF 的不同阶段进行智能的内存管理和数据缓存。

此外，Deep Speed Chat在成本、效率、扩展性等方面非常优秀。

高效且节省成本：在Azure云上只需9小时即可训练一个OPT-13B模型，只需18小时即可训练一个 OPT-30B模型。这两种训练分别花费不到300美元和600 美元。