系统之家 - 纯净的系统和软件下载网站!

当前位置:首页 > IT资讯 > 评测 > 详细页面

最新热讯:微软宣布开源 DeepSpeedChat帮助用户轻松训练云烟模型

编辑:系统之家 2023-04-14 来源于:网络

很多大公司都会有对员工进行学习的机会,这也是一个非常非常便捷的学习方式,最近据介绍,Deep Speed Chat 基于微软 Deep Speed 深度学习优化库开发,具备训练、强化推理等功能,使用 RLHF(人工反馈机制的强化学习)技术,可将训练速度提升 15 倍以上,并大幅降低成本。例如,一个 130 亿参数的类 ChatGPT 模型,只需 1.25 小时就能完成训练。让我们一起来看看了解一下最新的语言模型吧。

最新热讯:微软宣布开源 DeepSpeedChat帮助用户轻松训练云烟模型

Deep Speed Chat 是一款能够解决训练类 ChatGPT 模型的资源和算法难题的技术,它能够轻松、高效的训练数千亿参数的最先进的类 ChatGPT 模型。使用 Deep Speed Chat,用户只需一个脚本即可实现多个训练步骤,包括使用 Huggingface 预训练的模型、使用 DeepSpeed-RLHF 系统运行 InstructGPT 训练的所有三个步骤,生成属于自己的类 ChatGPT 模型。

此外,Deep Speed Chat 还提供了一个易于使用的推理 API,用于在模型训练后测试对话性能。Deep Speed Chat 具有强化推理、RLHF 模块、RLHF 系统三大核心功能,能够支持训练拥有数千亿参数的模型,并在多节点多 GPU 系统上展现出卓越的扩展性。

Deep Speed Chat 在成本、效率、扩展性等方面非常优秀,在 Azure 云上只需花费不到 300 美元和 600 美元即可完成对 OPT-13B 模型和 OPT-30B 模型的训练。

微软此次开源 Deep Speed Chat 对整个 ChatGPT 生态发展起到了至关重要的推动作用,简单来说,用户通过 Deep Speed Chat 能以最短的时间、最高效的成本训练类 ChatGPT 大语言模型,这标志着一个人手一个 ChatGPT 的时代要来了。

相关信息

  • 电脑通讯录软件有哪些?2020通讯录软件大全

    现在是一个信息化时代,许多东西都被数字信息化,包括我们记录身边人的联系方式,也早告别手写记录,会选择用一些软件来记录通讯方式,那么,你知道有哪些电脑通讯录软件呢?下面就看看小...

    2020/07/29 17:21:19

  • 2020高考必用软件有哪些?2020高考必备的复习软件大全

    2020高考倒计时6天啦!在最后的冲刺阶段,可谓是争分夺秒,考生们一定想抓住最后的时间查漏补缺,把考点知识强化,除了看书做题,还可以利用一些好用的电脑高考复习软件,辅助自己走完高...

    2020/07/02 10:18:42