苹果、英伟达强强联手:LLM 推理加速利器 ReDrafter 开源,AI 性能提升 2.7 倍

发布时间:2024-12-22 12:16:40 来源:互联网

本站 12 月 19 日消息,苹果公司昨日(12 月 18 日)发布博文,宣布和英伟达(Nvidia)合作,通过开源 Recurrent Drafter(ReDrafter)推测解码方法,显著提升了 AI 大语言模型(LLM)的推理速度。

苹果公司表示 ReDrafter 已集成到 NVIDIA TensorRT-LLM 推理加速框架中,在 NVIDIA GPU 上,每秒生成 tokens 速度最高提升 2.7 倍,有效降低了用户延迟和计算成本。

苹果的机器学习研究人员指出,LLM 越来越多地用于驱动生产应用程序,提高推理效率对降低计算成本和用户延迟至关重要。

本站援引苹果官方博文,ReDrafter 使用 RNN 草稿模型,结合波束搜索(beam search)与动态树注意力(dynamic tree attention),可以让开源模型每步生成最多 3.5 个 tokens,超越了先前推测性解码技术的性能。

为将 ReDrafter 应用于生产环境,苹果与 NVIDIA 展开合作,将其集成到 NVIDIA TensorRT-LLM 框架中。

英伟达为此添加了新的运算符并公开了现有运算符,增强了 TensorRT-LLM 对复杂模型和解码方法的适应性。

基准测试结果显示,在 NVIDIA GPU 上使用集成了 ReDrafter 的 TensorRT-LLM 框架,数百亿参数规模的生产模型的解码速度提升了 2.7 倍。这不仅降低了用户体验延迟,还减少了 GPU 使用数量和功耗。

本站附上参考地址

  • Apple collaborates with NVIDIA to research faster LLM performance

  • NVIDIA TensorRT-LLM Now Supports Recurrent Drafting for Optimizing LLM Inference

  • ml-recurrent-drafter

  • Accelerating LLM Inference on NVIDIA GPUs with ReDrafter

本周热门攻略

1
陌陌影视在线观看高清完整版:畅享最新影视资源,提升观影体验

陌陌影视在线观看高清完整版:畅享最新影视资源,提升观影体验

2024/12/12

2
JMComic.2.0官网下载流程详解:如何在官方网站获取最新版本并顺利安装?

JMComic.2.0官网下载流程详解:如何在官方网站获取最新版本并顺利安装?

2024/12/05

3
精品无人乱码一区二区三区的独特性与挑战:分析乱码产生原因及解决方法

精品无人乱码一区二区三区的独特性与挑战:分析乱码产生原因及解决方法

2024/12/01

4
女性坐着扦插BB对身体有哪些具体好处?如何帮助缓解焦虑、提升健康?

女性坐着扦插BB对身体有哪些具体好处?如何帮助缓解焦虑、提升健康?

2024/12/10

5
如何理解“一性一爱一乱一怆一情”:情感关系中的五个关键层面

如何理解“一性一爱一乱一怆一情”:情感关系中的五个关键层面

2024/12/14

6
成品动漫网站入口网页版怎么打开:详细步骤和解决方案

成品动漫网站入口网页版怎么打开:详细步骤和解决方案

2024/12/15

7
电影《陪读装睡让他滑进去了》剧情解析:这部影片如何展现隐秘关系中的错综复杂与心理博弈

电影《陪读装睡让他滑进去了》剧情解析:这部影片如何展现隐秘关系中的错综复杂与心理博弈

2024/12/11

8
麻花传剧原创MV在线看《赘婿》:为剧集增添新音乐与视觉魅力,带来全新观剧体验

麻花传剧原创MV在线看《赘婿》:为剧集增添新音乐与视觉魅力,带来全新观剧体验

2024/11/30

9
糖心APP免费成人视频:如何选择最适合自己的观看平台?

糖心APP免费成人视频:如何选择最适合自己的观看平台?

2024/12/07

10
麻豆91传媒一区二区三区四区是什么?它的内容与特点有哪些?为什么受到大家的关注?

麻豆91传媒一区二区三区四区是什么?它的内容与特点有哪些?为什么受到大家的关注?

2024/12/11