英伟达预告新版 TensorRT-LLM：推理能力飙升 5 倍、8GB 以上显卡可本地运行，支持 OpenAI 的 Ch…

图片地址：https://img.ithome.com/newsuploadfiles/2023/10/bd6994fc-30cf-4da6-8241-a8f7339f2602.jpg?x-bce-process=image/format,f_auto

IT之家 11 月 16 日消息，微软 Ignite 2023 大会已于今天拉开帷幕，英伟达高管出席本次大会并宣布更新 TensorRT-LLM，添加了对 OpenAI Chat API 的支持。IT之家今年 10 月报道，英伟达面向数据中心和 Windows PC，推出 Tensor RT-LLM 开源库。最大的特点是，如果 Windows PC 配备英伟达 GeForce RTX GPU，TensorRT-LLM 可以让 LLM 在 Windows PC 上的运行速度提高四倍。英伟达在今天 Ignite 2023 大会上，宣布更新 TensorRT-LLM，添加 OpenAI 的 Chat API 支持，并增强 DirectML 功能，改善 Llama 2 和 Stable Diffusion 等 AI 模型的性能。TensorRT-LLM 可以通过英伟达的 AI Workbench 在本地完成，开发者可以使用这个统一、易用