Nvidia推出可构建企业级聊天机器人的生成式AI微服务

darthracer · 2024-1-1 12:21

Nvidia发布生成式人工智能微服务Nvidia NeMo Retriever，让企业能够连接大型语言模型与企业数据，在其人工智能应用程序提供精确的回应。该服务是NeMo系列的新产品，供企业能够使用Nvidia优化算法，构建生产就绪的检索增强生成（Retrieval-Augmented Generation，RAG）人工智能应用。

NeMo Retriever为一个语义检索微服务，让开发者可以简单地定制化问答应用程序。该服务能够被部署在云计算或是本地环境中，支持生成式人工智能应用程序。借由使用Nvidia优化算法，NeMo Retriever可以提供更加精准的回应。此外，开发者能够将其与云计算和数据中心里的业务数据连接，以便最终用户通过简单的对话提示，快速获得准确且最新的消息。

通过NeMo Retriever企业便可在其应用程序中加入检索增强生成功能，官方提到，其提供了先进且商业化的模型和微服务，并对延迟和吞吐量进行了优化。NeMo Retriever所使用的模型经过负责任且可审核的数据训练，开发者可选用不同的预训练模型，并且依据使用案例自定义模型。

NeMo Retriever中的Retrieval QA Embedding模型，能够将文本资讯转换成为密集的矢量表示，以方便搜索矢量数据库，检索和最终用户查询最相关的文件。NeMo Retriever中的Retrieval QA Embedding模型为Transformer编码器，是一个E5-Large-Unsupervised模型的微调版本，具有24层，嵌入大小为1,024，经过私有和公开数据集进行训练，最大支持512个token输入。

开发者可以通过Retrieval QA Embedding Playground API来访问该服务，由于Retrieval QA Embedding模型为E5-Large-Unsupervised微调版本，因此也适用类似的输入格式要求，开发者在发出请求的时候，需要指定片段资讯（Passage）以及查询（Query）。

经Nvidia电信、IT、咨询和能源产业的客户内部数据集评估，Retrieval QA Embedding模型在模拟检索增强生成场景的Recall@5指标中表现最好，而且在学术基准测试NQ、HotpotQA、FiQA和TechQA上，Retrieval QA Embedding模型在平均NDCG@10指标上超越其他开源和商业检索模型。