生成式AI运算速度竞赛渐趋激烈，SambaNova完成新记录

darthracer · 2024-7-17 08:52

生成式AI开发竞争固然激烈，但企业着重的除了性能外，处理速度和成本也是相当重要的部分，因此同一模型如何能够以更快速度处理就成为另一个竞争目标。有创业公司最近创下每秒处理Llama 3 8B的1,000个Token的新记录，引来目光瞩目。

SambaNova Systems最新的测试中，Llama 3 8B参数指示模型的处理速度达到了每秒1,000个Token。这结果获得测试公司Artificial Analysis验证，超过了Groq先前保持的每秒800个Token的记录。SambaNova使用了自家研发的“可重构数据流组件”（RDU）芯片，类似AI加速器，配合Samba-1 Turbo模型来运行，提升处理速度。

SambaNova总裁Rodrigo Liang解释，达到每秒1,000个Token的关键在于对可重构数据流架构所带来的迭代改良，使SambaNova能够针对模型进行平衡资源分配，解决瓶颈，进而显著提高效率和性能。性能快速之余，也可以确保优质输出，最大限度地减少AI幻觉等问题，符合企业要求。这样不仅能改善AI代理的工作流程，还通过发布运算负载来执行其他任务，可以降低基础设施的运行成本。

Artificial Analysis联合创始人George Cameron强调，这成就在快速发展的AI芯片竞赛中相当重要。尤其是对于依赖处理速度的应用范围，例如需要快速回应时间和大量文件解释能力的AI代理和消费应用等。

伤鱼 · 2024-7-26 20:01

谢谢楼主分享，回复看图