【本文由小黑盒作者@大荒星陨落于04月07日发布，转载请标明出处！】
近日，谷歌研究院发布了一项名为TurboQuant 的全新AI内存压缩技术，很快便在存储市场引发了剧烈震荡，导致全球存储芯片板块出现显著下跌。并被Cloudflare 的 CEO Matthew Prince 称为这是谷歌的 “DeepSeek 时刻”。
这项技术旨在解决大语言模型在运行时面临的“键值缓存”（KV Cache）内存瓶颈问题。
简单来说，当AI模型处理信息、生成文本时，需要大量高速内存来存储临时的计算结果（即KV缓存），这曾是AI服务器“吃”内存的主要原因之一。
而TurboQuant技术能够在不损失模型准确率的前提下，将这部分内存的占用量压缩至原来的六分之一，同时在英伟达H100 GPU上实现最高8倍的性能加速。
因为 TurboQuant 极大地降低了内存占用，未来用户的手机或轻薄笔记本，即便内存不大，也能本地流畅运行参数很大、能力很强的 AI 模型。而厂商也不再需要为了跑 AI 而疯狂堆砌超大内存，设备成本可能降低，或者在同等价格下给用户更好的其他配置。
此外，因为这项技术专门解决了“键值缓存”（KV Cache）的瓶颈，这意味着 AI 能“记住”更长的上下文。未来用户的 AI 助手可能记得住其几个月前说过的细节，或者能帮其瞬间读完并总结几十万字的小说/法律文档，而不会“读了后面忘前面”。
总的来说，这项技术对于整个 AI 行业来说，犹如一颗投入深海的炸弹，它预示着长上下文AI推理的成本以及对内存的需求可能会急剧下降。以后人们不需要疯狂砸钱买昂贵硬件，就能让 AI 记住更长、更复杂的信息。
目前，谷歌尚未表明何时将这项技术用到自家的 Gemini等模型上，这还只是一项学术成果，计划在下月的ICLR会议上正式发表。
嘉正网提示：文章来自网络，不代表本站观点。
