Представлен программно‑аппаратный AI KV‑cache offloading от «Тантор Лабс» с управлением в платформе «Боцман»

Технологический лидер в сфере СУБД компания «Тантор Лабс» и разработчик платформы контейнеризации и управления ИИ-инфраструктурой «Платформа Боцман» (обе компании входят в «Группу Астра») представили новую программно-аппаратную технологию хранения кэша ключей и значений (KV-cache) без использования памяти DRAM. 

По мере роста числа пользователей корпоративных ИИ-сервисов и длины контекста нейросетей увеличивается объём KV-cache — кэша промежуточных вычислений, необходимых для генерации ответов большими языковыми моделями. В процессе эксплуатации кэш увеличивается вместе с длиной контекста и количеством пользователей, занимает значительную часть ограниченной видеопамяти GPU, и когда доступного объёма не хватает, инфраструктуре приходится ограничивать число одновременных запросов, задействовать дополнительные ресурсы или выполнять вычисления повторно. Это увеличивает задержки и стоимость эксплуатации ИИ-сервисов.

Новое решение опирается на программно-аппаратный модуль, позволяющий переносить KV-cache из ограниченной HBM-видеопамяти GPU во внешнее NVMe-хранилище по протоколу RDMA и повторно использовать сохранённые данные при обработке запросов. В отличие от подходов, основанных на только программной организации внешнего кэширования, решение использует специализированный аппаратный KV-движок доступа к данным по ключу. Он ускоряет операции с KV-cache, резко снижая нагрузку на центральные процессоры серверов и позволяя эффективнее использовать ресурсы GPU. Решение интегрируется с vLLM, LMCache и NVIDIA Dynamo и встраивается под существующий стек инференса без переписывания прикладного кода. Поддерживаются как GPU от Nvidia (Ampere, Ada Lovelace, Hopper, Blackwell) и AMD (Instinct, Radeon), так и от китайских популярных производителей Alibaba (PPU), MetaX(C-Series) и Baidu (Kunlun).

Архитектура аппаратного модуля обеспечивает низколатентный доступ к данным в рамках распределённой инфраструктуры Storage AI с использованием сетевых адаптеров 400 GbE (ConnectX‑7),технологий RDMA и NVMe-oF. GPU-серверы с движком инференса vLLM взаимодействуют с отдельным узлом хранения на базе NVMe SSD. Модуль ускоряет инференс, сохраняет вычисленные KV‑кэши в распределенное масштабируемое хранилище Storage AI, загружает при повторных запросах, избегая перерасчетов, а также распределяет их между GPU, vLLM‑экземплярами и пользователями. Это позволяет эффективнее использовать видеопамять и поддерживать рост нагрузки без пропорционального увеличения количества GPU.

Новое решение от «Тантор Лабс» и «Платформы Боцман» также позволяет реализовать дезагрегацию вычислительных ресурсов и хранения контекстной памяти (Compute–KV Storage Disaggregation) — архитектуру, в которой GPU-серверы выполняют инференс, а KV-cache хранится отдельно, в общем масштабируемом NVMe-хранилище. Благодаря этому контекстная память становится доступной всем GPU-серверам инфраструктуры, а её использование не привязано к конкретному ускорителю или серверу. При этом не требуется отдельно оркестрировать распределение кэша между серверами: аппаратный модуль обеспечивает доступ к сохранённым данным и их повторное использование, помогая эффективнее задействовать вычислительные ресурсы и масштабировать ИИ-сервисы независимо от объёмов вычислений и хранимого контекста.

В испытаниях на одинаковых серверах, LLM и нагрузке сравнивались конфигурации с использованием аппаратного решения и без него. Применение модуля позволило обслуживать в четыре раза больше клиентов на тех же GPU-мощностях при соблюдении заданных требований к задержке. Таким образом, заказчик получает «горячий» контекст на скорости, сопоставимой со скоростью памяти DRAM, при ёмкости и стоимости как у NVMe-накопителей. С точки зрения отдачи на вложенный бюджет стоимость на запрос и на токен становятся ниже, а один и тот же парк GPU позволяет обрабатывать больше запросов (RPS).

«Мы переносим опыт, накопленный в работе с аппаратными технологиями МБД Tantor XData Gen3, для решения задач, которые становятся критически важными в эпоху ИИ. Только программная оптимизация кэширования для ИИ решает часть проблемы, но создает сложности для эксплуатации и имеет заведомо меньшую производительность. Новое решение позволяет ускорить доступ к хранилищу контекстной памяти  (KV-cache), освобождая ресурсы серверов для вычислений. В сочетании с платформой „Боцман“ это формирует оптимальную основу для масштабирования ИИ-инфраструктуры, в которой производительность определяется не только мощностью GPU, но и тем, насколько эффективно организована работа с памятью нейросетей», — прокомментировал Вадим Яценко, генеральный директор «Тантор Лабс».

Программная поддержка внешнего хранения KV-cache и интеграция в инфраструктуру эксплуатации ИИ-моделей реализованы в Платформе «Боцман», которая обеспечивает развёртывание, публикацию, обновление и масштабирование, управление вычислительными ресурсами на базе Kubernetes, маршрутизацию запросов через OpenAI-совместимый API, а также мониторинг и контроль потребления ресурсов. Таким образом, заказчик получает уникальную для рынка готовую технологию, встроенную в процессы эксплуатации и масштабирования ИИ-сервисов.

«„Боцман“ обеспечивает промышленную эксплуатацию ИИ-моделей и управление всей инфраструктурой их работы. Интеграция хранилища контекстной памяти (context memory storage) дополняет эти возможности поддержкой программно-аппаратной оптимизации использования KV-cache, позволяя максимально удобно использовать новую технологию в рамках единой платформы управления ИИ-сервисами», — отметил Михаил Кобик, технический директор «Платформы Боцман».