Санкции и вынужденный поворот к диску
Когда доступ к передовым чипам и большим объёмам видеопамяти закрыли, пришлось искать обходные пути. Вместо того чтобы пытаться нарастить VRAM в каждом узле, Huawei сделал ставку на специализированное хранилище. SSD на 122 ТБ — это не бытовая флешка и не серверный диск для файлов. Это технология суперкластеров, где основной задачей стало именно физическое хранение KV Cache. Сессии можно записывать и читать напрямую, не упираясь в лимиты видеопамяти. В итоге ограничение санкций обернулось возможностью держать кэш по огромному количеству сессий и быстро их восстанавливать.
Почему именно 122 ТБ и почему не VRAM
Обычные подходы упираются в то, что VRAM в кластере всегда ограничен. Увеличить её объём в условиях санкций сложно и дорого. Huawei пошёл другим путём: сделал диск, который по скорости чтения и записи близок к оперативной памяти. Подключается он через специализированные шины данных, а не через обычные интерфейсы. За счёт этого отклик при работе с KV Cache остаётся приемлемым, а объём позволяет хранить в десятки раз больше, чем влезло бы в видеопамять. Это не замена RAM, а дополнение, которое решает именно задачу массового кэширования сессий.
Маленький KV Cache DeepSeek и скорость на диске
У DeepSeek KV Cache где-то в 10–30 раз меньше, чем у конкурентов. На первый взгляд это может показаться недостатком. Но именно поэтому чтение и запись на SSD происходят в те же 10–30 раз быстрее. Когда кэш компактный, диск успевает отдавать данные почти так же оперативно, как если бы они лежали в VRAM. В результате модель может работать с тысячами параллельных сессий, не теряя в скорости восстановления контекста. Обычные большие кэши просто не позволили бы так эффективно использовать дисковое хранилище — они бы тормозили на записи и чтении.
Что даёт 95-процентное попадание в кэш
Когда видишь невероятное попадание в кэш у DeepSeek V4, это не магия и не просто оптимизация алгоритмов. Это прямое следствие архитектурного решения: кэш хранится на быстром специализированном SSD, а не только в ограниченной VRAM. Сессии не теряются после завершения, их можно мгновенно поднимать заново. Конкуренты, которые держат всё в видеопамяти, вынуждены либо сбрасывать кэш, либо тратить ресурсы на пересчёт. Здесь же диск работает как расширенная, но при этом быстрая память, и это даёт ощутимое преимущество в реальных сценариях с большим количеством пользователей.
Как это выглядит на практике в суперкластере
В обычном кластере VRAM — это узкое место. Каждый новый запрос либо занимает место в памяти, либо требует пересчёта. С 122-терабайтным SSD под KV Cache появляется возможность держать одновременно десятки тысяч сессий. Специализированные шины обеспечивают скорость, близкую к RAM, поэтому задержки не критичны. Модель пишет кэш на диск и читает его обратно без заметных потерь. Именно поэтому DeepSeek V4 демонстрирует такие высокие показатели попадания — кэш не просто большой, он ещё и физически доступен на скорости, которая раньше считалась недостижимой для дисковых решений.
Комментарии
Ну да, санкции здесь вообще ни при чём - любая компания с деньгами могла бы придумать такой SSD, просто Huawei оказалась в ситуации, где это стало выгодно, а не вынужденно
Хуавей крут, конечно. Походу санкции делают его только сильнее.👍
Добавлю, что такой режим работы - постоянная запись KV Cache - создаёт нагрузку на контроллер SSD, сопоставимую с корпоративными базами данных. Обычные потребительские диски при таком количестве операций записи быстро исчерпали бы ресурс. Мне было бы интересно узнать, применяются ли здесь специальные типы памяти (например, PLC или SLC) или это развитие технологии 3D NAND с высокой выносливостью. Этот аспект часто остаётся за рамками обсуждения, хотя он критичен для оценки применимости решения