Новый модуль помогает обрабатывать длинные контекстные окна в больших языковых моделях. Он повышает скорость инференса и снижает энергопотребление. Зачем это нужно? В ИИ-задачах объём памяти напрямую влияет на производительность, а SOCAMM2 даёт нужную плотность без лишних затрат.

Что такое LPDRAM SOCAMM2 и зачем он нужен

Форм-фактор SOCAMM2 - это компактный модуль, разработанный совместно с NVIDIA. Он использует LPDRAM - низкопотребляющую динамическую память с высокой скоростью. По сравнению с традиционными RDIMM и LRDIMM, SOCAMM2 занимает меньше места и жрёт втрое меньше энергии.

Micron увеличила ёмкость монолитного кристалла до 32 ГБ. В конфигурации 256 ГБ на модуль система с 8-канальным процессором получает до 2 ТБ памяти. Это идеально для центров обработки данных, где ИИ-модели требуют огромных объёмов для KV-кэша. Например, при выводе данных с длинным контекстом время отклика вырастает в 2,3 раза.

Вот ключевые преимущества форм-фактора:

• Компактность: Меньше места в серверах по сравнению с RDIMM.
• Энергоэффективность: Снижение потребления на 66% для тех же задач.
• Плотность: До 2 ТБ на процессор для обработки больших моделей.

Интеграция с инфраструктурой NVIDIA

SOCAMM2 заточен под платформу Vera Rubin от NVIDIA. Это ускорители для ИИ следующего поколения, где память - узкое место. Модули уже отгружают клиентам, а полную презентацию покажут на GTC 2026.

В тестах Micron серверы с 256 ГБ модулями ускоряют задачи Apache Spark SVM в 4 раза. Это благодаря лучшей локальности данных и большему объёму в оперативке. Для агентного ИИ, где приложения работают автономно, такой буст критичен - снижает задержки при генерации токенов.

Примеры применения:

• Обработка длинных контекстов в LLM.
• Выгрузка KV-кэша из GPU в системную память.
• Аналитика больших данных в облаке.

Важный нюанс: LPDRAM не для потребительских ПК - только серверы и ЦОД.

Преимущества для ИИ-нагрузок

В ИИ видеопамять GPU быстро кончается при больших моделях. SOCAMM2 позволяет выгружать часть KV-кэша в быструю системную память. Это дешево и эффективно - NVIDIA уже отметила потенциал для новых чипов.

Модуль повышает масштабируемость: больше памяти на узел без роста энергозатрат. Внутренние тесты показывают рост производительности за счёт минимизации свопинга. Для разработчиков ИИ это значит быстрее прототипы и дешевле эксплуатация.

Основные фичи для разработчиков:

• Высокая пропускная способность для инференса.
• Поддержка 8-канальных CPU.
• Снижение latency в реальном времени.

SOCAMM2 меняет правила в ЦОД

Образцы уже у клиентов, что говорит о реальной готовности. Осталось дождаться отзывов с Vera Rubin и цифр от независимых тестов. Пока Micron лидирует в плотности LPDRAM - конкуренты отстают.

Технология открывает путь к более мощным ИИ-системам без перестройки дата-центров. Стоит присмотреться, если вы в теме серверов для ИИ: энергосбережение и скорость - ключ к будущему.