Стеки памяти HBM играют большую роль в обучении больших языковых моделей искусственного интеллекта, предлагая приличный объём и высокую скорость передачи данных, однако компания NEO Semiconductor решила сделать этот тип памяти ещё лучше, для чего разработала архитектуру X-HBM.
По словам генерального директора Энди Хсу (Andy Hsu), новая архитектура предлагает 10-кратное повышение плотности и 16-кратное повышение пропускной способности по сравнению с передовой реализацией HBM. Также говорится про 32 768-битную шину передачи данных, в то время как у HBM5, ожидаемой в 2030 году, будет только 4 096-битная шина.
Другой плюс заключается в большом объёме, достигающем 512 Гбит или 64 Гбайта на слой, которые можно накладывать друг на друга. Для понимания: даже HBM8, разработка которой должна закончиться примерно в 2040 году, будет предлагать 80 Гбит или 10 Гбайт на слой, а также 16 384-битную шину.
С первого взгляда может показаться, что компании удалось обогнать своё время и выпустить слишком хороший продукт, но производители памяти не берутся за её реализацию для массового рынка. Не исключено, что в будущем это изменится, но, похоже, существуют нюансы при её внедрении, мешающие полноценному распространению.