SSD mimarisi yapay zekâ için GPU belleğini genişletmeyi hedefliyor

Yapay zekâ eğitim ve çıkarım (inference) iş yükleri, GPU’lara bağlı yüksek bant genişlikli belleklerin (HBM) sınırlı kapasitesi nedeniyle giderek daha fazla kısıtlanıyor. Bu durum, veriyi hesaplama kaynaklarına daha yakın konumlandıran yeni depolama mimarilerini gerekli kılıyor. Bu kapsamda KIOXIA Europe GmbH, GPU merkezli yapay zekâ altyapılarını desteklemek amacıyla GP Ürün Serisi kapsamında Super High Performance IOPS SSD çözümünü tanıttı.

Veri yoğun yapay zekâ iş yüklerine uyum sağlayan depolama mimarisi
Yapay zekâ geliştirme süreçleri hesaplama odaklı yapılardan veri odaklı yapılara doğru kaydıkça, sistem performansı büyük veri kümelerine hızlandırıcılar tarafından ne kadar hızlı erişilebildiğine daha fazla bağlı hâle geliyor. Mevcut yapay zekâ donanımlarındaki önemli sınırlamalardan biri, GPU’ya bağlı HBM kapasitesinin sınırlı olmasıdır; bu durum model boyutunu ve veri aktarımını kısıtlayabilir.

NVIDIA’nın Storage-Next mimarisi, GPU’ların harici flash depolamaya doğrudan erişmesini sağlayarak bu sorunu ele alır ve etkin bellek hiyerarşisini genişletir. Bu yaklaşım, SSD’lerin GPU belleğine bir genişleme katmanı olarak çalışmasına olanak tanıyarak yapay zekâ eğitim ve çıkarım ortamlarında kullanılabilir bellek kapasitesini artırır.

KIOXIA’nın GP Ürün Serisi SSD’si, düşük gecikme özelliklerine sahip ve GPU’lar tarafından erişilebilen flash depolama sağlayarak bu mimariyi destekleyecek şekilde tasarlanmıştır.

GPU belleğinin bir uzantısı olarak konumlandırılan flash depolama
Super High Performance IOPS SSD, GPU’ların flash belleğe doğrudan erişmesini sağlayarak CPU üzerinden geçen geleneksel depolama erişim yollarına kıyasla daha hızlı veri erişimini mümkün kılar. Bu yaklaşım, veri aktarım darboğazlarından kaynaklanan bekleme sürelerini azaltarak GPU kullanım oranını artırmaya yardımcı olur.

Sürücüler, yapay zekâ veri işleme hatlarında gerekli olan yüksek giriş/çıkış işlemleri (IOPS) ve düşük gecikme performansını sağlamak üzere tasarlanmış KIOXIA XL-FLASH™ Storage Class Memory teknolojisini kullanır. Geleneksel TLC tabanlı SSD’lerle karşılaştırıldığında GP Serisi mimarisi, 512 bayt erişim birimleri ile daha hassas veri erişimi, daha yüksek IOPS performansı ve işlem başına daha düşük güç tüketimi sunar.

Büyük yapay zekâ modelleri ve çıkarım bellek ihtiyaçlarının desteklenmesi
Trilyonlarca parametreye sahip büyük dil modellerinin ve diğer yapay zekâ sistemlerinin yaygınlaşması, çıkarım iş yüklerinde kullanılan KV (Key-Value) önbelleklerine yönelik bellek gereksinimlerini de artırmaktadır. Bağlam pencerelerinin milyonlarca token seviyesine çıkması, genişletilmiş bellek mimarilerine olan ihtiyacı daha da artırmaktadır.

Bu eğilimi karşılamak amacıyla NVIDIA Context Memory Storage (CMX) gibi mimariler, yüksek performanslı depolama katmanları kullanarak bellek hiyerarşisini GPU DRAM’in ötesine taşır. KIOXIA, depolama teknolojilerini bu gelişmekte olan yapay zekâ veri altyapısı modeli içinde konumlandırmaktadır.

Çıkarım ortamları için yüksek kapasiteli PCIe 5.0 SSD
GP Serisine ek olarak KIOXIA, 25,6 TB TLC flash kapasitesi ve günde 3 sürücü yazma (DWPD) dayanıklılık değerine sahip CM9 Serisi PCIe 5.0 E3.S SSD çözümünü de öne çıkarıyor. Bu teknik özellikler, sürücüyü hem yüksek depolama yoğunluğu hem de sürekli yazma performansı gerektiren yüksek veri hacimli çıkarım sistemleri için uygun hâle getirir.

Bu tür depolama platformları, GPU hızlandırmalı bilgi işlem ortamlarında performans, dayanıklılık ve depolama maliyet verimliliği arasında denge kurarak yapay zekâ altyapılarının ölçeklendirilmesini desteklemeyi amaçlamaktadır.

Endüstri gazetecisi Aishwarya Mambet tarafından düzenlenmiştir, yapay zekâ desteğiyle.

www.kioxia.com