Yapay Zekâ İş Yükleri için SSD Tabanlı Vektör Arama Entegrasyonu

KIOXIA Europe, AiSAQ™ yaklaşık en yakın komşu arama yazılım teknolojisinin, 2.6.4 sürümünden itibaren açık kaynaklı Milvus vektör veritabanına entegre edildiğini duyurdu. Bu entegrasyon, Milvus kullanıcılarının vektör arama iş yüklerini SSD tabanlı mimariler üzerinde çalıştırmasına olanak tanıyarak, özellikle geri çağırma destekli üretim (RAG) ve büyük ölçekli yapay zekâ çıkarım uygulamalarında karşılaşılan bellek ölçeklenebilirliği sınırlamalarını ele alıyor.

Vektör aramada bellek darboğazlarının aşılması
Vektör veritabanları, özellikle büyük dil modellerini harici bilgi geri çağırma mekanizmalarıyla birleştiren RAG altyapılarında, birçok yapay zekâ iş yükünün temelini oluşturur. Vektör hacimleri büyüdükçe, geleneksel mimariler gömülü vektörleri ve indeks yapılarını saklamak için büyük ölçüde DRAM’e bağımlı hâle gelir; bu durum maliyet ve ölçeklenebilirlik açısından sınırlayıcıdır. AiSAQ, bu veri yapılarını DRAM yerine SSD’lere taşıyarak, çıkarım iş yükleri için gerekli arama doğruluğunu korurken bellek baskısını azaltmak üzere geliştirildi.

AiSAQ’un Milvus’a entegre edilmesiyle, bu SSD merkezli yaklaşım yaygın olarak kullanılan bir açık kaynaklı vektör veritabanı içinde erişilebilir hâle geliyor. Geliştiriciler, vektör koleksiyonları ölçeklendikçe DRAM kapasitesini artırmak veya depolama mimarisini yeniden tasarlamak zorunda kalmadan optimize edilmiş vektör arama yolunu kullanabiliyor.

AiSAQ’un depolama dengesini nasıl değiştirdiği
AiSAQ, RAG ile ilişkili veritabanı bileşenlerini—vektör verileri ve indeks yapıları dâhil—ana bellek yerine SSD’lerde saklayan açık kaynaklı bir yazılım teknolojisidir. Bu tasarım, gecikme, doğruluk ve maliyet arasındaki dengenin kritik olduğu yaklaşık en yakın komşu arama (ANNS) iş yüklerini hedefler. KIOXIA’ya göre bu yaklaşım, üretim ortamlarındaki çıkarım senaryoları için uygun yüksek kaliteli vektör arama sonuçlarını korurken DRAM gereksinimlerini önemli ölçüde azaltır.

Entegrasyon sayesinde Milvus, vektör işlemlerinde AiSAQ özellikli SSD’lerden yararlanabiliyor ve böylece modern yapay zekâ uygulamalarının erişim kalıplarıyla hesaplama ve depolama kaynakları daha uyumlu hâle geliyor.

Ölçeklenebilir yapay zekâ çıkarımı ve RAG için önemi
Bu entegrasyon, yapay zekâ sistem tasarımında daha geniş bir eğilimi yansıtıyor: giderek daha büyük temel modelleri eğitmekten, ölçeklenebilir ve maliyet açısından verimli çıkarım altyapılarını devreye almaya doğru bir kayış. Sık vektör aramalarına dayanan RAG mimarileri, bellek maliyeti ve ölçeklenebilirliğe özellikle duyarlıdır. Milvus içinde SSD tabanlı vektör aramanın etkinleştirilmesi, sistem belleğini orantısız şekilde artırmadan daha büyük veri kümelerinin ve daha yüksek sorgu hacimlerinin desteklenmesini mümkün kılar.

Açık kaynak ekosistemi üzerindeki etkiler
AiSAQ daha önce açık kaynaklı bir proje olarak duyurulmuştu ve Milvus’a dâhil edilmesi, vektör veritabanı ekosistemi içindeki erişimini genişletiyor. Bu durum, büyük ölçekte verimli vektör geri çağırma gerektiren yapay zekâ servisleri geliştiren ekipler için benimseme engellerini düşürüyor. Milvus 2.6.4 ve sonraki sürümlerle kullanıcılar, mevcut açık kaynak araç zincirleri içinde SSD destekli vektör aramayı değerlendirebiliyor ve standart dağıtım ile işletim uygulamalarını kullanabiliyor.

Bu entegrasyonla KIOXIA Europe ve Milvus topluluğu, yapay zekâ çıkarımı ve geri çağırma odaklı uygulamaların artan performans ve maliyet gereksinimlerini karşılamak için SSD tabanlı vektör mimarilerini uygulanabilir bir seçenek olarak konumlandırdı.

www.kioxia.com