Jiusheng Chen’in ekibi biraz önce hızlandı.

sayesinde Microsoft Bing kullanıcılarına 7 kat daha düşük maliyetle kişiselleştirilmiş reklamlar sunuyorlar. NVIDIA Triton Çıkarım Sunucusu koşmak NVIDIA A100 Tensör Çekirdekli GPU’lar.

Baş yazılım mühendisliği yöneticisi ve ekibi için inanılmaz bir başarı.

Karmaşık Bir Sistemin Ayarlanması

Bing’in reklam hizmeti, sürekli gelişen yüzlerce model kullanır. Her biri bir talebe 10 milisaniye gibi kısa bir sürede, göz açıp kapayıncaya kadar yaklaşık 10 kat daha hızlı yanıt vermelidir.

En son hızlandırma, yapay zeka modellerinin daha hızlı çalışmasını sağlamak için ekibin sunduğu iki yenilikle başladı: patlama Ve EL-Dikkat.

Birlikte, daha az bilgisayar belleğiyle daha kısa sürede daha çok iş yapmak için gelişmiş teknikler uyguluyorlar. Model eğitimi, verimlilik için Azure Machine Learning’i temel aldı.

NVIDIA A100 MIG ile Uçmak

Daha sonra, ekip reklam hizmetini şu sürümden yükseltti: NVIDIA T4 A100 GPU’lara.

İkincisinin Multi-Instance GPU (MIG) özelliği, kullanıcıların bir GPU’yu birkaç örneğe bölmesine olanak tanır.

Chen’in ekibi, bir fiziksel A100’ü yedi bağımsız A100’e dönüştürerek MIG özelliğini maksimuma çıkardı. Bu, ekibin 10 ms’de çıkarım yanıtıyla GPU başına 7 kat verim elde etmesini sağladı.

Esnek, Kolay, Açık Yazılım

Triton, kısmen, kullanıcıların tek bir GPU’nun yalıtılmış örneklerinde aynı anda farklı çalışma zamanı yazılımları, çerçeveler ve yapay zeka modları çalıştırmasına izin verdiği için bu geçişi mümkün kıldı.

Çıkarım yazılımı bir yazılım kapsayıcısı içinde gelir, bu nedenle dağıtılması kolaydır. Ve açık kaynaklı Triton — ayrıca kurumsal düzeyde güvenlik ve NVIDIA AI Enterprise — yazılımı zaman içinde daha iyi hale getiren bir topluluk tarafından desteklenmektedir.

Bing’in reklam sistemini A100 GPU’larda Triton ile hızlandırmak, Chen’in işinde sevdiği yönlerden biri. Yapay zeka ile atılımlara tanık oluyor.

Senaryolar sıklıkla değişse de ekibin hedefi aynı kalıyor: kullanıcıları ve reklamverenleri için bir kazanç sağlamak.