İsveç Ulusal Kütüphanesi Sayfayı Yapay Zekaya Dönüştürüyor

İsveç Ulusal Kütüphanesi Sayfayı Yapay Zekaya Dönüştürüyor


Son 500 yıldır, İsveç Ulusal Kütüphanesi paha biçilmez ortaçağ el yazmalarından günümüzün pizza menülerine kadar İsveççe yayınlanan hemen hemen her kelimeyi topladı.

İsveççe yayınlanan her şeyin bir nüshasının kütüphaneye gönderilmesini gerektiren asırlık bir yasa sayesinde – Kungliga biblioteket veya KB olarak da bilinir – koleksiyonları aşikardan belirsize kadar uzanıyor: kitaplar, gazeteler, radyo ve TV yayınları , internet içeriği, Ph.D. tezler, kartpostallar, menüler ve video oyunları. Yaklaşık 26 petabaytlık çok çeşitli bir veri koleksiyonudur ve son teknoloji ürünü yapay zekayı eğitmek için idealdir.

Kütüphanenin veri laboratuvarı KBLab’ın yöneticisi Love Börjeson, “En iyi verilere sahip olduğumuz için İsveç dili için son teknoloji yapay zeka modelleri oluşturabiliyoruz” dedi.

İsveç Ulusal Kütüphanesi Sayfayı Yapay Zekaya Dönüştürüyor

kullanma NVIDIA DGX sistemlerigrup iki düzineden fazla açık kaynaklı trafo modeli geliştirdi, Hugging Face’te mevcut. Ayda 200.000’e kadar geliştirici tarafından indirilen modeller, kütüphanede ve diğer akademik kurumlarda araştırma yapılmasını sağlar.

Börjeson, “Laboratuvarımız oluşturulmadan önce, araştırmacılar kütüphanedeki bir veri kümesine erişemezdi – her seferinde tek bir nesneye bakmaları gerekirdi,” dedi. “Araştırmacıların nicelik odaklı araştırma yapmalarını sağlayan veri kümeleri oluşturmak için kütüphaneye ihtiyaç vardı.”

Bununla, araştırmacılar yakında hiper-uzmanlaşmış veri kümeleri oluşturabilecekler – örneğin, bir kiliseyi tasvir eden her İsveç kartpostalını, belirli bir tarzda yazılmış her metni veya kitaplarda, gazete makalelerinde ve TV yayınlarında tarihsel bir figürden bahseden her şeyi çekerek. .

Kütüphane Arşivlerini Yapay Zeka Eğitim Verilerine Dönüştürme

Kütüphanenin veri kümeleri, resmi ve gayri resmi varyasyonları, bölgesel lehçeleri ve zaman içindeki değişiklikleri dahil olmak üzere İsveç dilinin tüm çeşitliliğini temsil eder.

Börjeson, “Akışımız sürekli ve artıyor – her ay 50 terabayttan fazla yeni veri görüyoruz” dedi. “Dijital verilerin katlanarak büyümesi ve yüzlerce yıl öncesine dayanan fiziksel koleksiyonları dijitalleştirmeye yönelik devam eden çalışmalar arasında, koleksiyonlarımıza eklemeyi asla bitiremeyeceğiz.”

İsveç Ulusal Kütüphanesi Sayfayı Yapay Zekaya Dönüştürüyor
Kütüphanenin arşivleri ses, metin ve video içerir.

2019’da KBLab kurulduktan kısa bir süre sonra Börjeson, kütüphanenin geniş arşivlerinde transformatör dil modellerini eğitme potansiyelini gördü. Google’ın 5 GB İsveççe metin içeren eski, çok dilli, doğal dil işleme modelinden ilham aldı.

KBLab’ın ilk modeli 4 kat daha fazla kullandı ve ekip şimdi modellerini en az bir terabayt İsveççe metin üzerinde eğitmeyi hedefliyor. Laboratuvar, çok dilli bir veri kümesinin yapay zekanın performansını artırabileceğini bulduktan sonra veri kümelerine Felemenkçe, Almanca ve Norveççe içerik ekleyerek deneyler yapmaya başladı.

NVIDIA AI, GPU’lar Model Geliştirmeyi Hızlandırıyor

Laboratuvar, tüketici sınıfı NVIDIA GPU’ları kullanarak başladı, ancak Börjeson kısa süre sonra ekibinin daha büyük modelleri eğitmek için veri merkezi ölçeğinde bilgi işleme ihtiyacı olduğunu keşfetti.

İsveç Ulusal Kütüphanesi Sayfayı Yapay Zekaya DönüştürüyorBörjeson, “Bunu küçük iş istasyonlarında yapmaya çalışırsak yetişemeyeceğimizi fark ettik” dedi. “NVIDIA DGX’i seçmek hiç akıllıca değildi. DGX sistemleri olmadan yapamayacağımız çok şey var.”

Laboratuvarda iki tane var NVIDIA DGX sistemleri İsveçli sağlayıcıdan Ek Pro şirket içi yapay zeka geliştirme için. Sistemler, hassas verileri işlemek, büyük ölçekli deneyler yapmak ve modellerde ince ayar yapmak için kullanılır. Ayrıca, Avrupa Birliği’ndeki devasa, GPU tabanlı süper bilgisayarlarda daha da büyük çalışmalara hazırlanmak için kullanılırlar. Lüksemburg’daki MeluXina sistemi.

Börjeson, “DGX sistemleri üzerindeki çalışmalarımız son derece önemlidir, çünkü yüksek performanslı bir bilgi işlem ortamına girdiğimizde işe koyulmak istiyoruz,” dedi. “Süper bilgisayarı sonuna kadar kullanmalıyız.”

Ekip de benimsedi NVIDIA NeMo Megatronbüyük dil modellerini eğitmek için PyTorch tabanlı bir çerçeve, NVIDIA CUDA ve NVIDIA NCCL’si çok düğümlü sistemlerde GPU kullanımını optimize etmek için kaputun altındaki kitaplık.

Börjeson, “NVIDIA çerçevelerine büyük ölçüde güveniyoruz” dedi. “Her proje için yapay zeka eğitimini optimize edecek 50 mühendisi olmayan küçük bir laboratuvar olarak NVIDIA’nın bizim için en büyük avantajlarından biri.”

Beşeri Bilimler Araştırması için Çok Modlu Verilerden Yararlanma

KBLab, İsveççe metni anlayan dönüştürücü modellere ek olarak, sesi metne dönüştüren bir yapay zeka aracına sahiptir ve kütüphanenin, araştırmacıların belirli içerik için ses kayıtlarını arayabilmeleri için geniş radyo yayınları koleksiyonunu yazıya dökmesini sağlar.

İsveç Ulusal Kütüphanesi Sayfayı Yapay Zekaya Dönüştürüyor
Yapay zeka ile geliştirilmiş veritabanları, uzun süredir fiziksel kart kataloglarında saklanan kitaplık kayıtlarının en son evrimidir.

KBLab ayrıca üretken metin modelleri geliştirmeye başlıyor ve videoları işleyebilen ve içeriklerinin otomatik açıklamalarını oluşturabilen bir yapay zeka modeli üzerinde çalışıyor.

Börjeson, “Ayrıca tüm farklı modaliteleri birbirine bağlamak istiyoruz” dedi. “Kitaplığın veritabanlarında belirli bir terim için arama yaptığınızda, metin, ses ve video içeren sonuçlar getirebilmeliyiz.”

KBLab, İsveç Akademisi’nin İsveççe sözlükler oluşturmak için veriye dayalı tekniklerini modernize etme çalışmasını destekleyen bir proje de dahil olmak üzere, dil araştırması yapmak için laboratuvarın modellerini kullanarak aşağı yönlü uygulamalar geliştiren Göteborg Üniversitesi’ndeki araştırmacılarla ortaklık kurdu.

Börjeson, “Bu modellerin toplumsal faydaları başlangıçta beklediğimizden çok daha büyük” dedi.

Görüntüler Kungliga biblioteket’in izniyle


Kaynak : https://blogs.nvidia.com/blog/2023/01/23/sweden-library-ai-open-source/

Bir yanıt yazın

E-posta adresiniz yayınlanmayacak. Gerekli alanlar * ile işaretlenmişlerdir

SMM Panel PDF Kitap indir efappy shemaleporntrends.com tamilfullsex زبار كبيره letucetube.com اغتصاب اخوات manga henai hentaiact.com panama hentai نيك عربى izleporno.biz مشاهدة افلام جنس noruto hentai besthentaisex.com kuma miko hentai dog xvideo big-porn-house.com telugu gay sex chat room kannadasex video hdindiantube.com bikini tennis crimson comic doujin bombahentai.com erza scarlet hentai nude indian models pics anybunny.tv indian fuck pics bengali choda rulertube.mobi xnxxnet telugu outdoor sex pornix.info hot aunties navel show in saree images tamilseks daporn.mobi niranjana actress girls naked freshxxxtube.mobi xnxx tamil auntys hindi xxx hot video cumporntrends.com indian costume sexy pagasa weather update today live 5pm today pinoyfilms.net abot kamay na pangarap oct 25 2022 full episode