NVIDIA AI Research, Sanal Dünyaları 3D Nesnelerle Doldurmaya Yardımcı Oluyor

NVIDIA AI Research, Sanal Dünyaları 3D Nesnelerle Doldurmaya Yardımcı Oluyor



Artan sayıda şirket ve yaratıcı tarafından yaratılan devasa sanal dünyalar, çeşitli 3B binalar, araçlar, karakterler ve daha fazlasıyla daha kolay doldurulabilir – yeni bir AI modeli sayesinde. NVIDIA Araştırması.

Yalnızca 2D görüntüler kullanılarak eğitilen NVIDIA GET3D, aslına uygun dokulara ve karmaşık geometrik ayrıntılara sahip 3D şekiller oluşturur. Bu 3B nesneler, popüler grafik yazılım uygulamaları tarafından kullanılan formatta oluşturulur ve kullanıcıların daha fazla düzenleme için şekillerini anında 3B oluşturuculara ve oyun motorlarına aktarmalarına olanak tanır.

Oluşturulan nesneler, oyun, robotik, mimari ve sosyal medya dahil olmak üzere endüstriler için tasarlanmış binaların, dış mekanların veya tüm şehirlerin 3B temsillerinde kullanılabilir.

GET3D, eğitim aldığı verilere dayanarak neredeyse sınırsız sayıda 3B şekil oluşturabilir. Model, bir çamur yığınını ayrıntılı bir heykele dönüştüren bir sanatçı gibi, sayıları karmaşık 3B şekillere dönüştürüyor.

Örneğin 2B araba görüntülerinden oluşan bir eğitim veri seti ile sedan, kamyon, yarış arabaları ve kamyonetlerden oluşan bir koleksiyon oluşturur. Hayvan görüntüleri üzerinde eğitildiğinde tilki, gergedan, at ve ayı gibi yaratıklarla karşımıza çıkıyor. Verilen sandalyeler, model çeşitli döner sandalyeler, yemek sandalyeleri ve rahat yatar koltuklar üretir.

NVIDIA Yapay Zeka araştırmalarından sorumlu başkan yardımcısı Sanja Fidler, “GET3D bizi yapay zeka destekli 3D içerik oluşturmayı demokratikleştirmeye bir adım daha yaklaştırıyor” dedi. Toronto merkezli yapay zeka laboratuvarı bu aracı yarattı. “Anında dokulu 3D şekiller oluşturma yeteneği, geliştiriciler için bir oyun değiştirici olabilir ve sanal dünyaları çeşitli ve ilginç nesnelerle hızla doldurmalarına yardımcı olabilir.”

GET3D, New Orleans’ta ve neredeyse 26 Kasım-Aralık arasında gerçekleşen NeurIPS AI konferansına kabul edilen 20’den fazla NVIDIA yazarlı makale ve çalıştaydan biridir. 4.

Sanal Bir Dünya Yapmak için Yapay Zeka Türleri Gerekiyor

Gerçek dünya çeşitlilikle doludur: sokaklar benzersiz binalarla kaplıdır, farklı araçlar vızıldayarak geçer ve farklı kalabalıklar geçer. Bunu yansıtan bir 3B sanal dünyayı manuel olarak modellemek inanılmaz derecede zaman alıcıdır ve ayrıntılı bir dijital ortamın doldurulmasını zorlaştırır.

Manuel yöntemlerden daha hızlı olmasına rağmen, önceki 3B üretken AI modelleri üretebilecekleri ayrıntı düzeyinde sınırlıydı. En son ters işleme yöntemleri bile yalnızca çeşitli açılardan alınan 2B görüntülere dayalı 3B nesneler üretebilir ve geliştiricilerin her seferinde bir 3B şekil oluşturmasını gerektirir.

Bunun yerine GET3D, tek bir NVIDIA GPU’su üzerinde çıkarım yaparken saniyede yaklaşık 20 şekil üretebilir. üretken düşmanlık ağı 3B nesneler oluştururken 2B görüntüler için. Öğrendiği eğitim veri kümesi ne kadar büyük ve çeşitli olursa, çıktı o kadar çeşitli ve ayrıntılı olur.

NVIDIA araştırmacıları, GET3D’yi farklı kamera açılarından yakalanan 3B şekillerin 2B görüntülerinden oluşan sentetik veriler üzerinde eğitti. Takımın modeli yaklaşık 1 milyon görüntü üzerinde eğitmesi sadece iki gün sürdü. NVIDIA A100 Tensör Çekirdek GPU’ları.

İçerik Oluşturucuların Şekil, Doku ve Malzemeyi Değiştirmesini Sağlama

GET3D, adını şu yeteneğinden alır: Güretmek Eaçık Tçıkıntılı 3 boyutlu kafesler – yani oluşturduğu şekiller, dokulu bir malzeme ile kaplanmış, kartonpiyer modeli gibi üçgen bir ağ şeklindedir. Bu, kullanıcıların nesneleri oyun motorlarına, 3B modelleyicilere ve film oluşturuculara kolayca aktarmalarını ve düzenlemelerini sağlar.

Yaratıcılar GET3D tarafından oluşturulan şekilleri bir grafik uygulamasına aktardıktan sonra, nesne bir sahnede hareket ederken veya dönerken gerçekçi ışık efektleri uygulayabilirler. NVIDIA Research’ten başka bir yapay zeka aracı ekleyerek, StilGAN-NADAgeliştiriciler, işlenmiş bir arabayı yanmış bir araba veya taksi olacak şekilde değiştirmek veya normal bir evi perili bir eve dönüştürmek gibi bir görüntüye belirli bir stil eklemek için metin istemlerini kullanabilir.

Araştırmacılar, GET3D’nin gelecekteki bir sürümünün, geliştiricilerin modeli sentetik veri kümeleri yerine gerçek dünya verileri üzerinde eğitmesine izin vermek için kamera pozu tahmin tekniklerini kullanabileceğini belirtiyor. Ayrıca evrensel üretimi desteklemek için geliştirilebilir – yani geliştiriciler, GET3D’yi her seferinde bir nesne kategorisi üzerinde eğitmek yerine her tür 3B şekil üzerinde aynı anda eğitebilir.

En son haberler için NVIDIA AI araştırmasıNVIDIA’nın kurucusu ve CEO’su Jensen Huang’ın şu adresteki açılış konuşmasının tekrarını izleyin: GKŞ:


Kaynak : https://blogs.nvidia.com/blog/2022/09/23/3d-generative-ai-research-virtual-worlds/

Bir cevap yazın

E-posta hesabınız yayımlanmayacak.

SMM Panel PDF Kitap indir