OpenAIs store udvalg af generative AI-værktøjer fortsætter med at vokse.
Forsknings- og implementeringsvirksomheder inden for kunstig intelligens (AI), som OpenAI, frigiver løbende funktioner til gavn for menneskeheden. Ud over ChatGPT, DALL-E, Point-E og andre succesrige værktøjer har OpenAI udgivet Shap-E, en ny innovativ model.
Så hvad er OpenAI's Shap-E, og hvad kan den gøre for dig?
Hvad er OpenAI's Shap-E?
I maj 2023 udgav Alex Nichol og Heewon Jun, OpenAI-forskere og bidragydere, en papir, der annoncerer Shap-E, virksomhedens seneste innovation. Shap-E er et nyt værktøj trænet på et massivt datasæt af parrede 3D-billeder og tekst, der kan generere 3D-modeller fra tekst eller billeder. Det ligner DALL-E, som kan skabe 2D-billeder ud fra tekst, men Shap-E producerer 3D-aktiver.
Shap-E er trænet på en betinget diffusionsmodel og 3D asset mapping. Kortlægning af 3D-aktiver betyder, at Shap-E lærer at associere tekst eller billeder med tilsvarende 3D-modeller fra et stort datasæt af eksisterende 3D-objekter. En betinget diffusionsmodel er en generativ model, der starter fra en støjende version af måloutputtet og gradvist forfiner det ved at fjerne støj og tilføje detaljer.
Ved at kombinere disse to komponenter kan Shap-E generere realistiske og forskelligartede 3D-modeller, der matcher den givne tekst eller billedinput og kan ses fra forskellige vinkler og lysforhold.
Sådan kan du bruge OpenAI's Shap-E
Shap-E er ikke blevet offentliggjort som andre OpenAI-værktøjer, men dens modelvægt, inferenskode og prøver er tilgængelige for download på Shap-E GitHub side.
Du kan downloade Shap-E-koden gratis og installer det ved hjælp af Python pip-kommandoen på din computer. Du skal også have en NVIDIA GPU og en højtydende CPU, da Shap-E er meget ressourcekrævende.
Efter installationen skal du åbne de 3D-billeder, du genererer på Microsoft Paint 3D. Ligeledes kan du konverter billederne til STL-filer hvis du vil printe dem ved hjælp af 3D-printere.
Du kan også rapportere problemer og finde løsninger på problemer, der allerede er rejst af andre på Shap-E GitHub-siden.
Hvad du kan gøre med OpenAI's Shap-E
Shap-E giver dig mulighed for at beskrive komplekse ideer ved hjælp af en visuel repræsentation af ideer. De potentielle anvendelser for denne teknologi er ubegrænsede, især da visuelle billeder typisk har langt mere vidtrækkende effekter end tekster.
Som arkitekt kan du bruge Shap-E til at lave 3D-modeller af bygninger og konstruktioner ud fra skriftlige beskrivelser. Du kan angive strukturernes dimensioner, materialer, farver og stilarter ved hjælp af simple sætninger. Du kan f.eks. bede den med: "Lav en skyskraber med 60 etager og glasbalustrades," og eksportere resultatet/resultaterne til anden software til yderligere redigering, hvis du kan lide de resultater, du får.
Spillere og animationskunstnere kan forbedre virtuelle miljøer og visuelle oplevelser ved at skabe detaljerede 3D-objekter og karakterer. I teknik kan du beskrive komponenter, specifikationer og funktioner af maskiner og udstyr og få resultaterne i 3D-modeller, før du laver fysiske prototyper.
Desuden kan Shap-E, selv inden for områder som uddannelse, hjælpe undervisere med at kommunikere komplekse og abstrakte ideer til deres elever inden for fag som biologi, geometri og fysik.
Selvom det stadig er et igangværende arbejde, er Shap-E et skridt foran OpenAI's PUNKT-E, som producerer 3D-punktskyer baseret på tekstprompter. Punktskyerne er begrænsede i deres udtryksevne og opløsning, hvilket ofte producerer slørede eller ufuldstændige former.
Generer 3D-modeller ved hjælp af OpenAI's Shap-E
Shap-E er en imponerende demonstration af AI's magt til at skabe 3D-indhold ud fra naturligt sprog eller billeder. Med den kan du oprette 3D-objekter til computerspil, interaktive VR-oplevelser, prototyper og andre formål. Selvom der ikke er nogen garantier med hensyn til outputkvaliteten, giver AI-modellen dig en hurtig og effektiv måde at skabe en 3D-model af hvad som helst.
Desuden er denne AI-model et vigtigt bidrag i det dybe læringsrum og vil sandsynligvis føre til fremtidige avancerede innovationer og kreationer.
