Yn in nij artikel Point-E: In systeem foar it generearjen fan 3D-puntwolken út komplekse sinjalen, it ûndersyksteam fan OpenAI yntroduseart Point E, in 3D-puntwolktekstsynthesesysteem dat diffúsjemodellen brûkt om farieare en komplekse 3D-foarmen te meitsjen oandreaun troch komplekse tekst oanwizings.yn minuten op ien GPU.
De geweldige prestaasjes fan hjoeddeistige moderne modellen foar ôfbyldingsgeneraasje hat ûndersyk stimulearre yn 'e generaasje fan 3D-tekstobjekten.Oars as 2D-modellen, dy't output yn minuten of sels sekonden kinne generearje, fereaskje objektgenerative modellen typysk ferskate oeren GPU-wurk om in inkeld stekproef te generearjen.
Yn in nij artikel Point-E: In systeem foar it generearjen fan 3D-puntwolken út komplekse sinjalen, presintearret it ûndersyksteam fan OpenAI Point·E, in tekstueel betingstsynthesesysteem foar 3D-puntwolken.Dizze nije oanpak brûkt in propagaasjemodel om farieare en komplekse 3D-foarmen te meitsjen fan komplekse tekstsinjalen yn mar in minút as twa op ien GPU.
It team is rjochte op de útdaging fan it konvertearjen fan tekst nei 3D, wat kritysk is foar it demokratisearjen fan 3D-ynhâldskepping foar echte wrâldapplikaasjes, fariearjend fan firtuele realiteit en gaming oant yndustrieel ûntwerp.Besteande metoaden foar it konvertearjen fan tekst nei 3D falle yn twa kategoryen, elk fan dat hat syn neidielen: 1) generative modellen kinne brûkt wurde foar it generearjen fan samples effisjint, mar kin net effisjint skaalje foar ferskaat en komplekse tekstsignalen;2) in pre-trained tekst-ôfbyldingsmodel om komplekse en farieare tekstoanwizings te behanneljen, mar dizze oanpak is komputerysk yntinsyf en it model kin maklik fêstkomme yn lokale minima dy't net oerienkomme mei betsjuttingsfolle of gearhingjende 3D-objekten.
Dêrom ûndersocht it team in alternative oanpak dy't as doel hat om de sterke punten fan 'e boppesteande twa oanpakken te kombinearjen, mei in tekst-nei-ôfbylding-diffusjonsmodel oplaat op in grutte set tekst-ôfbylding-pearen (wat it mooglik makket om ferskate en komplekse sinjalen te behanneljen) en in 3D-ôfbyldingsdiffusjonsmodel oplaat op in lytsere set tekst-ôfbylding-pearen.image-3D pear dataset.It tekst-nei-ôfbyldingsmodel samplet earst de ynfierôfbylding om in inkele syntetyske foarstelling te meitsjen, en it byld-nei-3D-model makket in 3D-puntwolk basearre op it selektearre byld.
De generative stapel fan it kommando is basearre op koartlyn foarstelde generative kaders foar it betingst generearjen fan ôfbyldings út tekst (Sohl-Dickstein et al., 2015; Song & Ermon, 2020b; Ho et al., 2020).Se brûke in GLIDE-model mei 3 miljard GLIDE-parameters (Nichol et al., 2021), fyn ôfstimd op rendered 3D-modellen, as har tekst-nei-ôfbylding transformaasjemodel, en in set diffusiemodellen dy't RGB-puntwolken generearje as har transformaasje model.ôfbyldings nei ôfbylding.3D modellen.
Wylst earder wurk 3D-arsjitektueren brûkte om puntwolken te ferwurkjen, brûkten de ûndersikers in ienfâldich transducer-basearre model (Vaswani et al., 2017) om effisjinsje te ferbetterjen.Yn harren diffusion model arsjitektuer, punt wolk bylden wurde earst fieden yn in pre-trained ViT-L / 14 CLIP model en dan de útfier mazen wurde fieden yn de converter as markers.
Yn har empiryske stúdzje fergelike it team de foarstelde Point·E-metoade mei oare generative 3D-modellen op it skoaren fan sinjalen fan COCO-objektdeteksje, segmentaasje en hantekening datasets.De resultaten befêstigje dat Point · E yn steat is om ferskate en komplekse 3D-foarmen te generearjen fan komplekse tekstsinjalen en de konklúzjetiid te fersnellen mei ien oant twa oarders fan grutte.It team hopet dat har wurk fierder ûndersyk nei 3D-tekstsynteze sil ynspirearje.
In foartraind puntwolk-propagaasjemodel en evaluaasjekoade binne beskikber op GitHub fan it projekt.Document Point-E: In systeem foar it meitsjen fan 3D-puntwolken út komplekse oanwizings is op arXiv.
Wy witte dat jo gjin nijs of wittenskiplike ûntdekking wolle misse.Abonnearje op ús populêre Synced Global AI Weekly-nijsbrief om wyklikse AI-updates te ûntfangen.
Post tiid: Dec-28-2022