Le blianta beaga anuas tá fócas mór taighde ar léiriúcháin téacs agus amhairc a mhéadú. Is iomaí réabhlóidí i bhfoghlaim agus i bhfís teanga de bharr forbairtí agus taighde a rinneadh le déanaí. Mar sin féin, in ainneoin an tóir a bhí ar théacs scálaithe agus léiriúcháin amhairc, níor pléadh go leor scála na n-ionadaíochtaí le haghaidh radhairc agus réada 3D.

Inniu, déanfaimid plé ar Uni3D, múnla bunús 3D a bhfuil sé mar aidhm aige uiríll aontaithe 3D a iniúchadh. Úsáideann creat Uni3D creat ViT 2D-tionscanta, réamhoilte ó cheann ceann, chun gnéithe íomhá-théacs a ailíniú lena gnéithe scamall pointe 3D comhfhreagracha.

Úsáideann creat Uni3D tascanna sceite agus ailtireacht shimplí chun an iliomad samhlacha 2T réamhoilte agus samhlacha íomhá-téacs-ailínithe a ghiaráil mar thúsaithe agus spriocanna, faoi seach. Scaoileann an cur chuige seo lánacmhainneacht na samhlacha 2T agus na straitéisí chun iad a scála go dtí an domhan 3D.

San Airteagal seo, déanfaimid iniúchadh níos doimhne ar 3D fís ríomhaire agus creat Uni3D, ag iniúchadh na gcoincheapa riachtanacha agus ailtireacht na samhla. Mar sin, déanaimis tosú.

Foghlaim Léiriúcháin Uni3D agus 3D: Réamhrá

Le blianta beaga anuas, tá fís ríomhaireachta tagtha chun cinn mar cheann de na réimsí is mó a infheistíodh sa tionscal AI. Tar éis dul chun cinn suntasach i gcreat fís ríomhaireachta 2D, d'aistrigh forbróirí a bhfócas go fís ríomhaire 3D. Déanann an réimse seo, go háirithe foghlaim ionadaíochta 3D, gnéithe de ghrafaic ríomhaireachta a chumasc, foghlaim meaisín, fís ríomhaire, agus matamaitic chun próiseáil agus tuiscint ar chéimseata 3D a uathoibriú. Mar gheall ar fhorbairt mhear braiteoirí 3D cosúil le LiDAR, mar aon lena bhfeidhmchláir fhorleathana sa tionscal AR/VR, tá aird mhéadaithe á fháil ar fhoghlaim ionadaíochta 3D. Leanann a fheidhmchláir ionchasacha ag fás go laethúil.

Cé go bhfuil dul chun cinn suntasach léirithe ag creataí atá ann cheana maidir le hailtireacht mhúnla 3D, samhaltú tasc-dhírithe, agus cuspóirí foghlama, déanann an chuid is mó díobh iniúchadh ar ailtireacht 3D ar scála measartha beag le sonraí teoranta, paraiméadair, agus cásanna tasc. Tá an dúshlán a bhaineann le hléiriúcháin 3D inscálaithe a fhoghlaim, ar féidir iad a chur i bhfeidhm ansin ar fheidhmchláir fhíor-ama i dtimpeallachtaí éagsúla, fós gan iniúchadh den chuid is mó.

Ag bogadh ar aghaidh, le cúpla bliain anuas, scálú múnlaí móra teanga go bhfuil réamh-oilte chuidigh i revolutionizing an próiseáil teanga nádúrtha fearainn, agus saothair le déanaí le fios go bhfuil aistriúchán sa dul chun cinn go 2T ó theanga ag baint úsáide as sonraí agus scálaithe samhlacha a thugann bealach d’fhorbróirí iarracht a dhéanamh an rath seo a athiarracht chun léiriú 3D a fhoghlaim is féidir a scála agus a aistriú chuig feidhmchláir sa saol fíor. 

Is creat 3D réamhoiliúint inscálaithe agus aontaithe é Uni3D a forbraíodh leis an aidhm léirithe 3D ar scála mór a fhoghlaim a dhéanann tástáil ar a theorainneacha ag scála níos mó ná billiún paraiméadair, os cionn 10 milliún íomhá péireáilte le níos mó ná 70 milliún téacs, agus os cionn milliún cruthanna 3D. . Déanann an figiúr thíos comparáid idir cruinneas na lámhaigh nialasach agus paraiméadair i gcreat Uni3D. Déanann creat Uni3D uiríll 3D a scála go rathúil ó 6 mhilliún go dtí breis agus billiún. 

Tá creat Uni3D comhdhéanta de ViT 2D nó Trasfhoirmeoir Fís mar an ionchódóir 3D atá réamh-oilte ansin deireadh-go-deireadh chun na gnéithe íomhá-téacs ailínithe a ailíniú leis na gnéithe scamall pointe 3D. Baineann creat Uni3D úsáid as tascanna sceimhle agus ailtireacht shimplí chun raidhse samhlacha 2T réamhoilte agus samhlacha ailínithe le téacs íomhá a ghiaráil mar thúsú agus spriocanna faoi seach, ag scaoileadh le hacmhainn iomlán samhlacha 2T, agus straitéisí chun iad a scála go dtí an domhan 3D. Déantar solúbthacht & inscálaitheacht chreat Uni3D a thomhas i dtéarmaí

1. Scálú an mhúnla ó 6M go dtí os cionn billiún paraiméadair. 
2. Túsú 2T go téacs maoirsithe ón amharc foghlaim féin-mhaoirsithe. 
3. Samhail sprice téacs-íomhá scálú ó 150 milliún go dtí os cionn billiún paraiméadair. 

Faoin gcreat solúbtha agus aontaithe a thairgeann Uni3D, breathnaíonn forbróirí go bhfuil treisiú comhleanúnach sa fheidhmíocht nuair a thagann sé chun gach comhpháirt a scála. Baineann foghlaim na hionadaíochta 3D ar mhórscála tairbhe mhór freisin as na straitéisí inroinnte 2T agus an scála suas. 

Mar atá le feiceáil san fhigiúr thíos, taispeánann creat Uni3D borradh sa fheidhmíocht i gcomparáid le healaín roimhe seo i suíomhanna cúpla lámhaigh agus náid. Is fiú a thabhairt faoi deara go dtugann creat Uni3D scór cruinnis aicmithe náid de bhreis ar 88% ar ModelNet atá ar chomhchéim le feidhmiú roinnt modhanna maoirseachta den scoth. 

Ina theannta sin, seachadann creat Uni3D cruinneas agus feidhmíocht den scoth agus tascanna ionadaíocha 3D eile á gcomhlíonadh acu amhail deighilt pháirteach, agus tuiscint dhomhanda oscailte. Tá sé mar aidhm ag creat Uni3D an bhearna idir fís 2T agus fís 3D a líonadh trí mhúnlaí bunúsacha 3D a scála le cur chuige réamhoiliúna aontaithe ach simplí chun léirithe 3D níos láidre a fhoghlaim thar raon leathan tascanna, a d’fhéadfadh cabhrú sa deireadh le cóineasú 2D. agus fís 3D thar raon leathan de mhodhanna.

Uni3D : Obair Ghaolmhar

Tarraingíonn creat Uni3D inspioráid, agus foghlaimíonn sé ó na forbairtí atá déanta ag foghlaim ionadaíochta 3D roimhe seo, agus múnlaí Bunúsacha go háirithe faoi mhodhanna éagsúla. 

Foghlaim Léiriúcháin 3D

Úsáideann an modh foghlama ionadaíochta 3D pointí scamall le haghaidh tuiscint 3D ar an réad, agus tá an réimse seo iniúchadh go leor ag forbróirí le déanaí, agus tá sé faoi deara gur féidir na pointí scamall seo a réamh-oiliúint faoi féin-mhaoirseacht ag baint úsáide as ar leith. Tascanna sceimhle 3D lena n-áirítear samhaltú mascphointí, féin-athchruthú, agus foghlaim chodarsnachta. 

Is fiú a thabhairt faoi deara go n-oibríonn na modhanna seo le sonraí teoranta, agus go minic ní imscrúdaíonn siad léirithe ilmhódacha go 3D ó 2D nó NLP. Mar sin féin, is é an rath a bhí le déanaí ar an gcreat CLIP a thugann ardéifeachtúlacht ar ais maidir le coincheapa amhairc a fhoghlaim ó théacs amh ag baint úsáide as an modh foghlama codarsnachta, agus féachann sé tuilleadh le huiríll 3D a fhoghlaim trí íomhá, téacs, agus gnéithe pointe scamall a ailíniú ag baint úsáide as an modh foghlama codarsnachta céanna. 

Múnlaí Fondúireachta

Tá na forbróirí ag obair go cuimsitheach ar mhúnlaí bunúsacha a dhearadh chun léiriúcháin ilmhódacha a mhéadú agus a aontú. Mar shampla, i bhfearann ​​​​NLP, tá forbróirí ag obair ar chreataí ar féidir leo samhlacha teanga réamh-oilte a mhéadú, agus tá sé ag réabhlóidiú tionscal NLP go mall. Ina theannta sin, is féidir dul chun cinn a fheiceáil san fhearann ​​fís 2T freisin toisc go bhfuil forbróirí ag obair ar chreataí a úsáideann sonraí agus teicnící scálaithe samhlacha chun cabhrú le gluaiseacht teanga go samhlacha 2T, cé go bhfuil sé deacair creataí den sórt sin a mhacasamhlú le haghaidh samhlacha 3D mar gheall ar an infhaighteacht theoranta sonraí 3D, agus na dúshláin a bhíonn le sárú agus na creataí 3D á gcomhaontú agus á n-uasghrádú. 

Trí fhoghlaim ón dá réimse oibre thuas, chruthaigh forbróirí creat Uni3D, an chéad mhúnla bonn 3D le breis agus billiún paraiméadair a bhaineann úsáid as ailtireacht aontaithe ViT nó Vision Transformer a ligeann d’fhorbróirí an tsamhail Uni3D a scála ag baint úsáide as straitéisí aontaithe 3D nó NLP chun na samhlacha a scálaiú. Tá súil ag forbróirí go gceadóidh an modh seo do chreat Uni3D an bhearna a scarann ​​fís 2T agus 3D faoi láthair a líonadh agus éascóidh sé cóineasú ilmhódach.. 

Uni3D : Modh agus Ailtireacht

Léiríonn an íomhá thuas forbhreathnú cineálach ar chreat Uni3D, creat 3D réamh-oiliúna inscálaithe agus aontaithe d’fhoghlaim ionadaíochta 3D ar scála mór. Úsáideann forbróirí breis agus 70 milliún téacs, agus 10 milliún íomhá péireáilte le breis agus milliún cruthanna 3D chun creat Uni3D a scála go dtí níos mó ná billiún paraiméadair. Úsáideann creat Uni3D 2D ViT nó Trasfhoirmeoir Físe mar ionchódóir 3D atá oilte ansin ó cheann ceann go ceann chun na sonraí téacs-íomhá a ailíniú leis na gnéithe néalphointí 3D, rud a ligeann do chreat Uni3D an éifeachtacht agus an cruinneas atá ag teastáil a sheachadadh ar fud a raon leathan tagarmharcanna. Breathnaímid anois ar oibriú chreat Uni3D. 

Scála an Chreat Uni3D

Go traidisiúnta dhírigh staidéir roimhe seo ar fhoghlaim ionadaíochta néalphointí go mór ar ailtireachtaí samhlacha ar leith a dhearadh a sheachadann feidhmíocht níos fearr thar raon leathan feidhmchlár, agus a oibríonn ar líon teoranta sonraí a bhuíochas le tacair shonraí ar scála beag. Mar sin féin, rinne staidéir le déanaí iarracht iniúchadh a dhéanamh ar an bhféidearthacht réamhoiliúint inscálaithe a úsáid i 3D ach ní raibh aon torthaí móra ann mar gheall ar infhaighteacht sonraí teoranta 3D. Chun fadhb scalability creataí 3D a réiteach, giarálann creat Uni3D cumhacht struchtúr claochladán fanaile atá beagnach mar scáthán ar Trasfhoirmeoir Fís, agus is féidir leis na fadhbanna scálaithe a réiteach trí úsáid a bhaint as straitéisí aontaithe scálaithe 2D nó NLP chun méid an mhúnla a scála. 

Go traidisiúnta dhírigh staidéir roimhe seo ar fhoghlaim ionadaíochta néalphointí go mór ar ailtireachtaí samhlacha ar leith a dhearadh a sheachadann feidhmíocht níos fearr thar raon leathan feidhmchlár, agus a oibríonn ar mhéid teoranta sonraí a bhuíochas le tacair shonraí ar scála beag. Mar sin féin, rinne staidéir le déanaí iarracht iniúchadh a dhéanamh ar an bhféidearthacht réamhoiliúint inscálaithe a úsáid i 3D ach ní raibh aon torthaí móra ann mar gheall ar infhaighteacht sonraí teoranta 3D. Chun fadhb scalability creataí 3D a réiteach, giarálann creat Uni3D cumhacht struchtúr claochladán fanaile atá beagnach mar scáthán ar Trasfhoirmeoir Fís, agus is féidir leis na fadhbanna scálaithe a réiteach trí úsáid a bhaint as straitéisí aontaithe scálaithe 2D nó NLP chun méid an mhúnla a scála. 

Uni3D a thionscnamh

Dúshlán mór eile a tháinig le sárú ag saothair roimhe seo a bhain le scálaiú léiriúcháin 3D, na deacrachtaí maidir le coinbhéirseacht, agus rófheisteas a tharla mar thoradh ar mhéid mór na múnlaí. Cur chuige éifeachtach chun an chonstaic seo a shárú ná réamhoiliúint a chur ar chnámha droma aonair 3D le tascanna sonraithe 3D sceite, agus paraiméadair réamhoilte a thosú. Mar sin féin, tá costais arda oiliúna ag gabháil leis an gcur chuige, agus tá sé deacair freisin tosaithe láidir a bhunú don fhoghlaim trasmhódúil a bhuíochas leis an méid teoranta sonraí 3D atá ar fáil chun críocha oiliúna. 

Déanann creat Uni3D giaráil ar chlaochladán fanaile, a bhfuil a struchtúr cosúil go dlúth le ViT. Leis an gcur chuige seo, is féidir le creat Uni3D na samhlacha móra réamhoilte a ghlacadh go nádúrtha mar aon le modhanna eile chun creat Uni3D a thosú. 

Ailíniú Ilmhódúil

Déanann creat Uni3D iarracht ailínithe ilmhúnla a fhoghlaim trasna íomhá, teanga, agus scamaill pointí trí úsáid a bhaint as paraidímí cosúil le creataí OpenShape, agus ULIP. Ina theannta sin, chun comparáid chothrom a chinntiú le modhanna eile, úsáideann creat Uni3D an tacar sonraí 3D ensemble le OpenShape chun críocha oiliúna. Tá 4 thacar sonraí 3D sa tacar sonraí ensemble seo ag OpenShape: 

1. Objaverse. 
2. ShapeNet. 
3. 3D- TODHCHAÍ. 
4. ABO. 

Turgnaimh agus Torthaí

Déantar creat Uni3D a thástáil thar shuímh éagsúla, agus thar thascanna aicmithe éagsúla lena n-áirítear a fheidhmíocht i suímh lámhaigh nialasach, agus socruithe cúpla lámhaigh, torthaí timpeall ar thuiscintí an domhain oscailte, agus go leor eile. Breathnaímid go mion ar na torthaí seo.

Aicmiú Cruth Zero Shot

Chun feidhmíocht chreat Uni3D a mheas thar thascanna aicmithe cruth náid, déanann na forbróirí turgnaimh thar thrí thagarmharc lena n-áirítear tacair sonraí tagarmhairc ModelNet, ScanObjNN, agus Objaverse-LVIS. Is tacair shonraí iad ModelNet, agus ScanObjNN a úsáidtear go forleathan do thascanna aicmithe, agus tá 15, agus 40 catagóir oibiachta iontu faoi seach, ach is tacar sonraí glan agus anótáilte é tagarmharc Objaverse-LVIS ina bhfuil breis agus 40,000 réad thar 1,100+ catagóir. Léirítear an chomparáid idir na creataí san íomhá thíos, agus mar is léir, sáraíonn creat Uni3D go suntasach na creataí úrscothacha a bhí ann roimhe seo thar shuímh éagsúla. 

Scrúdú Líneach mórán Urchar

In AI, is modh coitianta é Tóraíocht Líneach a úsáidtear chun na huiríll a fhoghlaimíonn creat nó samhail a mheas. Chun cumas promhaidh líneach Uni3D a mheas, reoiteann na forbróirí paraiméadair chreat Uni3D ag baint úsáide as na socruithe coitianta mar OpenShape. Ina dhiaidh sin, cuireann na forbróirí oiliúint ar aicmitheoir líneach le haghaidh Uni3D ag baint úsáide as lipéid ranga cúpla lámhaigh. Léiríonn an figiúr thíos cumas promhaidh líneach creataí éagsúla ar thacar sonraí Objaverse-LVIS, agus léiríonn sé meánfheidhmíocht an mhúnla thar 10 síolta randamacha. Mar is léir, sáraíonn creat Uni3D na modhanna atá ann cheana go mór faoi shocruithe éagsúla cúpla lámhaigh. 

Tuiscint Domhanda Oscailte

Chun cumas chreat Uni3D a mheas chun cruthanna agus réada an fhíorshaoil ​​a thuiscint i bhfíor-am, úsáideann forbróirí tacair shonraí ScanNet agus CLIP chun feidhmíocht Uni3D a iniúchadh. Is fiú a thabhairt faoi deara go bhfuil deighilt an toirt ar an bhfírinne ar an talamh ar fáil, agus is é an príomhchúis atá leis ná catagóir láithreach gach radhairc a aithint i suíomh náid lámhaigh. Léirítear na torthaí san íomhá thíos. Mar is léir, seachadann creat Uni3D torthaí eisceachtúla agus tuiscint agus aitheantas fíor-dhomhain á gcomhlíonadh. Feidhmíonn creat Uni3D go suntasach níos fearr ná na creataí atá ann cheana féin in ainneoin nár cuireadh oiliúint ar thacair sonraí ón bhfíorshaol riamh. 

Aisghabháil Trasmhódúil

Is féidir leis na léirithe ilmhódacha a d’fhoghlaim an creat Uni3D ligean don chreat cruthanna 3T a aisghabháil go nádúrtha ó théacsanna nó ó íomhánna. Chun na cruthanna 3T a aisghabháil, ríomhann an tsamhail cosúlacht an chomhshínis idir leabaithe cruthanna 3T, agus leabú leid téacs ceiste nó íomhá ceiste. Úsáideann an creat ansin an t-algartam KNN nó K Neighbour Neighbour chun cruthanna 3D is cosúla leis an gceist is mó a ghiniúint, agus tá na torthaí léirithe san fhíor thíos. Mar is léir, úsáideann creat Uni3D go rathúil íomhánna ón saol fíor chun cruthanna 3D a aisghabháil. Ina theannta sin, is fiú a thabhairt faoi deara nach bhfuil íomhánna oiliúna ach chun críocha rindreála, agus go bhfuil an bhearna idir íomhánna fíorshaoil ​​agus oiliúna substaintiúil. Ina theannta sin, glacann an tsamhail dhá íomhá ionchuir freisin, agus aisghabhann sé cruthanna atá cosúil leis an dá íomhá ionchuir trí úsáid a bhaint as cosúlacht cósine idir meán leabaithe na n-íomhánna, agus a gcruthanna 3D leabaithe. Tá na torthaí suimiúil mar go léiríonn siad cumas Uni3D léiriú 3D éagsúla a fhoghlaim, agus comharthaí 2T iolracha a bhrath. 

Sa chéad cholún, úsáideann an creat 2 íomhá cheiste chun cruthanna 3D is cosúla le híomhánna na gceisteanna a thabhairt ar ais. Sa dara colún, úsáideann an creat dhá íomhá ionchuir chun cruthanna 3D atá cosúil leis an dá íomhá ionchuir a aisghabháil. Ar deireadh, sa cholún deiridh, úsáideann an tsamhail téacsanna fiosrúcháin, agus cuireann sé ar ais cruthanna 3D atá cosúil le ceist an téacs an t-uasmhéid. 

Smaointe Deiridh

San Airteagal seo, labhair muid faoi Uni3D, creat 3D réamhoiliúint inscálaithe agus aontaithe a forbraíodh leis an aidhm léirithe 3D ar scála mór a fhoghlaim a dhéanann tástáil ar a teorainneacha ag scála níos mó ná billiún paraiméadair, níos mó ná 10 milliún íomhá péireáilte le breis agus 70 milliún. téacsanna, agus os cionn milliún cruthanna 3D. Tá claochladán fanaile curtha san áireamh ag forbróirí an chreata a bhfuil a struchtúr comhionann le ViTanna a ligeann dóibh creat Uni3D a mhéadú ag baint úsáide as straitéisí aontaithe scálaithe 2D nó NLP. Ina theannta sin, is féidir le creat Uni3D raon leathan de chreataí 2T réamhoilte agus straitéisí 2T a ghiaráil don domhan 3D. Léirigh na torthaí turgnamhacha cheana féin an poitéinseal ollmhór atá ag creat Uni3D mar go dtugann creat Uni3D torthaí cruinne agus éifeachtacha ar fud raon leathan suíomhanna, agus go sáraíonn sé na creataí úrscothacha atá ann cheana féin.