Stabila difūzija Web lietotāja interfeiss jeb SD-WebUI ir visaptverošs projekts stabilas difūzijas modeļiem, kas izmanto Gradio bibliotēku, lai nodrošinātu pārlūkprogrammas saskarni. Šodien mēs runāsim par EasyPhoto — inovatīvu WebUI spraudni, kas lietotājiem ļauj ģenerēt AI portretus un attēlus. EasyPhoto WebUI spraudnis veido AI portretus, izmantojot dažādas veidnes, atbalstot dažādus fotoattēlu stilus un vairākas modifikācijas. Turklāt, lai vēl vairāk uzlabotu EasyPhoto iespējas, lietotāji var ģenerēt attēlus, izmantojot SDXL modeli, lai iegūtu apmierinošākus, precīzākus un daudzveidīgākus rezultātus. Sāksim.

Ievads programmā EasyPhoto un stabilā difūzija

Stabilās difūzijas ietvars ir populārs un spēcīgs uz difūziju balstīts ģenerēšanas ietvars, ko izstrādātāji izmanto, lai ģenerētu reālistiskus attēlus, pamatojoties uz ievades teksta aprakstiem. Pateicoties tā iespējām, Stable Diffusion ietvars lepojas ar plašu pielietojumu klāstu, tostarp attēlu izkrāsošanu, attēlu iekrāsošanu un attēlu pārveidošanu no attēla. Stable Diffusion Web UI jeb SD-WebUI izceļas kā viena no populārākajām un pazīstamākajām šī ietvara lietojumprogrammām. Tajā ir pārlūkprogrammas interfeiss, kas izveidots uz Gradio bibliotēkas, nodrošinot interaktīvu un lietotājam draudzīgu saskarni stabilas difūzijas modeļiem. Lai vēl vairāk uzlabotu attēlu ģenerēšanas vadību un lietojamību, SD-WebUI integrē daudzas stabilas difūzijas lietojumprogrammas.

Pateicoties ērtībām, ko piedāvā SD-WebUI ietvars, EasyPhoto ietvara izstrādātāji nolēma to izveidot kā tīmekļa spraudni, nevis pilnvērtīgu lietojumprogrammu. Atšķirībā no esošajām metodēm, kuras bieži cieš no identitātes zuduma vai attēlos ievieš nereālas iezīmes, EasyPhoto ietvars izmanto stabilās difūzijas modeļu attēla pārvēršanas iespējas, lai radītu precīzus un reālistiskus attēlus. Lietotāji var viegli instalēt EasyPhoto ietvaru kā WebUI paplašinājumu, uzlabojot lietotājam draudzīgumu un pieejamību plašākam lietotāju lokam. EasyPhoto ietvars ļauj lietotājiem ģenerēt identitātes vadītu, augstas kvalitātes un reālistiski AI portreti kas ļoti līdzinās ievades identitātei.

Pirmkārt, EasyPhoto ietvars aicina lietotājus izveidot savu digitālo doppelganger, augšupielādējot dažus attēlus, lai tiešsaistē apmācītu sejas LoRA vai zema līmeņa adaptācijas modeli. LoRA sistēma ātri noregulē difūzijas modeļus, izmantojot zema līmeņa adaptācijas tehnoloģiju. Šis process ļauj balstītajam modelim izprast konkrētu lietotāju ID informāciju. Pēc tam apmācītie modeļi tiek apvienoti un integrēti sākotnējā stabilās difūzijas modelī, lai radītu traucējumus. Turklāt traucējumu procesa laikā modelis izmanto stabilus difūzijas modeļus, mēģinot pārkrāsot sejas apgabalus traucējumu veidnē, un līdzība starp ievades un izvades attēliem tiek pārbaudīta, izmantojot dažādas ControlNet vienības. 

EasyPhoto ietvars arī izmanto divpakāpju difūzijas procesu, lai risinātu iespējamās problēmas, piemēram, robežu artefaktus un identitātes zudumu, tādējādi nodrošinot, ka ģenerētie attēli samazina vizuālās neatbilstības, vienlaikus saglabājot lietotāja identitāti. Turklāt EasyPhoto sistēmas traucējumu cauruļvads ir ne tikai portretu ģenerēšana, bet arī to var izmantot, lai ģenerētu jebko, kas ir saistīts ar lietotāja ID. Tas nozīmē, ka pēc tam, kad esat apmācījis LoRA modelis konkrētam ID varat ģenerēt plašu AI attēlu klāstu, un tādējādi tam var būt plaši izplatītas lietojumprogrammas, tostarp virtuālie mēģinājumi. 

Rezumējot, EasyPhoto sistēma

1. Ierosina jaunu pieeju LoRA modeļa apmācīšanai, iekļaujot vairākus LoRA modeļus, lai saglabātu ģenerēto attēlu sejas precizitāti. 
2. Izmanto dažādas pastiprināšanas mācīšanās metodes, lai optimizētu LoRA modeļus sejas identitātes balvām, kas vēl vairāk palīdz uzlabot identitātes līdzību starp apmācības attēliem un iegūtajiem rezultātiem. 
3. Ierosina divpakāpju uz krāsu balstītu difūzijas procesu, kura mērķis ir ģenerēt mākslīgā intelekta fotoattēlus ar augstu estētiskumu un līdzību. 

EasyPhoto: Arhitektūra un apmācība

Nākamajā attēlā parādīts EasyPhoto AI ietvara apmācības process. 

Kā redzams, sistēma vispirms lūdz lietotājus ievadīt apmācības attēlus un pēc tam veic sejas noteikšanu, lai noteiktu sejas atrašanās vietas. Kad ietvars nosaka seju, tas apgriež ievades attēlu, izmantojot iepriekš noteiktu noteiktu attiecību, kas koncentrējas tikai uz sejas reģionu. Pēc tam sistēma izvieto ādas skaistumkopšanas un pamanāmības noteikšanas modeli, lai iegūtu tīru un skaidru sejas treniņu attēlu. Šiem diviem modeļiem ir izšķiroša nozīme sejas vizuālās kvalitātes uzlabošanā, kā arī nodrošina, ka fona informācija ir noņemta un treniņu attēlā pārsvarā ir seja. Visbeidzot, sistēma izmanto šos apstrādātos attēlus un ievades uzvednes, lai apmācītu LoRA modeli un tādējādi aprīkotu to ar spēju efektīvāk un precīzāk izprast lietotājam raksturīgās sejas īpašības. 

Turklāt apmācības fāzē ietvars ietver kritisku validācijas soli, kurā ietvars aprēķina sejas ID atstarpi starp lietotāja ievades attēlu un verifikācijas attēlu, ko ģenerēja apmācītais LoRA modelis. Apstiprināšanas solis ir būtisks process, kam ir galvenā loma LoRA modeļu saplūšanas panākšanā, galu galā nodrošinot, ka apmācīts LoRA ietvars pārveidojas par doppelganger jeb precīzu lietotāja digitālo attēlojumu. Turklāt verifikācijas attēls, kuram ir optimālais face_id rādītājs, tiks atlasīts kā face_id attēls, un šis face_id attēls tiks izmantots, lai uzlabotu traucējumu ģenerēšanas identitātes līdzību. 

Pamatojoties uz ansambļa procesu, sistēma apmāca LoRA modeļus, kuru galvenais mērķis ir iespējamības novērtējums, savukārt sejas identitātes līdzības saglabāšana ir pakārtotais mērķis. Lai risinātu šo problēmu, EasyPhoto ietvars izmanto pastiprinošus mācīšanās paņēmienus, lai tieši optimizētu pakārtoto mērķi. Rezultātā sejas vaibsti, kurus LoRA modeļi apgūst, tiek uzlaboti, tādējādi uzlabojot veidņu ģenerēto rezultātu līdzību, kā arī parāda veidņu vispārināšanu. 

Interferences process

Nākamajā attēlā parādīts traucējumu process individuālam lietotāja ID programmā EasyPhoto, un tas ir sadalīts trīs daļās.

• Sejas priekšapstrāde lai iegūtu ControlNet atsauci un iepriekš apstrādāto ievades attēlu. 

• Pirmā difūzija kas palīdz radīt aptuvenus rezultātus, kas līdzinās lietotāja ievadītajam. 

• Otrā difūzija kas nosaka robežartefaktus, tādējādi padarot attēlus precīzākus un reālistiskākus. 

Ievadei sistēma ņem face_id attēlu (ģenerēts apmācības validācijas laikā, izmantojot optimālo face_id rezultātu) un traucējumu veidni. Izvade ir ļoti detalizēts, precīzs un reālistisks lietotāja portrets, un tas ļoti atgādina lietotāja identitāti un unikālo izskatu, pamatojoties uz secinājumu veidni. Sīkāk apskatīsim šos procesus.

Sejas priekšprocess

Veids, kā ģenerēt AI portretu, pamatojoties uz traucējumu veidni, bez apzinātas spriešanas, ir izmantot SD modeli, lai interferences veidnē krāsotu sejas apgabalu. Turklāt ControlNet ietvara pievienošana procesam ne tikai uzlabo lietotāja identitātes saglabāšanu, bet arī uzlabo ģenerēto attēlu līdzību. Tomēr, izmantojot ControlNet tieši reģionālajai krāsošanai, var rasties iespējamās problēmas, kas var ietvert

• Neatbilstība starp ievadi un ģenerēto attēlu: Ir skaidrs, ka galvenie punkti veidnes attēlā nav saderīgi ar galvenajiem punktiem attēlā face_id, tāpēc ControlNet izmantošana ar face_id attēlu kā atsauci var radīt dažas neatbilstības izvadē. 

• Inpaint apgabala defekti: Nomaskējot apgabalu un pēc tam krāsojot to ar jaunu seju, var rasties pamanāmi defekti, īpaši uz krāsas robežas, kas ne tikai ietekmēs ģenerētā attēla autentiskumu, bet arī negatīvi ietekmēs attēla reālismu. 
• Identitātes zudums kontroles tīklā: Tā kā apmācības procesā netiek izmantota ControlNet sistēma, ControlNet izmantošana traucējumu fāzes laikā var ietekmēt apmācīto LoRA modeļu spēju saglabāt ievades lietotāja ID identitāti. 

Lai risinātu iepriekš minētās problēmas, EasyPhoto sistēma piedāvā trīs procedūras. 

• Izlīdzināt un ielīmēt: Izmantojot sejas ielīmēšanas algoritmu, EasyPhoto ietvara mērķis ir novērst sejas ID un veidnes neatbilstības problēmu starp sejas orientieriem. Pirmkārt, modelis aprēķina sejas orientierus face_id un veidnes attēlam, pēc tam modelis nosaka afīnās transformācijas matricu, kas tiks izmantota, lai saskaņotu veidnes attēla sejas orientierus ar face_id attēlu. Iegūtais attēls saglabā tos pašus face_id attēla orientierus, kā arī tiek saskaņots ar veidnes attēlu. 

• Sejas drošinātājs: Face Fuse ir jauna pieeja, ko izmanto, lai labotu robežartefaktus, kas radušies maskas krāsošanas rezultātā, un tā ietver artefaktu labošanu, izmantojot ControlNet sistēmu. Šī metode ļauj EasyPhoto ietvaram nodrošināt harmonisku malu saglabāšanu un tādējādi galu galā virzot attēla ģenerēšanas procesu. Sejas saplūšanas algoritms vēl vairāk apvieno roop (zemes patiesības lietotāja attēlu) attēlu un veidni, kas ļauj iegūtajam sapludinātajam attēlam labāk stabilizēt malas robežas, kas pēc tam nodrošina uzlabotu izvadi pirmajā difūzijas posmā. 
• ControlNet vadīta validācija: Tā kā LoRA modeļi netika apmācīti, izmantojot ControlNet ietvaru, tā izmantošana secinājumu procesā var ietekmēt LoRA modeļa spēju saglabāt identitātes. Lai uzlabotu EasyPhoto vispārināšanas iespējas, ietvars ņem vērā ControlNet ietvara ietekmi un ietver dažādu posmu LoRA modeļus. 

Pirmā difūzija

Pirmajā difūzijas posmā tiek izmantots veidnes attēls, lai ģenerētu attēlu ar unikālu ID, kas līdzinās ievades lietotāja ID. Ievades attēls ir lietotāja ievadītā attēla un veidnes attēla saplūšana, savukārt kalibrētā sejas maska ​​ir ievades maska. Lai vēl vairāk uzlabotu attēlu ģenerēšanas kontroli, EasyPhoto ietvarā ir integrētas trīs ControlNet vienības, kur pirmā ControlNet ierīce koncentrējas uz sapludināto attēlu vadību, otrā ControlNet ierīce kontrolē sapludinātā attēla krāsas, bet pēdējā ControlNet ierīce ir atvērta. (reāllaika vairāku personu cilvēka pozu kontrole) aizstātajam attēlam, kas satur ne tikai veidnes attēla sejas struktūru, bet arī lietotāja sejas identitāti.

Otrā difūzija

Otrajā difūzijas posmā artefakti, kas atrodas netālu no sejas robežas, tiek pilnveidoti un precīzi noregulēti, kā arī nodrošina lietotājiem elastību, lai maskētu noteiktu attēla apgabalu, mēģinot uzlabot ģenerēšanas efektivitāti šajā īpašajā apgabalā. Šajā posmā ietvars sakausē izejas attēlu, kas iegūts no pirmās difūzijas stadijas, ar roop attēlu vai lietotāja attēla rezultātu, tādējādi ģenerējot ievades attēlu otrajai difūzijas stadijai. Kopumā otrajam difūzijas posmam ir izšķiroša nozīme ģenerētā attēla vispārējās kvalitātes un detaļu uzlabošanā. 

Vairāki lietotāju ID

Viens no EasyPhoto svarīgākajiem aspektiem ir tā atbalsts vairāku lietotāju ID ģenerēšanai, un tālāk esošajā attēlā ir parādīts traucējumu process vairāku lietotāju ID programmā EasyPhoto. 

Lai nodrošinātu atbalstu vairāku lietotāju ID ģenerēšanai, EasyPhoto ietvars vispirms veic sejas noteikšanu traucējumu veidnē. Šīs traucējumu veidnes pēc tam tiek sadalītas daudzās maskās, kur katrā maskā ir tikai viena seja, bet pārējais attēls ir maskēts baltā krāsā, tādējādi vairāku lietotāju ID ģenerēšana tiek sadalīta vienkāršā individuālo lietotāju ID ģenerēšanas uzdevumā. Kad sistēma ģenerē lietotāja ID attēlus, šie attēli tiek sapludināti secinājumu veidnē, tādējādi veicinot veidņu attēlu nemanāmu integrāciju ar ģenerētajiem attēliem, kā rezultātā tiek iegūts augstas kvalitātes attēls. 

Eksperimenti un rezultāti

Tagad, kad esam sapratuši EasyPhoto ietvaru, ir pienācis laiks izpētīt EasyPhoto ietvara veiktspēju. 

Iepriekš minēto attēlu ģenerē EasyPhoto spraudnis, un attēla ģenerēšanai tiek izmantots uz stilu balstīts SD modelis. Kā redzams, ģenerētie attēli izskatās reālistiski un ir diezgan precīzi. 

Iepriekš pievienoto attēlu ģenerē EasyPhoto ietvars, izmantojot komiksu stila SD modeli. Kā redzams, komiski fotoattēli un reālistiski fotoattēli izskatās diezgan reālistiski un ļoti līdzinās ievades attēlam, pamatojoties uz lietotāja uzvednēm vai prasībām. 

Tālāk pievienotais attēls ir ģenerēts EasyPhoto ietvarā, izmantojot vairāku personu veidni. Kā var skaidri redzēt, ģenerētie attēli ir skaidri, precīzi un atgādina sākotnējo attēlu. 

Izmantojot EasyPhoto, lietotāji tagad var ģenerēt plašu AI portretu klāstu vai ģenerēt vairākus lietotāju ID, izmantojot saglabātas veidnes, vai izmantot SD modeli, lai ģenerētu secinājumu veidnes. Iepriekš pievienotie attēli parāda EasyPhoto ietvara spēju radīt daudzveidīgus un augstas kvalitātes AI attēlus.

Secinājumi

Šajā rakstā mēs esam runājuši par EasyPhoto, a jauns WebUI spraudnis kas ļauj lietotājiem ģenerēt AI portretus un attēlus. EasyPhoto WebUI spraudnis ģenerē AI portretus, izmantojot patvaļīgas veidnes, un pašreizējās EasyPhoto WebUI sekas atbalsta dažādus fotoattēlu stilus un vairākas modifikācijas. Turklāt, lai vēl vairāk uzlabotu EasyPhoto iespējas, lietotājiem ir iespēja ģenerēt attēlus, izmantojot SDXL modeli, lai radītu apmierinošākus, precīzākus un daudzveidīgākus attēlus. EasyPhoto ietvars izmanto stabilu difūzijas bāzes modeli kopā ar iepriekš sagatavotu LoRA modeli, kas rada augstas kvalitātes attēlu izvadi.

Vai interesē attēlu ģeneratori? Mēs piedāvājam arī sarakstu ar Labākie AI Headshot ģeneratori un Labākie AI attēlu ģeneratori kas ir viegli lietojami un neprasa tehniskas zināšanas.