Стабле Диффусион Веб кориснички интерфејс, или СД-ВебУИ, је свеобухватан пројекат за моделе стабилне дифузије који користи Градио библиотеку да обезбеди интерфејс претраживача. Данас ћемо говорити о ЕасиПхото, иновативном додатку за ВебУИ који омогућава крајњим корисницима да генеришу АИ портрете и слике. ЕасиПхото ВебУИ додатак креира АИ портрете користећи различите шаблоне, подржавајући различите стилове фотографија и вишеструке модификације. Поред тога, да би додатно побољшали могућности ЕасиПхото-а, корисници могу да генеришу слике користећи СДКСЛ модел за задовољавајуће, тачније и разноврсније резултате. Почнимо.

Увод у ЕасиПхото и стабилну дифузију

Оквир Стабле Диффусион је популаран и робустан оквир за генерисање заснован на дифузији који програмери користе за генерисање реалистичних слика на основу описа уноса текста. Захваљујући својим могућностима, оквир Стабле Диффусион се може похвалити широким спектром апликација, укључујући пресликавање слика, уцртавање слике и превођење слике у слику. Стабле Диффусион Веб УИ, или СД-ВебУИ, истиче се као једна од најпопуларнијих и најпознатијих апликација овог оквира. Поседује интерфејс претраживача изграђен на Градио библиотеци, пружајући интерактивно и корисничко сучеље за моделе Стабле Диффусион. Да би се додатно побољшала контрола и употребљивост у генерисању слика, СД-ВебУИ интегрише бројне апликације Стабле Диффусион.

Захваљујући погодностима које нуди СД-ВебУИ фрамеворк, програмери ЕасиПхото оквира одлучили су да га креирају као веб додатак, а не као пуноправну апликацију. За разлику од постојећих метода које често пате од губитка идентитета или уносе нереалне карактеристике у слике, ЕасиПхото оквир користи могућности слика-на-слику модела Стабле Диффусион за производњу тачних и реалистичних слика. Корисници могу лако да инсталирају ЕасиПхото оквир као екстензију унутар ВебУИ-ја, побољшавајући прилагођеност корисницима и приступачност ширем кругу корисника. ЕасиПхото оквир омогућава корисницима да генеришу вођене идентитетом, висококвалитетне и реалистични АИ портрети који веома личе на улазни идентитет.

Прво, ЕасиПхото оквир тражи од корисника да креирају свог дигиталног двојника тако што ће учитати неколико слика да обуче лице ЛоРА или Лов-Ранк Адаптатион модел на мрежи. ЛоРА оквир брзо фино подешава моделе дифузије користећи технологију прилагођавања ниског ранга. Овај процес омогућава заснованом моделу да разуме ИД информације одређених корисника. Обучени модели се затим спајају и интегришу у основни модел стабилне дифузије ради интерференције. Штавише, током процеса интерференције, модел користи стабилне моделе дифузије у покушају да префарба регионе лица у шаблону интерференције, а сличност између улазних и излазних слика се верификује коришћењем различитих ЦонтролНет јединица. 

ЕасиПхото оквир такође примењује двостепени процес дифузије за решавање потенцијалних проблема као што су гранични артефакти и губитак идентитета, чиме се обезбеђује да генерисане слике минимизирају визуелне недоследности уз задржавање идентитета корисника. Штавише, цевовод интерференције у оквиру ЕасиПхото оквира није ограничен само на генерисање портрета, већ се може користити и за генерисање било чега што је повезано са ИД-ом корисника. То значи да када једном обучите ЛоРА модел за одређени ИД, можете генерисати широку лепезу АИ слика, и стога може имати широко распрострањене апликације укључујући виртуелне испробавања. 

Да резимирамо, ЕасиПхото оквир

1. Предлаже нови приступ за тренирање ЛоРА модела укључивањем више ЛоРА модела како би се одржала верност лица генерисаних слика. 
2. Користи различите методе учења са појачањем како би оптимизовао ЛоРА моделе за награде идентитета лица што додатно помаже у побољшању сличности идентитета између слика тренинга и генерисаних резултата. 
3. Предлаже двостепени процес дифузије заснован на боји који има за циљ да генерише АИ фотографије са високом естетиком и сличношћу. 

ЕасиПхото : Архитектура и обука

Следећа слика приказује процес обуке ЕасиПхото АИ оквира. 

Као што се може видети, оквир прво тражи од корисника да унесу слике за обуку, а затим врши детекцију лица да би открио локације лица. Када оквир детектује лице, он изрезује улазну слику користећи унапред дефинисани специфични однос који се фокусира искључиво на регион лица. Оквир затим примењује модел за улепшавање коже и модел детекције истакнутости да би добио чисту и јасну слику тренинга лица. Ова два модела играју кључну улогу у побољшању визуелног квалитета лица, а такође осигуравају да су позадинске информације уклоњене, а слика за тренинг претежно садржи лице. Коначно, оквир користи ове обрађене слике и упите за унос да обучи ЛоРА модел, и на тај начин га опрема способношћу да ефикасније и прецизније разуме карактеристике лица специфичних за корисника. 

Штавише, током фазе обуке, оквир укључује критични корак валидације, у којем оквир израчунава јаз између ИД-а лица између слике уноса корисника и слике за верификацију коју је генерисао обучени ЛоРА модел. Корак валидације је фундаментални процес који игра кључну улогу у постизању фузије ЛоРА модела, на крају осигуравајући да обучени ЛоРА оквир трансформише се у двојника, или тачну дигиталну представу корисника. Поред тога, слика за верификацију која има оптималну оцену фаце_ид биће изабрана као слика фаце_ид, а ова слика фаце_ид ће се затим користити за побољшање сличности идентитета генерисања сметњи. 

Крећући се даље, заснован на процесу ансамбла, оквир тренира ЛоРА моделе са проценом вероватноће као примарним циљем, док је очување сличности идентитета лица низводни циљ. Да би се позабавио овим проблемом, ЕасиПхото оквир користи технике учења са појачањем како би директно оптимизовао низводни циљ. Као резултат, црте лица које ЛоРА модели науче приказују побољшање које доводи до побољшане сличности између резултата генерисаних шаблоном, а такође демонстрира генерализацију између шаблона. 

Процес интерференције

Следећа слика приказује процес интерференције за појединачни кориснички ИД у оквиру ЕасиПхото и подељена је на три дела

• Фаце Препроцесс за добијање ЦонтролНет референце и претходно обрађене улазне слике. 

• Фирст Диффусион што помаже у генерисању грубих резултата који личе на кориснички унос. 

• Друга дифузија који фиксира граничне артефакте, чинећи слике тачнијим и изгледају реалистичнијим. 

За улаз, оквир узима слику фаце_ид (генерисану током провере ваљаности користећи оптимални фаце_ид резултат) и шаблон интерференције. Резултат је веома детаљан, прецизан и реалистичан портрет корисника и веома подсећа на идентитет и јединствен изглед корисника на основу шаблона за закључак. Хајде да детаљно погледамо ове процесе.

Фаце ПреПроцесс

Начин да се генерише АИ портрет на основу шаблона за сметње без свесног резоновања је коришћење СД модела за осликавање региона лица у шаблону интерференције. Поред тога, додавање ЦонтролНет оквира у процес не само да побољшава очување корисничког идентитета, већ и повећава сличност између генерисаних слика. Међутим, коришћење ЦонтролНет-а директно за регионално усликавање може довести до потенцијалних проблема који могу укључивати

• Недоследност између уноса и генерисане слике: Очигледно је да кључне тачке на слици шаблона нису компатибилне са кључним тачкама на слици фаце_ид, због чега коришћење ЦонтролНет-а са сликом фаце_ид као референце може довести до неких недоследности у излазу. 

• Дефекти у Инпаинт региону: Маскирање региона, а затим његово фарбање новим лицем може довести до уочљивих недостатака, посебно дуж границе бојења, који не само да ће утицати на аутентичност генерисане слике, већ ће и негативно утицати на реализам слике. 
• Губитак идентитета путем контролне мреже: Пошто процес обуке не користи оквир ЦонтролНет-а, коришћење ЦонтролНет-а током фазе интерференције може утицати на способност обучених ЛоРА модела да сачувају улазни идентитет корисника. 

Да би се позабавио горе наведеним питањима, ЕасиПхото оквир предлаже три процедуре. 

• Поравнајте и налепите: Коришћењем алгоритма за лепљење лица, ЕасиПхото оквир има за циљ да се позабави проблемом неусклађености између обележја лица између ИД-а лица и шаблона. Прво, модел израчунава оријентире лица за фаце_ид и слику шаблона, након чега модел одређује матрицу афине трансформације која ће се користити за поравнавање оријентира лица шаблонске слике са сликом фаце_ид. Добијена слика задржава исте оријентире слике фаце_ид, а такође се поравнава са сликом шаблона. 

• Осигурач за лице: Фаце Фусе је нови приступ који се користи за исправљање граничних артефаката који су резултат сликања маске, а укључује исправљање артефаката коришћењем ЦонтролНет оквира. Метод омогућава ЕасиПхото оквиру да обезбеди очување хармоничних ивица, и на тај начин на крају води процес генерисања слике. Алгоритам фузије лица даље спаја рооп (приземне слике корисника истине) и шаблон, што омогућава да добијена спојена слика покаже бољу стабилизацију граница ивица, што затим доводи до побољшаног излаза током прве фазе дифузије. 
• Контрола вођена ЦонтролНет-ом: Пошто ЛоРА модели нису обучени користећи ЦонтролНет оквир, његово коришћење током процеса закључивања може утицати на способност ЛоРА модела да сачува идентитете. Да би се побољшале могућности генерализације ЕасиПхото-а, оквир разматра утицај ЦонтролНет оквира и укључује ЛоРА моделе из различитих фаза. 

Фирст Диффусион

Прва фаза дифузије користи слику шаблона за генерисање слике са јединственим ИД-ом који подсећа на улазни ИД корисника. Улазна слика је спој слике за унос корисника и слике шаблона, док је калибрисана маска лица маска за унос. Да би се додатно повећала контрола над генерисањем слике, ЕасиПхото фрамеворк интегрише три ЦонтролНет јединице где се прва ЦонтролНет јединица фокусира на контролу спојених слика, друга ЦонтролНет јединица контролише боје спојене слике, а последња ЦонтролНет јединица је опенпосе (контрола људске позе више особа у реалном времену) замењене слике која не садржи само структуру лица шаблонске слике, већ и идентитет лица корисника.

Друга дифузија

У другој фази дифузије, артефакти близу границе лица се рафинирају и фино подешавају заједно са пружањем флексибилности корисницима да маскирају одређени регион на слици у покушају да се побољша ефикасност генерисања унутар те наменске области. У овој фази, оквир спаја излазну слику добијену из прве фазе дифузије са сликом круга или резултатом слике корисника, чиме се генерише улазна слика за другу фазу дифузије. Све у свему, друга фаза дифузије игра кључну улогу у побољшању укупног квалитета и детаља генерисане слике. 

Више корисничких ИД-ова

Једна од најважнијих карактеристика ЕасиПхото-а је његова подршка за генерисање више корисничких ИД-ова, а слика испод показује цевовод процеса интерференције за ИД-ове више корисника у оквиру ЕасиПхото. 

Да би обезбедио подршку за генерисање ИД-а за више корисника, ЕасиПхото фрамеворк прво врши детекцију лица на шаблону сметњи. Ови шаблони за сметње се затим деле на бројне маске, где свака маска садржи само једно лице, а остатак слике је маскиран белом, чиме се генерисање ИД-а за више корисника претвара у једноставан задатак генерисања појединачних корисничких ИД-ова. Једном када оквир генерише слике ИД корисника, ове слике се спајају у предложак закључивања, чиме се олакшава беспрекорна интеграција слика шаблона са генерисаним сликама, што на крају резултира висококвалитетном сликом. 

Експерименти и резултати

Сада када имамо разумевање ЕасиПхото оквира, време је да истражимо перформансе ЕасиПхото оквира. 

Горњу слику генерише додатак ЕасиПхото и користи СД модел заснован на стилу за генерисање слике. Као што се може приметити, генерисане слике изгледају реално и прилично су тачне. 

Слика додата изнад је генерисана помоћу ЕасиПхото оквира користећи СД модел заснован на стилу стрипа. Као што се може видети, стрип фотографије, као и реалистичне фотографије, изгледају прилично реалистично, и веома подсећају на улазну слику на основу захтева или захтева корисника. 

Слика додата испод је генерисана помоћу ЕасиПхото оквира коришћењем шаблона за више особа. Као што се јасно може видети, генерисане слике су јасне, тачне и подсећају на оригиналну слику. 

Уз помоћ ЕасиПхото-а, корисници сада могу да генеришу широку лепезу АИ портрета, или да генеришу више корисничких ИД-ова користећи сачуване шаблоне, или да користе СД модел за генерисање шаблона закључивања. Слике које су додате изнад показују способност ЕасиПхото оквира у производњи разноврсних и висококвалитетних АИ слика.

Zakljucak

У овом чланку смо говорили о ЕасиПхото, а нови додатак за ВебУИ који омогућава крајњим корисницима да генеришу АИ портрете и слике. ЕасиПхото ВебУИ додатак генерише АИ портрете користећи произвољне шаблоне, а тренутне импликације ЕасиПхото ВебУИ подржава различите стилове фотографија и вишеструке модификације. Поред тога, да би додатно унапредили могућности ЕасиПхото-а, корисници имају флексибилност да генеришу слике користећи СДКСЛ модел како би генерисали задовољавајуће, прецизније и разноврсније слике. ЕасиПхото оквир користи стабилан основни модел дифузије у комбинацији са унапред обученим ЛоРА моделом који производи висококвалитетне слике.

Заинтересовани сте за генераторе слика? Такође пружамо листу Најбољи АИ Хеадсхот генератори и Најбољи АИ генератори слика који су лаки за употребу и не захтевају техничку стручност.