Детальніше про DALL-E 3 від OpenAI

Поява дифузійних моделей

За останні 3 роки vision AI став свідком зростання дифузійних моделей, зробивши значний крок вперед, особливо у створенні зображень. До дифузійних моделей, Генеративні змагальні мережі (GAN) були основною технологією для створення реалістичних зображень.

ГАН

Однак у них були певні труднощі, включно з потребою у величезних обсягах даних і обчислювальної потужності, через що їх часто було складно впоратися.

Що натомість? Створіть віртуальну версію себе у дифузія моделі. Вони з’явилися як більш стабільна та ефективна альтернатива GAN. На відміну від GAN, дифузійні моделі працюють шляхом додавання шуму до даних, приховуючи їх, поки не залишиться лише випадковість. Потім вони працюють у зворотному напрямку, щоб повернути назад цей процес, реконструюючи значущі дані з шуму. Цей процес виявився ефективним і менш ресурсомістким, що зробило дифузійні моделі гарячою темою в спільноті ШІ.

Справжній переломний момент настав приблизно у 2020 році з серією інноваційних документів і впровадженням CLIP від ​​OpenAI технологія, яка значно розширила можливості дифузійних моделей. Це зробило дифузійні моделі надзвичайно хорошими в синтезі тексту в зображення, дозволяючи їм створювати реалістичні зображення з текстових описів. Ці прориви були не лише у створенні зображень, а й у таких галузях, як музична композиція та біомедичні дослідження.

Сьогодні дифузійні моделі є не лише темою академічного інтересу, але й використовуються в практичних сценаріях реального світу.

Генеративне моделювання та рівні самоуважності: DALL-E 3

Source

Одним із важливих досягнень у цій галузі стала еволюція генеративного моделювання з підходами на основі вибірки, такими як авторегресійне генеративне моделювання та процеси дифузії. Вони трансформували моделі тексту в зображення, що призвело до значного покращення продуктивності. Розбиваючи генерацію зображення на окремі кроки, ці моделі стали більш піддатливими та легшими для вивчення нейронними мережами.

Паралельно використання шарів самоуважності зіграло вирішальну роль. Ці шари, зібрані разом, допомогли створити зображення без потреби в неявних просторових зміщеннях, що є типовою проблемою для звивин. Ця зміна дозволила масштабувати та надійно покращувати моделі перетворення тексту в зображення завдяки добре зрозумілим властивостям масштабування трансформаторів.

Проблеми та рішення у створенні іміджу

Незважаючи на ці досягнення, контрольованість створення зображень залишається проблемою. Такі проблеми, як швидке слідування, де модель може не прилягати до введеного тексту, були поширеними. Щоб вирішити цю проблему, були запропоновані нові підходи, такі як покращення підписів, спрямовані на підвищення якості поєднання тексту та зображень у навчальних наборах даних.

Покращення субтитрів: новий підхід

Удосконалення підписів передбачає створення підписів кращої якості для зображень, що, у свою чергу, допомагає в навчанні більш точних моделей перетворення тексту в зображення. Це досягається за допомогою надійного субтитра, який створює детальні та точні описи зображень. Навчаючись на цих покращених субтитрах, DALL-E 3 вдалося досягти чудових результатів, дуже схожих на фотографії та твори мистецтва, створені людьми.

Навчання на Синтетичні дані

Концепція навчання на синтетичних даних не нова. Однак унікальний внесок тут полягає у створенні нової, описової системи підписів до зображень. Вплив використання синтетичних титрів для навчання генеративних моделей був значним, що призвело до покращення здатності моделі точно слідувати підказкам.

Оцінка DALL-E 3

Завдяки численним оцінкам і порівнянням із попередніми моделями, такими як DALL-E 2 і Stable Diffusion XL, DALL-E 3 продемонстрував чудову продуктивність, особливо в завданнях, пов’язаних із оперативним слідуванням.

Порівняння моделей текст-зображення на різних оцінках

Використання автоматизованих оцінок і порівняльних показників надає чіткі докази його можливостей, зміцнюючи його позиції як найсучаснішого генератора тексту в зображення.