Prompt Engineering
Nézze meg közelebbről az OpenAI DALL-E 3-at
Ban,-ben Generatív AI világ, lépést tartani a legújabbakkal, ez a játék neve. Ha pedig a képek generálásáról van szó, a Stable Diffusion és középút volt az a platform, amelyről mindenki beszélt – egészen mostanáig.
Bemutatták az OpenAI-t, amelyet a Microsoft technológiai óriáscég támogat DALL E 3 szeptember 20., 2023.
A DALL-E 3 nem csak képek létrehozásáról szól; arról szól, hogy életre keltsd az elképzeléseidet, úgy, ahogyan elképzelted. És a legjobb rész? Nagyon gyors, nagyon gyors. Van egy ötleted, továbbítod a DALL-E 3-nak, és bumm, a képed készen van.
Tehát ebben a cikkben mélyen belemerülünk abba, hogy miről is szól a DALL-E 3. Beszélni fogunk arról, hogyan működik, mi különbözteti meg a többitől, és miért lehet ez az az eszköz, amelyre nem tudta, hogy szüksége van rá. Legyen szó tervezőről, művészről, vagy egyszerűen csak valakinek, akinek sok jó ötlete van, ehhez ragaszkodni fog. Kezdjük el.
A DALL·E 3 újdonsága az, hogy sokkal jobban illeszkedik a szövegkörnyezetbe, mint a DALL·E 2. A korábbi verziók esetleg kihagytak néhány részletet, vagy itt-ott figyelmen kívül hagytak néhány részletet, de a DALL·E 3 a lényeg. Pontosan felveszi annak részleteit, amit kér, és olyan képet ad, amely közelebb áll ahhoz, amit elképzelt.
A menő rész? DALL·E 3 és ChatGPT most egybe vannak integrálva. Együtt dolgoznak, hogy segítsenek finomítani az ötletein. Ön elkészít egy koncepciót, a ChatGPT segít a prompt finomhangolásában, a DALL·E 3 pedig életre kelti. Ha nem rajongója a képnek, megkérheti a ChatGPT-t, hogy módosítsa a promptot, és kérje meg a DALL·E 3-at, hogy próbálkozzon újra. 20 dolláros havi díj ellenében hozzáférhet a GPT-4-hez, a DALL·E 3-hoz és sok más nagyszerű funkcióhoz.
Microsoft bingchat A DALL·E 3 még az OpenAI ChatGPT előtt került a kezébe, és most már nem csak a nagyvállalatok, hanem mindenki, aki ingyen játszhat vele. A Bing Chat és a Bing Image Creator integrációja sokkal könnyebbé teszi a használatát bárki számára.
A diffúziós modellek felemelkedése
Az elmúlt 3 évben a vision AI tanúja volt a diffúziós modellek térnyerésének, ami jelentős ugrást tett előre, különösen a képalkotás terén. A diffúziós modellek előtt Generatív ellenséges hálózatok (GAN) valósághű képek készítésének elterjedt technológiája voltak.
Gans
Mindazonáltal megvolt a részük a kihívásokból, köztük a hatalmas adatmennyiség és a számítási teljesítmény igénye, ami gyakran bonyolulttá tette a kezelésüket.
belép műsorszolgáltatás modellek. A GAN-ok stabilabb és hatékonyabb alternatívájaként jelentek meg. A GAN-okkal ellentétben a diffúziós modellek úgy működnek, hogy zajt adnak az adatokhoz, eltakarva azokat, amíg csak a véletlenszerűség marad. Ezután visszafelé dolgoznak, hogy megfordítsák ezt a folyamatot, és értelmes adatokat rekonstruálnak a zajból. Ez a folyamat hatékonynak és kevésbé erőforrás-igényesnek bizonyult, így a diffúziós modellek forró témává váltak az AI-közösségben.
Az igazi fordulópont 2020 körül következett be, egy sor innovatív papírral és a bevezetésével OpenAI klipje technológia, amely jelentősen továbbfejlesztette a diffúziós modellek képességeit. Ez a diffúziós modelleket kivételesen jóvá tette a szöveg-kép szintézisben, lehetővé téve számukra, hogy valósághű képeket generáljanak a szöveges leírásokból. Ezek az áttörések nem csak a képalkotásban voltak, hanem olyan területeken is, mint pl zeneszerzés és a orvosbiológiai kutatások.
Manapság a diffúziós modellek nem csupán tudományos érdeklődésre számot tartó témák, hanem gyakorlati, valós forgatókönyvekben is használatosak.
Generatív modellezés és önfigyelő rétegek: DALL-E 3
Az egyik kritikus előrelépés ezen a területen a generatív modellezés fejlődése volt, ahol a mintavételen alapuló megközelítések, például az autoregresszív generatív modellezés és a diffúziós folyamatok vezettek. Átalakították a szöveg-kép modelleket, ami drasztikus teljesítményjavuláshoz vezetett. Azáltal, hogy a képgenerálást diszkrét lépésekre bontják, ezek a modellek követhetőbbé és könnyebben megtanulhatóvá váltak a neurális hálózatok számára.
Ezzel párhuzamosan az önfigyelő rétegek használata döntő szerepet játszott. Ezek a rétegek egymásra halmozva segítettek képeket generálni anélkül, hogy szükség lenne implicit térbeli torzításokra, ami gyakori probléma a konvolúciókkal. Ez az eltolódás lehetővé tette a szöveg-kép modellek megbízható méretezését és javítását, a transzformátorok jól érthető skálázási tulajdonságainak köszönhetően.
Kihívások és megoldások a képgenerálásban
E fejlesztések ellenére a képgenerálás irányíthatósága továbbra is kihívást jelent. Gyakoriak voltak az olyan problémák, mint például az azonnali követés, amikor a modell esetleg nem tapad szorosan a beviteli szöveghez. Ennek megoldására új megközelítéseket javasoltak, például a feliratok javítását, amelyek célja a szöveg- és képpárosítás minőségének javítása a tanítási adatkészletekben.
Feliratjavítás: újszerű megközelítés
A feliratok javítása magában foglalja a jobb minőségű feliratok létrehozását a képekhez, ami viszont segít a pontosabb szöveg-kép modellek képzésében. Ez egy robusztus képaláíró segítségével érhető el, amely részletes és pontos leírásokat készít a képekről. A továbbfejlesztett feliratok oktatásával a DALL-E 3 figyelemre méltó eredményeket tudott elérni, amelyek nagyon hasonlítanak az emberek által készített fényképekhez és műalkotásokhoz.
Edzés tovább Szintetikus adatok
A szintetikus adatokra vonatkozó képzés koncepciója nem új. Az egyedülálló hozzájárulás azonban egy újszerű, leíró képaláírási rendszer létrehozásában rejlik. A szintetikus feliratok használata a generatív modellek betanítására jelentős hatást gyakorolt, ami a modell azon képességének javulásához vezetett, hogy pontosan tudja követni az utasításokat.
A DALL-E kiértékelése 3
A többszörös értékelés és a korábbi modellekkel, például a DALL-E 2 és a Stable Diffusion XL összehasonlítása révén a DALL-E 3 kiváló teljesítményt mutatott, különösen az azonnali követéssel kapcsolatos feladatokban.
Szöveg-kép modellek összehasonlítása különféle értékeléseken
Az automatizált kiértékelések és benchmarkok használata egyértelmű bizonyítékot szolgáltatott képességeiről, megszilárdítva pozícióját a legmodernebb szöveg-kép generátorként.
DALL-E 3 Felszólítások és képességek
A DALL-E 3 logikusabb és kifinomultabb megközelítést kínál a látványelemek létrehozásához. A görgetés során észreveszi majd, hogy a DALL-E hogyan készíti el az egyes képeket, a pontosság és a képzelet ötvözete, amely rezonál az adott felszólítással.
Elődjétől eltérően ez a továbbfejlesztett változat kiváló a tárgyak természetes elrendezésében a jeleneten belül, és az emberi jellemzők pontos ábrázolásában, egészen a kéz megfelelő számú ujjáig. A fejlesztések a finomabb részletekre is kiterjednek, és most már nagyobb felbontásban is elérhetők, így valósághűbb és professzionálisabb teljesítményt nyújtanak.
A szövegmegjelenítési képességek is jelentős fejlődésen mentek keresztül. Ahol a DALL-E korábbi verziói hamis szöveget produkáltak, a DALL-E 3 most már olvasható és professzionális stílusú betűket tud generálni (néha), sőt esetenként tiszta logókat is.
A modell az összetett és árnyalt képkérések megértését jelentősen javította. A DALL-E 3 most már pontosan követi a részletes leírásokat, még több elemet és specifikus utasításokat tartalmazó forgatókönyvek esetén is, bizonyítva, hogy képes koherens és jól megkomponált képeket készíteni. Nézzünk meg néhány promptot és a kapott kimenetet:
Design the packaging for a line of organic teas. Include space for the product name and description.
DALL-E 3 kép szöveges felszólítások alapján (Ne feledje, hogy a bal oldali plakáton rossz a helyesírás)
Create a web banner advertising a summer sale on outdoor furniture. The image feature a beach setting with different pieces of outdoor furniture, and text announcing 'Huge Summer Savings!'
DALL-E 3 kép szöveges üzenetek alapján
A vintage travel poster of Paris with bold and stylized text saying 'Visit Paris' at the bottom.
DALL-E 3 képek szöveges felszólítások alapján (Megjegyzés, hogy mindkét plakáton hibás az írásmód)
A bustling scene of the Diwali festival in India, with families lighting lamps, fireworks in the sky, and traditional sweets and decorations.DALL-E 3 kép szöveges üzenetek alapján
A detailed marketplace in ancient Rome, with people in period-appropriate clothing, various goods for sale, and architecture of the time.
DALL-E 3 kép szöveges üzenetek alapján
Generate an image of a famous historical figure, like Cleopatra or Leonardo da Vinci, placed in a contemporary setting, using modern technology like smartphones or laptops.
DALL-E 3 kép szöveges üzenetek alapján
A DALL-E korlátai és kockázata 3
Az OpenAI jelentős lépéseket tett annak érdekében, hogy kiszűrje az explicit tartalmat a DALL-E 3 oktatási adataiból, hogy csökkentse a torzításokat és javítsa a modell kimenetét. Ez magában foglalja az érzékeny tartalomkategóriákra vonatkozó speciális szűrők alkalmazását, valamint a szélesebb körű szűrők küszöbértékeinek felülvizsgálatát. A mérséklő halom emellett több szintű biztosítékot is tartalmaz, például elutasítási mechanizmusokat a ChatGPT-ben a kényes témákhoz, azonnali bemeneti osztályozókat az irányelvek megsértésének megakadályozására, tiltólistákat bizonyos tartalomkategóriákhoz, valamint átalakításokat, amelyek biztosítják, hogy a felszólítások megfeleljenek az irányelveknek.
Fejlesztései ellenére a DALL-E 3-nak korlátai vannak a térbeli kapcsolatok megértésében, a hosszú szöveg pontos megjelenítésében és a specifikus képek létrehozásában. Az OpenAI elismeri ezeket a kihívásokat, és a jövőbeli verziók fejlesztésén dolgozik.
A vállalat azon is dolgozik, hogy a mesterséges intelligencia által létrehozott képeket megkülönböztesse az emberek által készített képektől, tükrözve az átláthatóság és a felelős AI-használat iránti elkötelezettségüket.
DALL E 3
A DALL-E 3, a legújabb verzió szakaszosan lesz elérhető, kezdve bizonyos ügyfélcsoportokkal, majd később kutatólaboratóriumokra és API-szolgáltatásokra is kiterjesztve. Az ingyenes nyilvános megjelenés dátumát azonban még nem erősítették meg.
Az OpenAI valóban új mércét állít fel a mesterséges intelligencia területén a DALL-E 3-mal, zökkenőmentesen áthidalva az összetett technikai képességeket és a felhasználóbarát felületeket. A DALL-E 3 integrálása olyan széles körben használt platformokba, mint a Bing, a speciális alkalmazásokról a szórakoztatás és a szolgáltatások szélesebb körű, elérhetőbb formáira való elmozdulást tükrözi.
Az elkövetkező években az igazi változás valószínűleg az innováció és a felhasználók felhatalmazása közötti egyensúly lesz. Azok a vállalatok fognak virágozni, amelyek nem csak feszegetik a mesterséges intelligencia elérhetõségének határait, hanem biztosítják a felhasználók számára a kívánt autonómiát és irányítást. Az OpenAI az etikus mesterséges intelligencia iránti elkötelezettségével óvatosan halad ezen az úton. A cél egyértelmű: olyan AI-eszközök létrehozása, amelyek nemcsak hatékonyak, hanem megbízhatóak és átfogóak is, biztosítva, hogy az AI előnyei mindenki számára elérhetőek legyenek.
 |
