Azt hiszem Musk szavait eléggé óvatosan kell kezelni, de ha igaz amit mond, akkor az AI-nak nevezett LLM igazából gondokba fog ütközni a "mégjobbá" válást illetően, illetve a trend meg is fordulhat.
Ugyanis Musk szerint kifogytak "az igazi" adatokból amikkel taníthatnák, okosíthatnák az AI-kat.
Bár persze még ott vannak a saját felhasználóik privát adatai, amik megszerzéséhez csupán végfelhasználói szerződést kell szép csendben módosítani, illetve a versenytársak hasonló adatbankjai is még várnak arra, hogy így vagy úgy megkaparintsák.
És Musk teszi is amit "kell", vagyis a felhasználók adatait használja fel egy ideje az "AI" tanítására:
"Az X a felhasználók adataival képezi ki a mesterséges intelligenciát"
"A korábban Twitter néven ismert X módosította a felhasználási feltételeit: a felhasználók a platform használatával beleegyeznek, hogy az X felhasználhatja a nyilvánosan elérhető bejegyzéseiket (megosztott képek, posztok) a mesterséges intelligencia (MI) képzéséhez."
Ennyi ez kéremszépen, egy újabb "alku", amit vagy elfogadsz, vagy ki leszel dobva a modern, digitális világból... Ingyen kell adnod az adatod, de ők viszont majd minden hónapban kérik tőled a pénzt, ha használni kívánod majd az AI-jukat.... sokat.
De igazából ez se oldja meg a problémát és Musk most kitalálta, hogy azt kéne csinálni, hogy "szintetikus adatok"-kal kéne tanítani a mesterséges intelligenciának nevezett LLM-eket.
A gond ezzel az, hogy akár totál használhatatlan cuccá válhat az egész, ahelyett, hogy javulna, hisz az LLM-eknek amúgy is van egy hallucinációnak nevezett problémája, vagyis vannak dolgok amiket rosszul "tud" és mivel igazából nem gondolkozik, ezt nem ismeri fel és hibás választ ad.
És ennek egyik csökkentési módja éppen az lenne, hogy sok másik, helyes adattal tanítják be az LLM-t, vagyis ha hülyeséget is tanult valamiről ritka esetben, a többi helyes adat ezt korrigálja.
Viszont ha szintetikus, vagyis AI által előállított adatokkal tanítod tovább az AI-t, akkor egyre több és több igazából hibás adattal tanulnak majd és akár teljesen használhatatlanokká válhatnak idővel.
Talán hasonlatként lehetne mondani a genetikát. Ha klónoznának valakit, az nem mehetne végtelenségig, mert ahogy másolod a másolatot mindig újabb és újabb hibák keletkeznek és végül a klónozott sokadik másolata életképtelenné válna, a hibák mennyisége miatt. Ugyanezért a közeli családon belüli szaporulatból se születik semmi jó...
Elég gyorsan eljutottunk ide... mikor tavaly írtam erről, még csak lehetséges aggodalom volt, most már meg kiderült, ez a helyzet.
"Elon Musk szerint a mesterséges intelligencia betanításához használt összes emberi adat elfogyott"
"A techmilliárdos szerint a szintetikus adatokra támaszkodó önálló tanulásra kellene áttérni, bár egyesek arra figyelmeztetnek, hogy ez a nyelvi modellek összeomlását okozhatja."
"Tudja" az összes emberi adatot és mégse ébredt öntudatra... Persze hogy nem, az LLM erre nem képes. Max. szimálálni tudja...
"A világ leggazdagabb embere szerint a technológiai cégeknek a “szintetikus” adatokhoz – vagyis a mesterséges intelligencia modellek által létrehozott tartalomhoz – kell fordulniuk az új rendszerek építéséhez és finomhangolásához – számolt be a The Guardian."
"A közösségi médiaplatformján, az X-en élőben közvetített interjúban Musk azt mondta, hogy az új modellek képzéséhez szükséges forráshiány ellen az “egyetlen mód” az, ha az AI által létrehozott szintetikus adatokra térnek át. Az adathalmazok kimerülésére utalva azt mondta: “Az egyetlen mód a szintetikus adatokkal való kiegészítés, ahol … a gép egyfajta esszét ír, vagy előáll egy tézissel, majd osztályozza magát, és … végigmegy ezen az öntanulási folyamaton”."
"Musk azonban arra is figyelmeztetett, hogy a AI-modellek az a szokása, hogy hallucinálnak, veszélyt jelent a szintetikus adatfeldolgozás folyamatára."
"A Mark Pennel, a Stagwell reklámcsoport elnökével az X-en élőben közvetített interjúban azt mondta, hogy a hallucinációk “kihívássá” tették a mesterséges anyag felhasználásának folyamatát, mert “honnan tudod, hogy … hallucinálta-e a választ, vagy ez egy valódi válasz”."
Honan tudod? Le kell ellenőzned mindent amit csinál ugyanis az igazság az, hogy megbízhatatlan az LLM. Komoly cégek nem bízhatnak benne. Éppen ezért is lesz ez egy anyagi csőd és zsákutca. A cégek amik AI-t használnak fell kell fogadniuk embereket, hogy ellenőrizzék amit az AI csinál. Vagyis a cégek fizetnek embereket ahogy eddig, plusz a drága AI-t. Ha pedig az embereket mégse alkalmazzák, csak az AI-t... készüljenek fel a perekre amik nem lesznek olcsók. A hibákért fizetni kell majd.
"Hozzátette, hogy a szintetikus adatokra való túlzott támaszkodás a “modellösszeomlás” kockázatát rejti magában, amely a modellek kimeneteinek minőségromlására utal."
"“Amikor egy modellt szintetikus adatokkal kezdünk etetni, romló eredményt kapunk” – mondta, ami azzal a kockázattal jár, hogy a kimenetek nemcsak tévesek, de elfogultak és kreativitás nélküliek lesznek."
Ráadásul megtudhattuk, hogy több "AI" cég már el is kezdte ezt a módszert alkalmazni.
Vagyis ebből baj lesz, nem jobb lesz az AI, hanem rosszabb.
"Duncan hozzátette, hogy az AI által generált online tartalom növekedése azt is eredményezi, hogy az ilyen anyagok már most is bekerülnek az AI-adatok képzési készleteibe."