Ismeritek az érzést, hogy van egy cikk ami arról szól, hogy vannak gondok azért a "jövő technológiáival", persze csak a felszínt kapargatva, de aztán a komment szekcióban valami idealista alak, totál ignorálva amit épp most olvasott, mintha csak a megváltást várná úgy várja, hogy eljöjjön ez a technológia... Nos igen, én ismerem, ezért most meg kell születnie ennek a cikknek. Bár a hirtelenség miatt lehet kéne majd második rész...(Update: a fele odalett első próbálkozásnál, úgyhogy gyorsan újraírtam.)
Az AI-ról és mély neurális hálózatokról lesz szó. Ugye mindenki a sajtóban rajong ezekért, hát ideje bemutatni, hogy azok akik ezzel foglalkoznak, hát... nem annyira bizakodóak mint a sajtó, vagy az átlagember.
Kötelezőként elmondom, amit általában szoktam írni, hogy a "meghackelhetnek dolgokat" az itt is fennáll, de most egyáltalán nem erről lesz szó. Enélkül is komoly gondok vannak itt.
Ugye az átlagember elsősorban az önvezető autó kapcsán hall az autonóm rendszerekről.
Az autonóm rendszerek használata a bizalomról szól: a felhasználó bízik abban, hogy a rendszer az általa elvártak szerint hajtja végre feladatát. A kommentszekciók ennél tovább mennek sokszor... vak hit fogadja ott az embert.
Szeretik azt is felvetni, hogy az ember is követ el hibákat és az önvezető autók máris jobbak mint az ember. Ez nem igaz, ezzel már foglalkoztam többször is korábban a blogomon. De nemcsak az lenne a lényeg, hogy egy autonóm rendszer jobb-e egy embernél, hanem hogy ha a rendszer meghibásodik ( és előbb-utóbb meg fog ) akkor mekkora kárt okozhat és hajlandók vagyunk-e elfogadni ezt a kockázatot? ( meg persze a hackelés, de ezzel most akkor nem foglalkozok ) Ugyanis egy feladat gépre ruházása egyben a gép meghibásodásából származó következmények elfogadását is jelenti.
Ahhoz, hogy kellően bízzunk ezekben a rendszerekben alaposan tesztelnünk kellene őket. Bob Work védelmiminiszter-helyettes, a Pentagon második számú tisztségviselője és első számú robot-igehirdetője volt. 2014 és 2017 között miniszterhelyettesként ő volt a harmadik ellensúlyi stratégia, illetve annak a központi részét képező ember-gép együttműködés fő hajtóereje. Ő ismeri a mai AI technológiák csúcsát képező megoldásokat, de leszámítva nagyon szűk területeket, nem bízná rá ezekre az országa biztonságát.
Arról beszélt, hogy a teszt és a kiértékelés "központi fontosságú" megbízható autonóm rendszerek építéséhez. Mint mondta, "ha autoritást ruházunk egy gépre, akkor annak megismerhetőnek kell lennie. (...) Szóval milyen módon fogjuk tesztelni és kiértékelni ezeket az egyre okosabb fegyvereket, hogy biztosak lehessünk benne, a fegyver az általunk várt paraméterek között marad? Ez jelentős probléma."
A gond abban áll, hogy milliónyi forgatókönyvet lefuttató szimulációk sem elégségesek arra, hogy egy komplex autonóm rendszerre váró összes lehetséges helyzetet teszteljük.
A légierő autonómiáról szóló jelentése így írta le a problémát:
"A hagyományos módszerek (...) nem alkalmasak az autónóm szoftverekkel kapcsolatos komplex szituációk kezelésére. (...) Egész egyszerűen túl sok lehetséges állapot és állapotkombináció létezik ahhoz, hogy az összeset kimerítően tesztelni lehessen."
A nem beprogramozott szabályokat követő, hanem adatokból tapasztalatokat szerző tanulógépek lényegében fekete lyuknak számítanak még a tervezőiknek is. A programozók megnézhetik a rendszer kimenetét, és meg tudják állapítani, hogy helyes vagy helytelen, de annak megértése, hogy a rendszer miért jutott egy bizonyos döntésre igencsak nehéz.
A probléma nem is abban áll, hogy a neurális hálózatok hibáznak valamiben, hanem abban, hogy a tévesztés módja bizarr, és szembenáll az emberi várakozásokkal.
Példa lehetne erre a képfelismerő AI-k, amik nagy sztárok voltak pár éve, mert tárgyfelismerésben volt, hogy felülmúlták az embereket is. Ám a kutatók véletlenül rájöttek, hogy ezeknek az mesterséges intelligenciáknak van egy az emberek számára érthetetlen, furcsa és bizarr sebezhetősége.
Az úgynevezett ellenséges képek kihasználják a mély neurális hálózatok gyengeségeit, és elhitetik velük, hogy valódi képet látnak. Két fajta ellenséges kép módszer is létezik, az egyik absztrakt vonalakat és formákat tartalmaz, a másik az emberi szem számára értelmetlen statikai zaj, mint a tv "sistergő" képernyője. A neurális hálózatok azonban több mint 99 százalékos magabiztossággal konkrét tárgyként, például tengeri csillagként, pávaként, vagy akár gepárdként azonosítják ezeket. A neurális hálózatok olyan értelmetlen statikus zajt és absztrakt formákat azonosítanak tévesen tárgyakként, amelyeket egy ember sohase tenne.
Ez csak egy példa arra, hogy mi az alapvető baj a neurális hálózatokkal. A neurális hálózatoknál nehéz pontosan előrejelezni, hogy mikor vallanak kudarcot. Mivel a hálózat teljesen idegennek tűnő módon viselkedik, az ember számára nehéz pontos mentális modellt készíteni a hálózat belső logikájáról annak érdekében hogy kiismerjük viselkedését.
Nem csak egy specifikus hálózattípus gyengeségéről van szó, a sérülékenységet sikerült reprodukálni a képfelismerésre használt neurális hálózatok döntő többsége esetén. Ráadásul ez a felfedezés egy véletlen műve volt, amúgy még mindig ezekkel lenne teli a média.
Jeff Clune és kutatótársai pár éve még nagyon lelkesek voltak. Eredetileg egy "kreatív, végtelen innovációs képességgel rendelkező MI-t" terveztek. Ennek érdekében egy már létező, képfelismerésre tanított mély neurális hálózatot használtak fel, amelyet az általa ismert képkategóriák absztrakióját tartalmazó új képek létrehozására utasították. Például amennyiben a hálózatot megtanították a baseball-labdák felismerésésre, egy, a baseball-labda essszenciáját bemutató kép elkészítésére utasították. A kreatív MI-t egyfajta művészként képzelték el, és egyedi, ám az emberek számára felismerhető képet vártak. Ehelyett a képek "totálisan felismerhetetlen szemetek" lettek. Ám még meglepőbb volt, hogy más mély neurális hálózatok egyetértettek abban, hogy ezek értelmes dolgok és valódi tárgyként azonosították ezeket a látszólag teljesen értelmetlen képeket. Clune a felfedezést az "ábrázolás bizarr, idegen MI világára" való rábukkanásként jellemezte.
Ezeket a furcsa képeket "ellenséges képek"-nek nevezik. A mély neurális hálózatok ellenséges képek kapcsán mutatott sérülékenysége óriáis probléma és minimum rövid távon megkérdőjelezi a katonai alkalmazhatóságuk létjogosultságát.
Becsapós (spoofing) támadásnak hívják azt, amikor egy gépet szándékosan téves adattal látnak el viselkedésének manipulálása érdekében, és erre a jelenlegi összes legfejlettebb képfelismerő alkalmazás is érzékeny.
Ezt a sérülékenységet kihasználva át lehet verni akár a AI által felügyelt kamerarendszereket, úgy hogy az emberi őrök se vesznek észre semmit. Eleve az emberi őrök tán túlságosan is bíznának az AI-ban, de nem csak erről van szó, hanem ezeket az ellenséges képeket úgy el lehet rejteni mondjuk egy polón, hogy egy ember észre se veszi, az AI meg úgy érzékeli, hogy a poló hordozója jogosult a belépésre.
A kutatók próbálják megérteni, hogy miért fogékonyak a jelenleg használt mély neurális hálózatok ezekre a manipulációkra és arra jutottak, hogy a sérülékenység a neurális hálózatok alapvető szerkezetéből származik, és az összes ma használatban lévő mély neurális hálózatban fellelhető. Ráadásul nem csupán a vizuális felismerésre használt neurális hálózatokra jellemző, hanem a beszédfelismerésre és az adatelemzésekre specializáltakra is. A dalfelismerő MI-k esetében is sikeresen tudnak manipulálni már a kutatók.
Ezért lehet az, hogy a korábban médiában nagyon sztárolt ilyen jellegű AI-k mostanában már eltüntek a hírekből.
A kezdetben még kifejezetten lelkes kutató arra a kérdésre, hogy ha ez a sérülékenység valami csoda folytán nem lenne, akkor minden rendbe lenne-e, ezt válaszolta:
Biztosak lehetünk abban, hogy az új MI valamiféle más, ember által nem várt, bizarr sérülékenységgel rendelkezne.
2017-ben az Amerikai Védelmi Minisztérium által felkért JASON tudóscsoport ugyanerre a következtetésre jutott. A MI-technológia jelenlegi állapotának kimerőtő elemzése után így összegezték a tapasztaltakat:
"Az óriási mennyiségű, milliókban, avagy milliárdokban számon tartható paraméterek (azaz súlyok/ hajlamok), amelyeket a hálózat kiképzése során tanul meg (...) lehetetlenné teszik, hogy megértsük , a hálózat mit pontosan miért csinál. Így kiismerhetetlen a hálózat összes lehetséges bemenetre adható válasza."
A JASON-csoport amellett érvelt, hogy a "mély neurális hálózatok alapvető természete az, ami eredendően nehézzé teszi, hogy professzionálisan elkészített termékké váljanak."
Jeff Clune a jövőt illetően se derülátó: "Ahogy a mély tanulás még inkább hatékonyabb, lenyűgözőbb és bonyolultatbb lesz, és ahogy a hálózatok egyre nagyobbra nőnek, úgy egyre több és több dolgot nem értünk majd.
"Szinte teljesen biztos, hogy ahogy az MI egyre bonyolultabb lesz, úgy egyre kevesebbet értünk belőle."
Viszont sajnos szerinte az embereket ez nem fogja visszatartani: Egyfajta verseny zajlik a leghatékonyabb dolog használatáért, és akkor is használni fogják, ha ez a leghatékonyabb dolog épppenséggel kifürkészhetetlen és érthetetlen."
Ami viszont saját magát illeti, a felfedezés megváltoztatta, ahogy az MI-re tekint, és mindenféleképpen "kijózanító üzenet" volt.
A kutató arra figyelmeztet, hogy a mély neurális hálózatok katonai felhasználása, pl. már csak célzásra is, óriási károkat okozhat. Egy ellenséges szereplő képes lehet a rendszer manipulálására, hogy rossz célpontokra támadjon:
"Amennyiben autonóm módon, ember nélkül a ciklusban próbálunk osztályozni, célozni és ölni, úgy egy ilyenfajta ellenséges hackelés nagyon gyorsan tragikus és halálos következményekhez vezethet."
A JASON-csoport így fogalmazta meg figyelmeztetését az Amerikai Védelmi Minisztériumnak:
"Nem egyértelmű, hogy a létező MI paradigma alakalmas-e bárfmiféle mérnöki megerősítésre és ellenőrzésre. Mindez komoly problémát jelent, és potenciálisan meggátolja a Védelmi Minisztériumot a modern MI-rendszerek használatában, főleg ha figyelembe vesszük az MI halálos hatású rendszereinek használatával járó felelősséget és elszámoltathatóságot."
A látványos sebezhetőségek fényében, illetve a létező megoldások hiányában rendkívüli felelőtlenség lenne a mai mély neurális hálózatokat autonóm célzásra használni. Az ellenséges szereplők még a neurális hálózat belső szerkezetének ismerete nélkül is képesek lennének átverős képek létrehozásásra, amelyek révén az autonóm fegyvert téves célpontok ellen irányítanák, miközben elfednék a valódiakat. Ráadásul mivel ezek a képek rejtettek lehetnek, az emberek egészen addig rá sem jönnének az átverésre, amíg be nem üt a krach.
A gépi tanulás technológiájának gyengeségei nem feltétlenül ismertek és vártak az emberi felhasználók számára.
A sima rendszereknél, ha előre nem is látjuk a bajt, de utólag össze tudjuk rakni mi lehetett a hiba. Fel tudjuk állítani az események sorrendjét, és megérteni, hogy az egyik hogyan vezetett a másikhoz és végül ezek kombinációja hogyan okozott katasztrófát. A mély neurális hálózatok másfajta sérülékenységet mutatnak, ezek teljesen idegenek az emberei elme számára.
Az AI-k olyan sérülékenységekkel rendelkeznek, amelyekre nem tudunk felkészülni, és nem igazán értjük, hogyan és miért történnek.
Aki szereti a tudományos megfogalmazást annak itt van ez: "Nem intuitív karakterisztikájú belső vakfoltok, amelyek szerkezete nem egyértelmű módon kötődik az adat disztribúciójához." Gyönyörű, nem?
Összefoglalva... ha még a hagyományos hackelés nem is lenne ott, ezek a rendszerek olyanok, hogy maguk a létrehozóik se értik teljesen, és a hibái teljesen váratlan módon bukkanhatnak elő és lehetlen ezeket teszteléssel jól kiszűrni. Vagyis nem ismerjük ezeket a rendszereket eléggé. Vagyis nincs okunk megbízni benne.
Források:
Amerikai légierő tudományos hivatala, Autonomous Horizons: System Autonomy in the Air Force - A Path to the Future; 23.oldal
https://www.af.mil/Portals/1/documents/SECAF/AutonomousHorizons.pdf?timestamp=1435068339702
"Delving Deep into Rectifiers: "Surpassing Human-Level Performance on On ImageNet Classification."
Paul Scharre: Army of None- Autonomous Weapons and the Future of War
Christian Szegedy:"Intriguing properties of neural networks"
https://arxiv.org/pdf/1312.6199v4.pdf
Goodfellow: "Explaning and Harnessing Adversarial Examples"
"Deep Learning and Music Adversaries"
http://www2.imm.dtu.dk/pubdb/edoc/imm6904.pdf
JASON: "Perspectives on Research in Artificial Intelligence and Artificial General Intelligence Relevant to DoD"
David Berreby: "Artificial Intelligence Is Already Weirdly Inhuman."
http://nautil.us/issue/27/dark-matter/artificial-intelligence-is-already-weirdly-inhuman
