Avagy kódolhatunk-e iszlamizmust egy drónba?
Nemzetközi konferencián, illetőleg itthon, a Kutatók Éjszakáján is előadhattam egy számomra kedves témában, amiben azt feszegetem, hogy lesznek-e a jövőben ideológiai alapú drónok. Kicsit leegyszerűsítve, lesz-e a jövőben például iszlamista vagy keresztes, akár tágabb értelemben fasiszta, kommunista vagy woke drón? Előzetesen megjegyzem, hogy a filozófiai etikát érintő kérdés nem mentes sem a jogfilozófiától, sem az informatikától. Ezeket (főleg a jogot és etikát) összemosni általános tévedés és hiba, ezt azonban majd egy másik írásban fejtem ki bővebben. Az alábbi írásban igyekszem az idegen- és szakkifejezéseket megmagyarázni, ugyanakkor maradok használatunknál, hogy lássuk az ún. „AI és etika” területe ugyanúgy a tudományos vizsgálódás egyik szelete, mint maga az informatika vagy a jogtudomány.
Az „ideológiai drón” nem egy konkrét fegyver vagy akár repülő gép az írásomban, hanem bármely olyan AI-rendszer neve, amely nem csupán utasításokat hajt végre, hanem önálló döntést hoz (autonóm): szűri az információt, keretezi a lehetőségeket, és így részt vesz a szándékok formálásában. A szemléltetés kedvéért azonban egy harci drónt hozok példának. Azt mindjárt leszögezem, hogy a cél és a szándék nem azonos és utóbbihoz minimum intelligenciára van szükség, de nem kizárható az sem, hogy érzelmi rendszer nélkül inkább csak célról beszélhetünk.
Egy iszlamista például felhasználja az iszlám vallás tanítását, de azt sokszor sajátosan értelmezi, és érzelmi felfűtöttséggel közelíti meg, nem egy mérsékelt teológus „hideg” racionalitásával. Azt gondolnánk, hogy egy drónt, amelyet felhasznál például egy vallási ideológia saját céljaira eme hidegséggel bír majd, mert gép. Ugyanakkor egyrészt, ha kilépünk az előre meghatározott utasításokat kizárólagosan végrehajtó automata rendszerek világából és az autonóm rendszerekre figyelünk, valamint egy magasabb intelligencia (lsd. AGI) és robotika világába helyezzük, akkor a gépek számos emberi tulajdonságot vesznek fel, aminek első nyomai már megtalálhatók az AI-rendszerekben.
Egy FPV-pilóta például nem nyers adatokkal találkozik, hanem absztrakciókkal és ajánlórendszerekkel, amelyek észrevétlenül azt tanítják, mi számít „jó találatnak”. Valaki tud idézni a Koránból? Találni rá példát, amikor terroristák azokat hagyták életben, akik hasonló kérdés alapján döntötték el, kit hagynak életben. Ugyanígy a szimulációs rendszerekkel dolgozók sem puszta tényeket kapnak az AI-rendszertől, hanem egy látens értéktérképet is, amely a promptokból, adatokból és jutalmazási jelekből áll össze. A közös kérdés mindkét helyzetben az, hogy a döntés pillanatában ki kire hat (ember–gép) és mi hat valójában: az ember, a felület vagy a modell mögötti ajánló- és jutalmazási logikák?
Az ideológiai befolyás nem egyetlen kódsorban bújik meg, hanem a döntéslánc minden állomásán szivárog be. A feedexpozíció előre kiemeli, mit érdemes észrevenni; ezzel együtt a hiedelemfrissítésekben gyors heurisztikák alakulnak, amelyeket címkézési konvenciók és csoportnormák táplálnak. A célkijelölés olyan térben történik, ahol az etikai-jogi korlátok „hard” (vagyis nem változó) követelmények vagy terheltség alatt elpuhuló mérlegelési szempontok. Egyszerűbben szólva: az algoritmus dönt, elmaradnak a mélyelemzések és csoportnormák lesznek az „ösztönös” válaszok. Mintha már nem érdekelné egy terroristát, hogy a másik ember kicsoda, csak az számít, hogy az én vallásomat vallja vagy sem.
A célazonosítást végző modellekben küszöbértékek és hibapolitikák testesítik meg a kockázatvállalást; ha stresszben az „inkább tüzelj / támadj” a „default”, vagyis az alapértelmezett válasz, akkor az agresszív attitűd már a vezérlésbe van drótozva, kódolva. A tényleges elkövetést a felület „nudgeolja”: egykattintásos „engage” mellett mélyre rejtett arányossági ellenőrzés a sietséget jutalmazza. A kör pedig az értékeléssel zárul, ahol a mérhető gyorsaság és „lethality”-faktor kiemelt jutalmat kap, a visszafogottság viszont láthatatlan marad; ilyenkor maga a jutalmazási függvény válik ideológiává. Egyszerűbben szólva, a gyors és változást (például pusztítást hozó) döntés fontosabb, mint a megfontolt vizsgálódás, elemzés. Ez a jutalmazási rendszer ideológiaszintű lesz, hiszen az elv és az eszme szintjén is releváns cselekménnyel van dolgunk. Elképesztő a hasonlóság egy elvakult terrorista vagy egy extremista vallási ideológiával túlfűtött ember és egy ilyen gépi rendszer között.
Ezért fontos a szakmai tudásrendszer és mélyanalízis elsajátítása. Például az etika megtanulása és alkalmazása. A szimulációs etikatanításnál (vagy éppen morálteológiai és vallástudományi megközelítések esetén) ez a dinamika jelen van, de éppen itt kell elsajátítani, hogy a válaszok mintázata ne kész receptek utánzásává váljon. A madridi Katonai Akadémián bemutathattam a Major Plato nevű katonai döntéshozó szimulátor tapasztalatait, így azt is, hogy a döntések irányai mintha éppen az előzetes mélyanalízis idején születnek meg, még ha éles végrehajtás során hozza is meg valaki a döntést magát. A megfelelő irány nem a „jó megoldások” kiosztása, hanem a gondolkodási út kirakása: a feltevések, a trade-offok (vagyis, hogy lemondjunk valamiről egy másik javára, akár etikai elvről, jogi normáról), tehát az alternatív normakeretek és a bizonytalanság láthatóvá tétele. Így egy jól összeállított AI-tutor (értsd: mesterségesintelligencia-alapú, de emberi felügyelettel rendelkező irányító rendszer) nem tekintélyt szimulál, hanem a kritikai ítélőképességet támasztja alá. A kritikai gondolkodás elsajátítása azonban nem egyszerű. Egyrészt egy katona nem művelet közben, főleg nem tűzharc alatt analizál, hanem a már korábbi „feltanítása”, például drill-je alapján hoz döntést, úgy általában az AI-rendszerek is előre feltanított adatokból és már beállított irányultság (alignment) alapján hoznak gyors (heurisztikus) döntéseket.
Az ideológiai drift (fékezetlen sodródás) megfékezéséhez életciklus-szemlélet kell. Már a követelményeknél eldől, hogy a sebesség és darabszám lesz-e a kimondatlan célszint vagy az arányosság és megkülönböztetés kemény (hard) korlátként szerepel. Ez a felelősség kérdésének egyik kulcsa. Egy ember esetében is kérdés, hogy a mecsetben az imámnál vagy egy keresztény a gyülekezetben lévő lelkésztől tanult valamit, vagy később alakítja át más forrásokból az értékrendjét. Sőt, saját élettörténete, narratív kerete is befolyásolja az ember döntését, amit a vallási rendszerek felerősíthetnek (vagy éppen tompíthatnak.)
Az adatoknál a proveniencia (honnan ered), a címkézés doktrínája és az ellenpéldák beemelése számít. A modellezésnél a jutalmazási függvények és a proxycélok (helyettesítő cél) hajlamosak a „döntőképességet” túlértékelni, ezért reward-review (jutalmazás-kiértékelés) és ellenoptimalizációs teszt szükséges. A vezérlési logikában a konzervatív alapbeállítások és a tényleges, nem szimbolikus emberi beavatkozási kapuk a döntők. A felhasználói felületnél a szaliencia (amire elsőre reagálunk), az alapértékek és a súrlódás elosztása a viselkedés fő alakítói, amiért etikai és ergonomiai átvilágítás szükséges. Végül az üzemeltetés közben elkerülhetetlen driftet red-teaming (támadó szemléletű tesztelés), telemetriás (adatgyűjtéses) őrzés és fegyelmezett változáskezelés alá kell vetni. A gyakorlatban, a humán dimenzióban, ez úgy néz ki, hogy egy katona először tanul, majd a gyakorlatba helyezi át a megtanultakat, ezeket elöljárói, kiképzői felügyelik, majd megismétlik, majd változó tényezők mellett újra ismétlik az egészet. Ennek a folyamatos (ún. iteratív) megközelítésnek és folyamatos ellenőrizésnek köszönhető a hatékonyság növekedése, de egyben az elfogultság kiküszöbölése is.
Két bevett ellenvetéshez érdemes röviden viszonyulni. Az, hogy „az AI csak eszköz”, figyelmen kívül hagyja, hogy az eszközök formálják a lehetőségek terét, a tempót és a figyelmi fókuszt; emiatt a választási architektúra szabályozása és az affordanciák (funkciók, jelek, amelyek meghívják a cselekvést) auditja kulcsfontosságú. Az ellenpólus, miszerint az AI morális ágens, addig felelőtlen, amíg a visszakövethetőség és a beavatkozási pontok nincsenek rendben; a felelősség embereknél marad, különben vákuum keletkezik. A felelősség érvényes modelljei ezért rétegződnek: a parancsnoki vonal áttekinthetőséget ad, a megosztott felelősség a fejlesztői és integrátori láncokat is bevonja, a szigorú felelősség a magas kockázatú technológiák külső költségeit internalizáltatja, a strukturális igazságtalanság a rendszerszintű torzításokra irányítja a tekintetet, a „jövő etikája” pedig elővigyázatosságot követel az autonóm képességeknél. Lényegében a gépi rendszerek egyik veszélye, ha túlságosan magukra hagyjuk őket. Ha van emberi felügyelet az ugyan a hatékonyságon ronthat, de egyben biztosítja azokat a tényezőket, amelyekkel a gépi rendszerek nem rendelkeznek. Ez azonban sok újabb kérdést vet fel…
A védelem hatékony akkor lesz, ha több réteg egyszerre dolgozik. Fontos az iteratív (ismétlődő) red-teaming. A különböző audit (például hallucináció és elfogultság) a differenciált teljesítményt és a kalibrációt vizsgálja. Az érték- és alignment-próbák azt mérik, mennyire stabil a viselkedés eltérő etikai dilemmákban. Ez nemcsak etikai oktatást tesz szükségessé, hanem a narratívák tisztázását is. A humán dimenziókban sem a terroristák vallási szent iratának értelmezését tartjuk mérvadónak, hanem vallási tekintélyek összességének megnyilatkozásait. Ilyen például egy pápai megnyilatkozás vagy ilyen egy tekintélyes iszlám egyetem imámjainak állásfoglalása.
Lehet ezt játékosan szimulálni is. A megfelelő szimulációk (mint Major Plato) vagy egy wargame az ember–gép együttműködés valós tempóját és információterhelését elemzik. Ezt mind megmásíthatatlan naplózásnak kell alátámasztania, mert ami nincs logolva, az utólag nem rekonstruálható. Egy ilyen naplózás idő- és triggeralapú kell legyen, ami kordában tartja a sodródást (driftet), név szerint rendelt tulajdonosokkal az életciklus minden fázisában. A kör végül a folyamatos üzemeltetési felügyelettel zárul: telemetria, incidenskatalógus, keresési lehetőség. Ez persze nemcsak szimuláció kérdése, hanem éles rendszerek követelménye is kell legyen.
A doktrína ebből minimumkövetelményeket vezet le. Az „ember a hurokban” (HITL), vagyis, hogy emberi jelenlét van az autonóm rendszer működésében kitétel csak akkor jelent valamit, ha pontos az eszkalációs küszöb, a beavatkozás ideje, informatívan tud jelen lenni és van vétójoga. A magyarázhatóság nem esztétikai igény, hanem az elszámoltathatóság feltétele: amit nem lehet rekonstruálni, arra nincs felhatalmazás magas kockázatú akciótérben. Mint a tudományokban a kísérletek megismételhetősége. Az életciklus-felelősség hiányai pedig rendszerszintű hibának minősülnek, az auditálhatóság pedig telepítési előfeltétel. Az oktatás célja nem a kész válaszok, hanem a bizonytalanságkezelés és az algoritmikus ajánlások kritikai vizsgálata. Mindenesetre kell valami, amihez igazodva ki lehet jelenteni, hogy valami helyes vagy helytelen, illetve, hogy kié a felelősség.
A gépi erény kérdése nyitva maradhat; a kormányzásé nem. Az intenciószerű viselkedés ma is megfigyelhető ajánlásokban, etikai „tutorokban”, célazonosítókban. Ezeknek a rendszereknek nem kell „szándékkal” bírniuk ahhoz, hogy az emberi szándékokat imitáljanak. A kevesebb meglepetés és kisebb kockázat onnan jön, hogy célfüggvényekbe kemény etikai korlátokat írunk, adatkészleteket propaganda és torzítás ellen edzünk, felületeken a sietséget jutalmazó mintákat megtörjük, és úgy tesztelünk, mintha az ítélőképességünk múlna rajta — mert valóban azon múlik. Az ideológiai drón így nem egy alkatrész, hanem egymásba kapcsolt döntések, adatok, jutalmak és felületi affordanciák rendszere. Persze ettől még lehet egy drón ideológiailag elfogult, mégis, mintha elmozdulna valamilyen bölcsesség felé. A feladat az, hogy ezt a rendszert láthatóvá, kormányozhatóvá és elszámoltathatóvá tegyük, mielőtt újra felmerül a kérdés: ki döntött — és az a kellemetlen válasz érkezik, hogy senki.
Feladat, hogy a döntés ne maradjon gazdátlan, mert például egy háborúban a morál éppúgy rendszerparaméter, mint az üzemidő. Azaz:
if (human_in_loop || system.has_moral_core()) {
system.run(safely = true);
} else {
system.crash("no moral override");
}Nyitókép: depositphotos.com
