A közigazgatás automatizációjának emlékezetes tévedései
A cikk a technológiába vetett vak, intézményi hitről, a kiszolgáltatott egyén és a nagy szoftveres rendszerek közötti aszimmetriáról, a jogállami alapelvek (mint az ártatlanság vélelme és a jogorvoslathoz való jog) csendes háttérbe szorításának kockázatairól szól a közigazgatási automatizáció területén. Olyan hibákat ír le, melyeket nem szabad újra elkövetni és felhívja a figyelmet arra, miért érdemes valóban megtanulni a közigazgatási automatizált rendszerek írástudását, és nem csak letudni azt, mint hivatali kötelességet.
Bevezetés
A (generatív) mesterséges intelligencia hatásainak megértése iránt hatalmas az érdeklődés, ugyanígy a jó használatának módszerei, tippjei és trükkjei iránt is, egyre-másra találkozhatunk lenyűgözött, csalódott vagy rácsodálkozó beszámolókkal. A mesterséges intelligencia írástudásának ismerete Európában már szabályozásban is megjelenő igény, az AI Act a mesterséges intelligencia rendszereket használóktól kockázatfelismerő, etikus és felelős használatot biztosító képességeket vár el.
A közigazgatásban dolgozók számára is lassan, de gyarapodnak az ilyen jellegű képzések, nem tudom – és nem is akarom – kihagyni a lehetőséget, hogy megemlítsem a Spark-AI szövetség tanyagát (UNESCO – Oxford Egyetem), melyet intézetünk is terjeszt, egyelőre angol nyelven, de folyamatban van a tananyag honosítása.
A szolgáltató állam víziója mind a társadalom, mind a fejlesztők számára természetszerűleg nagyon szerethető megközelítés, melynek motorja a minél kiterjedtebb, megbízhatóan működő automatizáció, újabb időkben a mesterséges intelligencia – kissé mágikusan – ismételgetett alkalmazása. A folyamatok rendbetétele, az okos adatmenedzsment, a megfelelő időben a megfelelő módon, rugalmasan működő ügyintézési és emlékeztetési megoldások drasztikusan növelik a felhasználói élményt, de számos kockázatot is rejthetnek magukban.
Nem csak a jó, de a rossz megoldásokból is lehet tanulni. Három esettanulmány segítségével talán jól szembesülhetünk azzal, hogyan nem szabad fejleszteni, és még inkább, hogyan nem szabad használni, alkalmazni automatizált rendszereket.
A hagyományos bürokráciában van egy „aktatologató”, akit felelősségre lehet vonni vagy akivel lehet vitatkozni, az algoritmikus bürokráciában a hivatalnok az informatikai rendszerre támaszkodik, és hivatkozik a gép döntésére. A hatalom láthatatlanná és megfoghatatlanná válik. E mellett a másik kockázat, hogy a döntéshozók azt hiszik, hogy az adatok és az algoritmusok mentesek az emberi előítéletektől. Valójában azonban a történelmi igazságtalanságokat és a bürokratikus spórolási szándékot kódolják bele a szoftverbe a fejlesztés során. A különböző pilot projektek kutatása során pedig azzal is szembesülhetünk, hogy ezeket a kíméletlen, automatizált rendszereket szinte mindig a társadalom legkiszolgáltatottabb csoportjain (segélyezettek, bevándorlók, kisvállalkozók) tesztelik és alkalmazzák, ahol a legkisebb az ellenállás és a jogi érdekérvényesítő képesség. A modern digitális állam fejlesztésekor ezeket a hibákat kell elkerülni.
Esettanulmányok
Az első esettanulmány 1999-be, a brit posta világába vezet el, a második Ausztráliába, 2016-ba, a harmadik pedig Hollandiába, 2021-be. Mindegyik kritikus tanulságokat hozott – sajnos – mind a társadalom, mind a szakma számára.
A brit posta (Post Office) 1999-ben vezette be a japán Fujitsu által kifejlesztett Horizon nevű elektronikus könyvelési és tranzakciós rendszert. A szoftvert a helyi, franchise rendszerben működő postahivatalok vezetői (subpostmasters) kötelezően használták a napi pénzforgalom elszámolására. A Horizon kódjában olyan kritikus adatbázis-kezelési hibák és hálózati szinkronizációs bugok voltak, amelyek fantompénzhiányokat (olykor több tízezer fontos hiányokat) generáltak a helyi fiókok mérlegében. A Posta vezetése és jogászai szentül hitték, hogy a számítógépes rendszer tévedhetetlen. Amikor a helyi postavezetők jelezték a hibát, a központ azt jelezte vissza nekik, hogy senki más nem tapasztal ilyen problémát, így biztosan ők lopják a pénzt. A brit jogrendszerben élt egy vélelem (presumption of computer reliability), amely szerint a bíróságoknak alapértelmezetten bizonyítékként kellett elfogadniuk a számítógépes rendszerek kivonatait, hacsak a vádlott nem tudta kétséget kizáróan bizonyítani, hogy a szoftver hibás – ami egy zárt forráskódú rendszer esetén laikusoknak lehetetlen volt. 2000 és 2015 között 736 postavezetőt ítéltek el büntetőjogilag sikkasztás és csalás miatt a Horizon hibás adatai alapján. Több száz embert börtönöztek be, sokan elveszítették teljes vagyonukat a nem létező hiányok megfizetése miatt. A megbélyegzés következtében legalább négy postavezető öngyilkosságot követett el, házasságok mentek tönkre és ártatlan emberek kaptak priuszt. A Legfelsőbb Bíróság 2019-es döntése (Bates v Post Office) után megkezdődött az ítéletek tömeges semmissé nyilvánítása. A brit kormány eddig több mint egy milliárd fontot különített el a károsultak kártérítésére, de a jogi rehabilitáció a mai napig elhúzódik.
Ausztráliában a Centrelink 2016-ban indította el az Online Compliance Intervention (Robodebt) automatizált adatösszevetési rendszert. A projekt célja az volt, hogy emberi beavatkozás nélkül azonosítsa a jóléti juttatásokban (pl. munkanélküli segély, diákhitel-támogatás) részesülők esetleges túlfizetéseit. Az algoritmus az adóhivatal éves jövedelmi adatait vetette össze a szociális ügynökség (Centrelink) kétheti jelentéseivel. A gép az éves adózott jövedelmet egyszerűen elosztotta 26 egyenlő részre. Ha egy állampolgár alkalmi munkásként az év első 3 hónapjában sokat keresett (így magas lett az éves átlaga), de a következő 9 hónapban munkanélkülivé vált és jogosan kapott segélyt, a rendszer a mesterséges átlagolás miatt úgy érzékelte, hogy a teljes év során folyamatos jövedelme volt, tehát jogtalanul vette fel a segélyt. Ráadásul megfordították a bizonyítási terhet, a rendszer automatikusan generálta az adósságértesítőt, és a polgárt kötelezte arra, hogy 5–10 évre visszamenőleg mutasson be kétheti bérpapírokat a saját ártatlansága bizonyítására. Az algoritmus több mint 470 ezer hibás vagy jogtalan adósságértesítőt küldött ki a polgároknak, összesen 1,2 milliárd ausztrál dollár (AUD) értékű nem létező tartozást állapított meg. A szövetségi bíróság 2019-ben mondta ki a rendszer törvénytelenségét, három év működés után. A kormánynak 721 millió dollárt kellett készpénzben visszatérítenie 381.000 károsultnak, és az eljárást lezáró csoportos perben további 112 millió dollár kártérítést ítéltek meg. A vizsgálóbizottság számszerűsítette a trauma hatásait is: a jogtalan adósságbehajtási traumatizáció bizonyíthatóan közvetlen összefüggésbe hozható volt több áldozat öngyilkosságával.
A holland adó- és vámhivatal 2013-tól kezdődően prediktív kockázatelemző algoritmust alkalmazott a gyermekgondozási támogatások igényléseinek monitorozására. A cél a rendszerszintű csalások kiszűrése volt, ezek száma folyamatosan növekedett, sőt már külföldi csalók (például közel 800 bolgár állampolgár) használta ki azt, hogy igényléskor azonnal fizet a rendszer, utólag vizsgál felül és hív vissza pénzeket. Az ilyen csalási folyamatok miatt az új algoritmust nagyon szigorúra fejlesztették. A rendszert egy öntanuló klasszifikációs modell vezérelte, amely pontszámokat rendelt az igénylőkhöz. Az algoritmus a kockázati profil felállításakor közvetlen indikátorként (vagy közvetett proxyadatként) használta a kettős állampolgárságot és az alacsony jövedelmi státuszt. Ha valaki nem holland hangzású névvel vagy külföldi születési hellyel rendelkezett, a gép automatikusan magasabb kockázati osztályba sorolta. A rendszer a legkisebb adminisztratív pontatlanságot (pl. egy hiányzó munkáltatói igazolást vagy egy elgépelt számot) is rosszhiszemű csalásként regisztrált. Az üzemeltetők nem vizsgálták felül a gépi riasztásokat. Ha az algoritmus piros jelzést adott, a kifizetéseket azonnal, mérlegelés nélkül leállították és visszamenőleges hatállyal követelték vissza az addig kiutalt összegeket. Körülbelül 26 ezer szülő (és rajtuk keresztül több mint 70 ezer gyermek) vált a rendszer áldozatává. A hatóság átlagosan 10 ezer és 50 ezer euró közötti összegeket követelt vissza a családoktól, amelyeket napokon belül be kellett fizetni. Ez tömeges személyi csődökhöz, lakáskiürítésekhez és egzisztenciális összeomláshoz vezetett. A későbbi kormányzati vizsgálatok kimutatták, hogy a botrány következtében legalább 1115 gyermeket emeltek ki erőszakkal a családjából és helyeztek állami gondozásba a hirtelen jött családi elszegényedés és mentális krízisek miatt. A botrány miatt Mark Rutte kormánya 2021 januárjában kollektíven lemondott (de ugyanabban az évben újra megnyerte a választást).
Lecsapódott tanulságok az AI Act-ben
A holland esetben egy öntanuló algoritmus felügyelet nélkül, diszkriminatív adatok alapján, átláthatatlanul bélyegzett bűnözőnek több tízezer családot. Az AI Act pontosan azokat a rendszerszintű réseket zárja be, amelyek ezt lehetővé tették. Ha a holland adóhivatal ma akarná bevezetni a hírhedt csalásszűrő algoritmusát, az azonnal elbukna a megfelelési fázisban. Nem titkolhatnák el a forráskódot és a logikát, a kettős állampolgárságra épülő torzított adatbázis miatt a rendszer meg sem kaphatná a piaci engedélyt, az ügyintézők pedig törvényileg lennének kötelezve arra, hogy minden egyes gépi riasztást manuálisan, egyedileg felülvizsgáljanak. Az AI Act lényegében kikényszeríti, hogy a bürokrácia ne automatizálhassa a gyanút a jogállamiság alapelveinek feláldozásával.
Az AI Act a kockázatalapú megközelítést alkalmazza. A III. melléklet értelmében magas kockázatú (High-Risk AI Systems – HRAIS) kategóriába sorol minden olyan MI-rendszert, amelyet: az állami hatóságok a polgárok szociális segélyeinek, jóléti juttatásainak és szolgáltatásainak elbírálására, visszavonására vagy ellenőrzésére használnak vagy a magánszemélyek hitelképességének vagy kockázati profiljának megállapítására alkalmaznak. Ezek a rendszerek nem kerülhetnek csak úgy forgalomba. Szigorú, piacra lépés előtti és azt követő megfelelési (megfelelőségértékelési) eljárásokon kell átesniük.
A holland szülők éveken át azért voltak tehetetlenek, mert sem ők, sem maguk az ügyintézők nem tudták megmondani, az algoritmus miért pont az ő profiljukat jelölte meg csalásgyanúsként. Az AI Act kötelezővé teszi a naplózhatóságot (traceability) és a technikai dokumentációt. A rendszereknek automatikusan rögzíteniük kell a működésük során hozott döntések minden lépését. Az AI Act biztosítja az állampolgárok számára a jogot, hogy érthető és világos magyarázatot kapjanak, ha egy magas kockázatú MI-rendszer olyan döntést hoz, amely jelentős hatással van a jogaikra vagy a jólétükre, a hatóságnak kötelező megindokolnia a matematikai döntés mögötti logikát.
A holland adóhivatalban kialakult az úgynevezett automation bias (automatizációs elfogultság): a köztisztviselők vakon bíztak a számítógép jelzésében, és automatikusan aláírták a büntetéseket anélkül, hogy az egyedi emberi sorsokat megvizsgálták volna. A hatóságnak biztosítania kell, hogy az MI-t kezelő személyzet rendelkezzen a szükséges digitális írástudással, megértse a rendszer korlátait és tudatosan ellenálljon a gép tévedhetetlenségébe vetett hitnek.
Ezek mind jó hírek, és a fentiek fényében különösen sajnálatos, hogy elhalasztották az MI-rendszerek kritikus kockázati megfelelőségeinek számon kérhetőségének határidejét december elejére. Az azonban nyilvánvaló, hogy lehet bármilyen szabályozás, lehet bármennyire okosan fejlesztett rendszer, értő és odafigyelő emberek tudása nélkül mit sem érnek. Mindhárom esettanulmány legfontosabb üzenete, hogy a rendszerek a visszajelzések ellenére évekig működtek.
Források
Brit esettanulmány
High Court of Justice (2019): Bates v Post Office Judicial Review (No. 6) „Horizon Issues”. EWHC 3408 (QB).
Christie, S. (2022): The Post Office Horizon Scandal and the Presumption of Computer Reliability. Digital Evidence and Electronic Signature Law Review, 19, 45-56.
House of Commons Library (2024): Post Office (Horizon System) Offences Bill. Research Briefing
Ausztrál esettanulmány
Royal Commission into the Robodebt Scheme (2023): Final Report. Commonwealth of Australia.
Terry Carney (2019) Bringing robo-debts before the law: why it’s time to right a legal wrong
Tapani Rinta-Kahila, Ida Asadi Someh, Nicole Gillespie, Marta Indulska, Shirley Gregor (é.n.) How to avoid algorithmic decision-making mistakes: lessons from the Robodebt debacle
Holland esettanulmány
Childcare Allowance Parliamentary Inquiry
F. Zuiderveen Borgesius (2018) Discrimination, artificial intelligence, and algorithmic decision-making
Nyitókép forrása: BiancoBlue / depositphotos.com
