Az algoritmikus hatásvizsgálat (algorithmic impact assessment) segít felmérni a mesterséges intelligencia rendszerek (MI-rendszerek) lehetséges társadalmi hatásait, még használatba vételük előtt. Használata nagyobb elszámoltathatóságot teremt az MI-rendszerek tervezése és telepítése során az érintett kutatók, döntéshozók és fejlesztők számára, valamint növelheti a nyilvánosság MI-vel kapcsolatos bizalmát. Ezen túlmenően, az algoritmikus hatásvizsgálat csökkentheti, illetve kizárhatja az MI-rendszer által okozható károk bekövetkezésének kockázatát is.
Az algoritmikus hatásvizsgálat formájával és tartalmával kapcsolatban még nincs egységes nemzetközi gyakorlat, de az Egyesült Királyságban az egészségügyi ellátást biztosító Nemzeti Egészségügyi Szolgálat (National Health Service – „NHS”) nemrég kibocsátotta saját hatásvizsgálat-metodológiáját, ami meghatározó minta lehet más országokban végzett MI fejlesztések során is.
Ebben a cikkben ennek az algoritmikus hatásvizsgálatnak a tervezett alkalmazását mutatjuk be.
MI-rendszerek használata az egészségügyben és a kapcsolódó kockázatok
Az adatvezérelt technológiákat (beleértve az MI-t is) egyre gyakrabban használják az egészségügyi szektorban: az ellátás során keletkező adatok és információk gépi tanulás segítéségével történő elemzése időt és erőforrást takarít meg az egészségügyi szakemberek és az egészségügyi intézmények számára, az elemzés eredményei pedig automatizált diagnosztika, pontosabb diagnózisok, személyre szabott orvoslás céljából is felhasználhatók.
A fentiek során
az innováció elősegítése érdekében egyre gyakrabban merül fel az igény piaci szereplők részéről, hogy az állami szervek az általuk kezelt egészségügyi adatokat szélesebb körben hozzáférhetővé tegyék, kutatási célból.
Ennek során egyrészt figyelemmel kell lenni az adatvédelmi szempontokra: az adatok lehetnek kevésbé érzékeny természetűek (például kórházi felvételi arányra vonatkozó adat), de lehetnek közöttük személyes adatok különleges kategóriái is (például etnikai származásra, vagy a családban előfordult betegségre vonatkozó adatok). Másrészt, az MI képes támogatni az egészségügyi szakembereket abban, hogy jobb ellátást nyújthassanak az embereknek, az adatvédelmi szempontok mellett azonban fontos a felhasznált algoritmusok átláthatóságának és ellenőrizhetőségének a biztosítása is.
Mi az az „algoritmikus torzítás”?
Kiemelten kell figyelni arra, hogy a felhasznált MI-rendszer igénybe vétele során a lehető legjobban csökkentsék a meglévő egészségügyi egyenlőtlenségeket esetleg súlyosbító „algoritmikus torzítás” kockázatát – ebben segít elsősorban az algoritmikus hatásvizsgálat.
„Algoritmikus torzítás”, amikor az MI-rendszerek rendszerszinten és indokolatlanul különbséget tesznek bizonyos emberek vagy bizonyos embercsoportok között, adott esetben kárt okozva ezzel. A torzítás már előfordulhat a gépi tanuláshoz szükséges adatgyűjtés során (mintavételi torzítás), valamint akkor is, ha a telepített MI-rendszer megerősíti a meglévő emberi döntéshozatali torzításokat (automatizálási torzítás). A kár pedig lehet „elosztási kár” (harms of allocation), amikor az MI-rendszer segítségével hozott döntés csak bizonyos csoportok számára biztosít valamilyen lehetőséget, vagy bizonyos csoportoktól visszatart valamilyen lehetőséget – például munkalehetőséget, erőforrást, anyagi juttatást. Emellett a kár lehet „reprezentációs kár” (harms of representation), ahol az MI-rendszerek az adott személyt identitása – például a bőrszíne – alapján különböztetik meg.
Az egészségügyben a fenti torzítások elsődleges kockázata, hogy ronthatják az egészségügyi ellátáshoz való hozzáférési lehetőségeket.
Az NHS algoritmikus hatásvizsgálat mintája
Az NHS által pilot jelleggel bevezetett algoritmikus hatásvizsgálat támogatja a kutatókat és a fejlesztőket az MI-rendszerek használata által a páciensek és a nyilvánosság számára jelentett lehetséges kockázatok és algoritmikus torzítások felmérésében.
A konkrét projekt során az NHS hozzáférést biztosít az „Országos Orvosi Képalkotó Platform” (National Medical Imaging Platform) elnevezésű, mellkasröntgen, MRI, bőr, szemészeti és egyéb egészségügyi célú képeket tartalmazó adatkészlethez. A platformot a lehetséges felhasználók kutatási és gyógyászati célú MI-rendszerek betanítására, tesztelésére, és validálására használhatják, azt követően, hogy az algoritmikus hatásvizsgálat segítségével felmérték az adatelemzéshez használt algoritmikus rendszer lehetséges kockázatait.
Hogy néz ki maga az algoritmikus hatásvizsgálat?
Az algoritmikus hatásvizsgálat sok tekintetben hasonlít a GDPR által is előírt adatvédelmi hatásvizsgálathoz, amelynek célja, hogy minimálisra csökkentse az adatkezelési technológiák és módszerek által az érintettek magánszférájára gyakorolt hátrányos hatást. Az algoritmikus hatásvizsgálat hasonló módon teszi lehetővé a szervezetek számára, hogy felmérjék azokat a lehetséges kockázatokat és eredményeket, amelyek az MI-rendszerbe bevitt adatok felhasználásával kapcsolatban jelentkezhetnek, és ezek felismerésével a szervezetek a fejlesztés korai szakaszában, illetve a szélesebb körű megvalósítás előtt elvégezhetik az MI-rendszerekben szükséges módosításokat.
Az NHS algoritmikus hatásvizsgálat mintája szerint adatvédelmi szempontokon túl az algoritmikus hatásvizsgálatban az alábbi szempontokat kell megvizsgálni:
- Kik fogják használni az MI-rendszert, és milyen együttműködés, valamint információ-megosztás szükséges a felhasználók között?
- Hogyan lehet előzetesen határozni, hogy a rendszer mikor működik a tervezett/tervezett módon, valamint azt is, hogy a hibák, vagy váratlan események hogyan kezelhetők?
- Milyen hibák merülhetnek fel az MI-rendszer használata során? Lehet-e visszaélésszerűen használni az MI-rendszert – akár véletlenül, akár szándékosan? Például: meg lehet-e változtatni a betáplált adatok felhasználásának kimeneteit?
- Milyen közvetlen és közvetett károkat okozhat az MI-rendszer, ez mennyire és mikor észlelhető, valamint milyen következményekkel járhat? Az esetleg bekövetkező kárt lehetséges-e helyrehozni, vagy legalább enyhíteni?
- Hogyan befolyásolhatja az MI-rendszer használata a páciensek és az egészségügyi szakemberek közötti kapcsolatot? Lehetséges-e például, hogy az MI-rendszer használata miatt egyes páciensek nem fogják igénybe venni az ellátást, vagy visszatartanak információkat az egészségügyi szakemberekkel folytatott megbeszélések során?
- Hogyan lehet ellenőrizni az MI-rendszerbe betáplált adatok pontosságát?
- Lehetséges-e az MI-rendszer által alkalmazott logikára és arra vonatkozóan érthető információkat biztosítani, hogy az MI-rendszer segítségével hozott döntések (kimenetek) milyen jelentőséggel, és az érintettre nézve milyen várható következményekkel bírnak?
- Hogyan tudnak majd az MI-rendszert használó, vagy az MI-rendszer használata általa érintett személyek emberi beavatkozást kérni, álláspontjukat kifejezni, és az MI-rendszer által hozott döntéssel szemben kifogást benyújtani?
- Tiltakozhatnak-e az érintettek az MI-rendszer használata ellen?
- Mik az MI-rendszer (a felhasznált szoftver, hardver és berendezés) környezeti hatásai – elsősorban az, hogy mennyi számítási kapacitásra és energiára lesz szükség az MI-rendszer (és a kapcsolódó szoftver, hardver vagy berendezés) betanításához és működtetéséhez?
