A klinikai mesterséges intelligencia és a bizalom kérdése: elvek helyett eljárások

Az egészségügyi mesterséges intelligenciával szemben megfogalmazott aggodalmak között az egyik leggyakrabban visszatérő elem a bizalom hiánya, vagy pontosabban fogalmazva: az, hogy nem világos, mire alapozva kellene bízni egy algoritmusban. Egy 2026-ban megjelent elemzés éppen ezt a kérdést járja körül: mit jelent valójában a megbízható klinikai mesterséges intelligencia, és hogyan lehet a megbízhatóságot nem csupán deklarálni, hanem a fejlesztési folyamatba ténylegesen beépíteni. A szerzők – európai, közel-keleti és brit intézmények kutatóiból álló konzorcium – az AI-PROGNOSIS nevű, Parkinson-kór diagnosztikájára és gondozástámogatására irányuló Horizon Europe kutatási projekt tapasztalatait dolgozzák fel.

A bizalom nem csupán pontosság kérdése

A klinikai AI megítélésében sokáig szinte kizárólagos mérőszám volt a diagnosztikai pontosság: hány százalékban ismeri fel helyesen az algoritmus a betegséget? Ez a szempont fontos, de önmagában nem elégséges. A szerzők amellett érvelnek, hogy a megbízhatóság összetett, többdimenziós tulajdonság, amelynek legalább nyolc egymással összefüggő összetevője van: a robusztusság (hogyan teljesít a rendszer hiányos vagy zajos adatok esetén), az általánosíthatóság (mennyire működik olyan populációkon, amelyeken nem tanult), az értelmezhetőség, az elszámoltathatóság, az átláthatóság, a reprodukálhatóság, a méltányosság (vagyis hogy nem hoz-e szisztematikusan rosszabb döntéseket egyes betegcsoportokra) és az adatvédelem. Ezek a dimenziók nem kezelhetők egymástól függetlenül – az egyiken tett javítás könnyen gyengítheti a másikat. Egy átláthatóbb modell például könnyebben sérti a betegek adatvédelmét; egy pontosabb, de komplex neurális hálózat nehezebben magyarázható el a kezelőorvosnak.

Az ALTAI-keretrendszer mint munkamódszer

Az Európai Unió Mesterséges Intelligencia Szakértői Csoportja által kidolgozott ALTAI (Assessment List for Trustworthy Artificial Intelligence) keretrendszer arra vállalkozik, hogy ezeket az elvont megbízhatósági szempontokat konkrét ellenőrzési pontokká alakítsa a fejlesztési folyamat egészén át. A keretrendszer hét követelményt tartalmaz: az emberi felügyelet és beavatkozási lehetőség biztosítását, a technikai robusztusságot és biztonságot, az adatvédelmet és az adatkezelés átláthatóságát, az értelmezhetőséget, a méltányosságot és a diszkrimináció elkerülését, a társadalmi és környezeti hatás figyelembevételét, valamint az elszámoltathatóságot. Ezeket nem utólagos értékelési szempontokként, hanem az AI-rendszer tervezésétől az üzembe helyezésen át a hosszú távú monitorozásig végigkísérő, iteratív ellenőrző mechanizmusokként alkalmazzák.

A szerzők tíz AI-fejlesztővel és adattudóssal végzett belső felmérést az AI-PROGNOSIS konzorciumon belül – öt partnerintézményből, köztük két akadémiai központból és három kis- és közepes méretű vállalkozástól. A részt vevők a keretrendszer tizenhét aldoménjét értékelték háromfokú skálán aszerint, mennyire tartják azokat lényegesnek a projektjük szempontjából.

Amit a fejlesztők fontosnak tartanak

A felmérés eredményei önmagukban is tanulságosak. A fejlesztők a pontosságot, az adatvédelmet, a megbízhatóságot, a tartalékeljárások meglétét és az értelmezhetőséget tartották a legfontosabbnak. Ezek értelemszerűen azok a szempontok, amelyek közvetlenül befolyásolják a napi fejlesztői munkát és a rendszer technikai teljesítményét. Ezzel szemben a társadalmi hatások – a munkavégzésre, a demokratikus intézményekre vagy a szélesebb közösségre gyakorolt következmények – következetesen alacsony prioritást kaptak, a környezeti hatás kérdését pedig a résztvevők egyáltalán nem tartották relevánsnak a projektjük szempontjából.

A szerzők ezt a mintázatot nem meglepőnek, de aggasztónak tartják. Nem azt jelenti, hogy a fejlesztők közömbösek ezekre a kérdésekre, hanem hogy a napi munka logikája és a teljesítési kényszerek természetszerűen a közvetlen, mérhető szempontok felé terelik a figyelmet. A tágabb társadalmi következmények diffúzabbak, nehezebben operacionalizálhatók, és kevésbé érezhetők az adott fejlesztési mérföldkő szempontjából relevánsnak. Ez azonban éppen az a rés, amelyen át a klinikai AI komoly, hosszú távú károkat okozhat – és amelynek betömésére a strukturált keretrendszer hivatott.

A keretrendszer alkalmazása a fejlesztési folyamatban

Az AI-PROGNOSIS projektben az ALTAI hét követelményét a fejlesztési folyamat hat szakaszára vetítették le: a tervezési és specifikációs fázisra, az adatelőkészítésre, a modellépítésre és validálásra, a felhasználói felület kialakítására és az üzembe helyezésre, a külső validálásra, valamint az átfogó irányítási és munkafolyamat-kezelésre.

Ez a leképezés azt tette lehetővé, hogy minden fázisban azonosíthatóvá váljanak az adott szakaszhoz tartozó megbízhatósági kockázatok, és beépíthetők legyenek a megfelelő védőmechanizmusok. A tervezési fázisban ez a tartalékeljárások és a dokumentációs struktúra meghatározását jelentette. Az adatelőkészítés során a cél a szisztematikus átvizsgálás volt az adatminőségi protokollok és a potenciális torzítási források tekintetében. A felhasználói felület kialakítása során betegekkel, klinikusokkal és felhasználói élmény szakértőkkel közösen dolgozták ki, hogyan jelenjenek meg a modell kimeneti értékei – beleértve a kockázati figyelmeztetéseket és a döntési logika magyarázatát is.

Különösen figyelemre méltó az a megfigyelés, hogy a keretrendszer alkalmazása nemcsak ellenőrzési célokat szolgált, hanem a fejlesztői csapaton belüli reflexiót is elindította. A strukturált értékelési folyamat során olyan kérdések kerültek felszínre, amelyekre egyébként csak később, a klinikai bevezetés után szembesültek volna: milyen következményei vannak egy hamisan pozitív kockázati besorolásnak a páciens számára? Mit közöljön a felhasználói felület abból, amit a modell „tud" – és mit ne? Ezek nem pusztán technikai kérdések.

Feszültségek, amelyek nem oldhatók fel

A szerzők őszintén tárgyalják azokat az ellentmondásokat, amelyek a megbízható AI fejlesztése során szükségszerűen felmerülnek. Az értelmezhetőség és a prediktív pontosság között valódi feszültség van: az egyszerűbb, átláthatóbb modellek gyakran gyengébbek a hosszú távú, többváltozós minták felismerésében, míg a pontosabb, összetettebb architektúrák nehezebben magyarázhatók el egy klinikusnak vagy betegnek. Az átláthatóság kötelezettségei és az intézményi vagy üzleti érdekek is ütközhetnek egymással – a modell viselkedésének, az adatok eredetének vagy a forráskódnak a nyilvános közzétételével szemben szellemi tulajdonjogi vagy felelősségi aggályok merülhetnek fel. Az adatvédelem és a méltányossági auditok szintén egymásnak feszülnek: a GDPR-előírások számos esetben megakadályozták, hogy az AI-PROGNOSIS projektben etnikai hovatartozásra vagy szocioökonómiai státuszra vonatkozó adatokat gyűjtsenek – ezek hiányában viszont nem végezhető el annak ellenőrzése, hogy a modell valamely kisebbségi csoportra szisztematikusan rosszabb teljesítményt nyújt-e.

Szabályozási háttér és a klinikai releváns következtetések

Az EU mesterséges intelligenciáról szóló rendelete (AI Act), amely 2024-ben lépett hatályba, az egészségügyi rendszereket nagy kockázatú alkalmazási területként sorolja be, és konkrét kötelezettségeket ír elő: átláthatóságot, emberi felügyeletet, robusztusságot és forgalomba hozatal utáni nyomon követést. A szerzők rámutatnak, hogy az ALTAI keretrendszer mechanizmusai nagymértékben átfednek ezekkel a szabályozási elvárásokkal – aki tehát ALTAI-alapú eljárásokat épít be a fejlesztési folyamatba, az egyúttal felkészül az AI Act megfelelési követelményeire is.

Klinikai szempontból az elemzés legfontosabb tanulsága az, hogy a megbízható klinikai AI nem születhet csupán technikai pontosságból. Ahhoz, hogy egy algoritmus valóban beépülhessen a mindennapi klinikai döntéshozatalba – és ott hosszú távon is megbízható maradjon –, a fejlesztési folyamat elejétől gondolni kell az emberi felügyeletre, az értelmezhetőségre, a méltányosságra és az intézményi felelősségvállalásra. Nem mint utólagos szempontokra, hanem mint a tervezés alapelveire.

Forrás: Saad, A., Dias, S. B., Alhussein, G., Lyreskog, D., Gerasimou, I., Alves, B., De Vos, Μ., Drivas, I., Zaras, J., Stergioulas, A., Bensenousi, I., Hadjileontiadis, L., Chatzichristos, C., & Hadjidimitriou, S. (2026). Clinical AI is Not (Yet) Trustworthy-But It Could Be. Journal of Medical Internet Research, 28, e85433. https://doi.org/10.2196/85433