Odpovědnost za algoritmickou zaujatost podle nizozemského a unijního práva

Odpovědnost za algoritmickou zaujatost je právní odpovědnost, kterou organizace nese, když automatizovaný systém produkuje diskriminační výsledky. V Nizozemsku se tato odpovědnost opírá o tři základy, které platí již dnes: obecné ustanovení o občanskoprávních deliktech v článku 6:162 nizozemského občanského zákoníku, právní předpisy o rovném zacházení pod dohledem Nizozemského institutu pro lidská práva a pravidla GDPR o spravedlnosti a automatizovaném rozhodování. Zákon EU o umělé inteligenci přidává další vrstvu, jejíž část je již v platnosti a část začne platit později v tomto desetiletí.

Praktický důsledek je přímočarý. Společnost, která nasadí náborový filtr, kreditní model nebo skóre pro detekci podvodů, je odpovědná za to, co tento systém dělá, ať už model sama vytvořila, nebo zda někdo zamýšlel takový výsledek. V nizozemském zákoně o diskriminaci se počítá účinek rozhodnutí, nikoli motiv, který za ním stojí.

Co odpovědnost za algoritmické zkreslení ve skutečnosti zahrnuje

Algoritmické zkreslení vzniká, když automatizovaný systém zachází s podobnými lidmi odlišně z důvodů, které jsou chráněny zákonem, nebo z důvodů, které je nahrazují. Zřídka se o sobě projeví. Model trénovaný na desetiletí vlastních rozhodnutí společnosti reprodukuje jakýkoli vzorec, který tato rozhodnutí obsahovala, a bude to činit konzistentně, rychlostí a v každém souboru, kterého se dotkne. Tato konzistence je to, co promění technickou vadu v právní odhalení: jediné zkreslené lidské rozhodnutí je incident, zatímco zkreslený model je politika.

Odpovědnost vyplývá ze tří samostatných zdrojů a mohou být spuštěny současně stejným rozhodnutím. Občanskoprávní odpovědnost odškodňuje osobu, která utrpěla ztrátu. Zákon o rovném zacházení dává této osobě cestu k Nizozemskému institutu pro lidská práva (College voor de Rechten van de Mens) nebo k občanskoprávnímu soudu, přičemž důkazní břemeno se přesouvá na organizaci, jakmile je vznesena presumpce diskriminace. Zákon o ochraně osobních údajů dává nizozemskému Úřadu pro ochranu osobních údajů (Autoriteit Persoonsgegevens) donucovací pravomoci, které nezávisí na tom, zda jakákoli osoba podá žalobu.

Nic z toho nevyžaduje individuální zákon o umělé inteligenci. Pravidla, která tyto případy rozhodují, byla napsána ještě předtím, než technologie existovala, a vztahují se na ni beze změn.

Kde se do automatizovaného systému dostává zkreslení

Zaujatost není ojedinělé selhání, které lze jednou otestovat a odstranit. Projevuje se v identifikovatelných bodech životního cyklu a každý bod odkazuje na jiné obvinění z nedbalosti.

• Tréninková data. Historická rozhodnutí nesou historické vzorce. Model trénovaný na nich se tyto vzorce učí jako standard, nikoli jako problém, který je třeba opravit.
• Volba proměnných. Znak, který vypadá neutrálně, může úzce korelovat s chráněným znakem. PSČ zastupující etnický původ je učebnicovým příkladem a vytváří nepřímou diskriminaci i v případě, že samotný chráněný znak nebyl nikdy zaznamenán.
• Způsob, jakým je výstup použit. Model, který má napříč skupinami nerovnoměrné výsledky, může být obhajitelný jako výzkumný nástroj a neobhajitelný jako jediný důvod pro zamítnutí žádosti. Stejné skóre, použité odlišně, vede k odlišnému právnímu výsledku.
• Absence monitorování. Systém, který byl vyvážený při spuštění, se s tím, jak se mění okolní data, mění. Už jen samotné zanedbání kontroly je v mnoha případech projevem nedbalosti.

Právně důležitý rozdíl spočívá v přímé diskriminaci, kdy je chráněný důvod používán otevřeně, a nepřímé diskriminaci, kdy neutrální kritérium znevýhodňuje chráněnou skupinu. Nepřímou diskriminaci lze odůvodnit, pokud je cíl legitimní a prostředky vhodné a nezbytné, ale toto odůvodnění musí být prokázáno a organizace, která nedokáže vysvětlit, proč její model používá danou proměnnou, se k tomuto bodu nedostane.

Nizozemská nadace: občanskoprávní delikt a právo rovného zacházení

Většinu práce v oblasti žaloby na zaujatost vykonávají dva nizozemské právní systémy, které odpovídají na různé otázky. Občanskoprávní právo se ptá, zda organizace jednala nedbale a jaká je hodnota ztráty. Právo rovného zacházení se ptá, zda byl výsledek diskriminační, a činí tak s důkazním břemenem, které je záměrně vstřícné k žalobci.

Nedbalé nasazení jako protiprávní čin

Článek 6:162 nizozemského občanského zákoníku činí osobu odpovědnou za protiprávní čin (onrechtmatige daad), který jí lze přičíst a který způsobil škodu. Nasazení automatizovaného systému, který organizace netestovala, neověřila ani nemonitorovala, může být samo o sobě protiprávním jednáním, a to nezávisle na diskriminačním výsledku. Žalobce musí prokázat čin, přičítání, škodu a příčinnou souvislost mezi nimi; použitý standard je takový, jaký by měla udělat opatrná organizace ve stejné situaci.

Pokud systém pochází od dodavatele, není nasazující organizace této povinnosti zproštěna. Může mít vůči dodavateli smluvní nárok z vadného plnění podle článku 6:74 občanského zákoníku, ale to je samostatný spor mezi dvěma obchodními stranami. Neodpovídá se na nárok žadatele, který byl zamítnut.

Právo rovného zacházení a přesunuté důkazní břemeno

Zákon o diskriminaci na základě věku (Algemene wet gelijke behandeling) a související sektorové zákony, včetně zákona o diskriminaci na základě věku (WGBL) a zákona o zdravotním postižení a chronických onemocněních (WGBH/CZ), zakazují přímé i nepřímé rozlišování na základě chráněných důvodů. V oblasti zaměstnání článek 7:646 občanského zákoníku doplňuje ustanovení o rovnosti pohlaví.

Procesní pravidlo je to, které rozhoduje většinu případů. Jakmile žalobce předloží skutečnosti, které zakládají domněnku diskriminace, důkazní břemeno se přesouvá: organizace pak musí prokázat, že zákaz neporušila. Organizace, která nemůže prokázat, co její model zvažoval, na jakých datech a s jakým testováním, se tohoto břemene nemůže zbavit. V tomto bodě přestává být špatná dokumentace interním problémem a stává se důvodem pro ztrátu žaloby.

Stížnosti lze podat také Nizozemskému institutu pro lidská práva, jehož stanoviska nejsou závazná, ale jsou široce respektována a často se používají jako důkaz v následných občanskoprávních řízeních.

Co GDPR vyžaduje od automatizovaných rozhodnutí

GDPR upravuje stejné systémy z hlediska ochrany osobních údajů. Článek 22 dává osobě právo nebýt předmětem rozhodnutí založeného výhradně na automatizovaném zpracování, včetně profilování, pokud toto rozhodnutí má právní účinky nebo se jí podobně významně dotýká. Rozhodnutí o náboru, úvěrech a benefitech obvykle spadají pod tento popis.

Slovo, které nese váhu, je výhradně . Lidská angažovanost činí rozhodnutí mimo rámec článku 22 pouze tehdy, je-li smysluplná: osoba s pravomocí a informacemi k dosažení jiného závěru, nikoli operátor, který potvrzuje cokoli, co se na obrazovce zobrazí. Razítkování je považováno za automatizované rozhodování.

Bez ohledu na článek 22 platí dvě další povinnosti. Princip spravedlnosti v článku 5(1)(a) je samostatným požadavkem, který diskriminační model ze své podstaty porušuje, a článek 35 vyžaduje posouzení vlivu na ochranu osobních údajů před zpracováním, které pravděpodobně povede k vysokému riziku pro jednotlivce, což je obecně systematické profilování žadatelů nebo zákazníků. Maximální pokuta za porušení těchto ustanovení je stanovena článkem 83(5) GDPR na vyšší částku než dvacet milionů eur nebo čtyři procenta celosvětového ročního obratu.

Náš přehled o ochraně osobních údajů, GDPR, umělé inteligenci a velkých datech podrobněji popisuje, jak tyto povinnosti interagují s rozsáhlým využíváním dat.

Co zákon o umělé inteligenci již vyžaduje a co začíná později

Nařízení (EU) 2024/1689, zákon o umělé inteligenci, již není návrhem. Vstoupilo v platnost 1. srpna 2024 a uplatňuje se postupně. Od 2. února 2025 platí zákazy uvedené v článku 5 spolu s povinností uvedenou v článku 4 zajistit, aby zaměstnanci pracující se systémy umělé inteligence měli odpovídající úroveň gramotnosti v oblasti umělé inteligence. Povinnosti pro univerzální modely umělé inteligence platí od 2. srpna 2025, stejně jako ustanovení o správě a sankcích.

Režim pro vysoce rizikové systémy je částí, která se nejvíce týká zaujatosti, a je to také část, která byla odložena. Systémy umělé inteligence uvedené v příloze III, které zahrnují systémy používané pro nábor a výběr, pro rozhodování o povýšení a ukončení pracovního poměru, pro hodnocení úvěruschopnosti a pro posuzování rizik v pojišťovnictví, se od 2. prosince 2027 stanou předmětem povinností týkajících se vysoce rizikových systémů. Systémy s vysokým rizikem, které jsou bezpečnostními komponenty regulovaných produktů podle přílohy I, následují od 2. srpna 2028.

Když se tyto povinnosti dotknou, kodifikují mnoho z toho, co již zahrnuje pečlivá praxe: správa dat zaměřená na reprezentativní a chybovostmi kontrolované datové sady, technická dokumentace, automatické protokolování, transparentnost vůči dotčeným osobám, lidský dohled zabudovaný do systému, nikoli připevněný k němu, a posouzení shody před uvedením systému na trh nebo do provozu. Implementační subjekty, nejen poskytovatelé, nesou své vlastní povinnosti, včetně vedení protokolů a přidělování dohledu kompetentním osobám.

Dva body jsou pravidelně nepřesně uvedeny. Stropy pokut jsou spíše odstupňované než jednotné: za porušení zakázaných praktik v článku 5 se vztahuje až třicet pět milionů eur nebo sedm procent celosvětového obratu, zatímco nedodržení povinností týkajících se vysokého rizika má nižší strop patnáct milionů eur nebo tři procenta. A navrhovaná směrnice o odpovědnosti za škody způsobené umělou inteligencí, která by v celé EU zmírnila důkazní břemeno pro osoby poškozené systémy umělé inteligence, byla stažena. Neexistuje žádný harmonizovaný evropský režim odpovědnosti za škody způsobené umělou inteligencí; nárok v Nizozemsku je nárokem podle nizozemského práva.

Národní vymáhání práva se stále buduje. Nizozemsko dosud nedokončilo prováděcí akt, kterým by se podle nařízení určily jeho orgány dozoru nad trhem, ačkoli nizozemský Úřad pro ochranu osobních údajů a nizozemský Úřad pro digitální infrastrukturu se ujaly koordinační role v přípravných pracích. Rámec podrobněji rozebíráme v našem průvodci právní stránkou umělé inteligence a zákonem EU o umělé inteligenci.

Jak se tyto tři rámce srovnávají

Tyto rámce se spíše překrývají, než aby si konkurovaly. Jedna zamítnutá žádost může na základě stejných skutečností vést k občanskoprávní žalobě, stížnosti Institutu, regulačnímu vyšetřování a v konečném důsledku i k porušení zákona o umělé inteligenci.

Co prokázaly nizozemské případy

Dvě epizody formují přístup nizozemských soudů a regulačních orgánů k automatizovaným rozhodnutím a obě se týkají stejného selhání: neprůhledného systému aplikovaného na lidi, kteří nechápali, jak funguje.

V únoru 2020 Okresní soud v Haagu zastavil systém SyRI, systém indikace rizik, pomocí kterého veřejné orgány kombinovaly data z různých zdrojů za účelem odhalování podvodů v oblasti dávek a daní. Soud rozhodl, že legislativa, na které je systém založen, nesplnila test spravedlivé rovnováhy podle článku 8 Evropské úmluvy o lidských právech. Osudovou nebylo samotné použití analýzy dat, ale absence transparentnosti a ověřitelnosti: nebyl zveřejněn ani model rizik, ani ukazatele, takže ani dotčený občan, ani soud nemohli ověřit diskriminační účinek. Poučení pro soukromé organizace je, že systém, který nikdo nedokáže vysvětlit, nelze obhájit, protože strana, která jej provozuje, nese břemeno jeho ospravedlnění.

Skandál s dávkami v péči o děti (toeslagenaffaire) svými důsledky poukázal na stejný bod. Daňová správa použila automatizovaný výběr rizik, který považoval ukazatele, jako je dvojí občanství, za signál podvodu, a desítky tisíc rodičů byly nesprávně označeny a vymáhány za vrácení peněz. Nizozemský úřad pro ochranu osobních údajů shledal základní zpracování nezákonným a diskriminačním a uložil donucovací opatření. Potvrdil také zásadu, která je zde nejdůležitější: obhajoba, že systém vedl k danému výsledku, nemá žádnou váhu, protože samotná volba provozovat systém je posuzovaným činem.

Kde vzniká odpovědnost v rámci běžného obchodního styku

Většina expozic nikdy nedosáhne zásadního rozhodnutí. Vzniká v rámci známých provozních rozhodnutí.

Náborový filtr vyškolený na základě historie náboru dané organizace se naučí jakékoli preference, které tato historie obsahovala, a aplikuje je na každého dalšího uchazeče. Vzhledem k tomu, že náborové nástroje jsou přímo součástí přílohy III zákona o umělé inteligenci a zároveň se dotýkají článku 22 GDPR, vztahují se na všechny tři rámce najednou. Úvěrový nebo pojistný model, který používá PSČ, mezeru v historii zaměstnání nebo zástupnou hodnotu podobného charakteru, může vést k nepřímé diskriminaci, i když datová sada neobsahuje žádnou chráněnou charakteristiku. Systém řízení pracovní síly, který přiděluje směny, monitoruje výkon nebo se podílí na rozhodnutích o ukončení pracovního poměru, spadá do stejné kategorie s dodatečnou komplikací, že rada zaměstnanců může mít právo souhlasu podle zákona o radách zaměstnanců před zavedením takového systému.

V každém případě je otázka, kterou nizozemský soud klade, stejná. Co organizace věděla o tom, jak se systém choval, co udělala pro to, aby to zjistila, a co udělala, když se vzorec stal viditelným?

Dodavatel a implementátor: kdo za co odpovídá

Koupí systému se s ním nepřenáší riziko. Podle zákona o umělé inteligenci mají poskytovatel a provozovatel oddělené povinnosti a podle nizozemského občanského práva poškozená osoba žaluje toho, kdo učinil rozhodnutí, které se jí dotklo, což je téměř vždy provozovatel.

Smlouvy mohou pouze rozdělit finanční důsledky a zajistit informace potřebné k obhajobě nároku. Zadávací smlouva, která se vyplatí mít, specifikuje metriky výkonu a spravedlnosti, které systém musí splňovat, zaručuje přístup k dokumentaci, výsledkům testů a protokolům, dává právo na audit, vyžaduje, aby dodavatel oznámil podstatné změny modelu, a stanoví, jak se rozdělují náklady na odpovědnost a obhajobu v případě vzniku nároku. Co smlouvy nemohou, je odstranit regulační pokutu nebo zákonnou povinnost. Náš článek o tom, kdo je odpovědný za chyby způsobené umělou inteligencí , se tímto rozdělením podrobněji zabývá.

Řízení rizika před nahlášením pojistné události

Obranná pozice v případě stížnosti na zaujatost se buduje dlouho před jejím uplatněním a skládá se téměř výhradně ze záznamů. Protože důkazní břemeno se přesouvá, jakmile je stanovena presumpce diskriminace, organizace, která může prokázat, co testovala, kdy a co s výsledkem udělala, je v zásadně odlišné pozici od té, která to nedokáže.

Funkční program má čtyři prvky. Testování před nasazením, porovnání míry výsledků napříč skupinami chráněnými zákonem a zkoumání trénovacích dat a vybraných proměnných pro reprezentaci aproximačních ukazatelů. Pokračování testování i po nasazení, protože model, který byl vyvážený při spuštění, takový nezůstane. Dejte jedné jmenované osobě nebo výboru pravomoc přezkoumávat výsledky a pozastavovat systém tak, aby rozhodnutí o jeho pokračování bylo rozhodnutím, které někdo učinil, a ne selháním, za které nikdo nenese odpovědnost. A zaznamenejte vše, včetně zdrojů dat, validace, zjištění auditu a nápravných kroků, ve formě, kterou lze předat regulačnímu orgánu nebo předložit v rámci řízení.

Kromě toho zachovat lidské rozhodnutí skutečně lidské tam, kde se uplatňuje článek 22, provést posouzení dopadu na ochranu osobních údajů před spuštěním systému, a nikoli až poté, ověřit, zda hraje roli rada zaměstnanců, a být schopen dotčené osobě srozumitelně sdělit, proč rozhodnutí dopadlo tak, jak dopadlo. Žádný z těchto kroků není exotický a režim vysoce rizikového zákona o umělé inteligenci bude většinu z nich od prosince 2027 v každém případě povinný pro náborové, úvěrové a pojišťovací systémy. Organizace, které je nyní budují, prostě přicházejí dříve.

Co dělat, pokud je rozhodnutí napadeno

Když žadatel, zákazník nebo zaměstnanec zpochybňuje automatizované rozhodnutí, prvním úkolem je faktický: zjistit, co systém v daném případě skutečně udělal, jaké vstupy použil, zda daná osoba použila skutečný úsudek a zda výsledek odpovídá širšímu vzorci. Udělejte to před odpovědí, protože nepřesná první reakce se později obtížně opravuje a bude vykládána v neprospěch organizace.

Uschovejte protokoly a příslušnou verzi modelu. Posuďte stížnost vůči všem třem rámcům, nikoli vůči té, kterou stěžovatel náhodou uplatnil, protože stížnost na ochranu osobních údajů a stížnost na diskriminaci mohou vycházet ze stejného souboru. Pokud je vzorec skutečný, jeho oprava a náprava dotčených rozhodnutí omezí škody mnohem účinněji než obhajoba.

Law & More Poskytuje poradenství společnostem v právních otázkách automatizovaného rozhodování: posuzuje riziko podle nizozemského práva v oblasti občanskoprávních deliktů a rovného zacházení, kontroluje soulad s GDPR v oblasti profilování a automatizovaných rozhodnutí, připravuje se na povinnosti vyplývající ze zákona o umělé inteligenci, které se vztahují na náborové, úvěrové a pojišťovací systémy, vyjednává dodavatelské smlouvy a obhajuje v žalobách a regulačních šetřeních. IT právníci rádi s vámi probereme, jak se pravidla vztahují na systémy, které používáte.

Často kladené otázky o odpovědnosti za algoritmické zkreslení

S tím, jak se firmy hlouběji ponořují do umělé inteligence, si mnoho vedoucích pracovníků klade velmi specifické otázky týkající se odpovědnosti. Níže se zabýváme některými z nejčastějších a nejnáročnějších dotazů a nabízíme jasné odpovědi, které vám pomohou zorientovat se v této složité právní oblasti.