Odpovědnost umělé inteligence: kdo je zodpovědný, když systém umělé inteligence způsobí škodu?

Váhy spravedlnosti držící malé lidské postavy s otevřenou dlaní pod nimi

Pokud systém umělé inteligence v Nizozemsku způsobí škodu, odpovědnost vždy nese osoba nebo společnost, nikdy ne samotný software. V praxi je nárok směřován na uživatele (organizaci, která systém nasazuje) podle občanskoprávních deliktů, článek 6:162 nizozemského občanského zákoníku (BW), nebo na výrobce podle odpovědnosti za vadný výrobek, článek 6:185 BW, který nevyžaduje zavinění.

Která z těchto dvou stran ponese ztrátu, závisí na tom, kde k selhání došlo, co každá strana věděla a co říká jejich smlouva. Tento článek se zabývá oběma pozicemi. Rámec trestního práva, od funkčního pachatelství až po odpovědnost právnických osob podle článku 51 trestního zákoníku (Sr), je diskutován v našem doprovodném článku o tom, zda může být algoritmus částečně odpovědný.

Kladívko spočívající na klávesnici symbolizující průnik práva a technologie.

Proč sám systém umělé inteligence nikdy nenese odpovědnost?

Nizozemské právo zná pouze fyzické a právnické osoby a systém umělé inteligence není ani jedním z nich. Nelze jej předvolat, pokutovat ani mu nařídit náhradu škody, protože nic nevlastní; návrhy na „elektronickou identitu“ byly projednávány na úrovni EU, ale nebyly přijaty.

Otázkou tedy je, která strana v řetězci nesplnila svou povinnost: vývojář modelu, strana, která jej přeměnila na produkt, dodavatel nebo integrátor, implementující organizace nebo osoba, která na základě výstupu jednala. Odpovědnost za umělou inteligenci spočívá v lokalizaci selhání v daném řetězci a jeho přiřazení k právnímu základu.

Kdy je uživatel odpovědný?

Uživatel je odpovědný, pokud systém nasadí, konfiguruje nebo se na něj spoléhá bez péče, kterou by věnoval rozumný operátor. Organizace, která si vybere nástroj, dodává mu data a jedná na základě jeho výstupů, je posuzována podle svého vlastního chování.

Co když je umělá inteligence použita k spáchání trestného činu?

Úmyslné použití umělé inteligence k trestnému činu nemění podstatu trestného činu. Přesvědčivá faktura vygenerovaná umělou inteligencí použitá k podvodu vůči společnosti je podvodem (oplichting) podle článku 326 Sr, padělaný dokument zůstává padělkem podle článku 225 Sr a kód napsaný umělou inteligencí použitý k narušení systému je počítačovým narušením podle článku 138ab Sr.

Manipulované obrázky skutečné osoby mohou být považovány za pomluvu a sexuální deepfake spadají pod pravidla o sexuálních trestných činech platná od 1. července 2024 (Wet seksuele misdrijven). Trvalé obtěžování s pomocí umělé inteligence může být považováno za stalking podle článku 285b Sr, který je stíhán pouze na základě oznámení oběti. Důkazy, které spojují trestný čin s osobou, jsou výzvy, protokoly účtů, výstupy a metadata souborů; viz náš přehled počítačové kriminality a kybernetické kriminality v Nizozemsku.

Jak vypadá nedbalé užívání?

Více organizací se do problémů dostává kvůli nedbalosti než úmyslu. Systém zakoupený k jednomu účelu se používá k jinému, jeho výstup je považován za rozhodnutí, nikoli za signál, a nikdo nekontroluje případy, kdy je chybný.

Podle článku 6:162 BW je porušení nepsané povinnosti péče protiprávní, posuzované podle toho, co by udělal opatrný provozovatel. Zaměstnavatel je také odpovědný za chyby svých zaměstnanců (článek 6:170 BW) a strana, která používá model dodavatele k plnění své vlastní smlouvy, odpovídá za tuto pomocnou činnost (článek 6:76 BW).

Zákon EU o umělé inteligenci (nařízení (EU) 2024/1689) nyní plní tuto povinnost péče u vysoce rizikových systémů. Zajišťovatelé musí systém používat v souladu s pokyny, pověřit lidským dohledem kompetentní osoby s oprávněním, zajistit relevantní vstupní data, monitorovat provoz, vést protokoly a informovat pracovníky před použitím takového systému v práci. Soud posuzující nedbalost bude tyto povinnosti chápat jako standard pečlivého chování.

Lidský dohled musí být skutečný. Kontrolor, který schválí téměř vše, co systém navrhne, měřeno na základě propustnosti, nepřijímá žádné rozhodnutí; toto „automatizační zkreslení“ je oblastí, kde dohled nejčastěji selhává.

Která rizika nemůže uživatel přenést?

  • Vůči poškozené straně je uživatel viditelným žalovaným. Zákazník, kterému byl odmítnut úvěr, nebo kandidát, kterého screeningový nástroj odmítne, zažaluje dodavatele; postih vůči dodavateli je samostatnou otázkou dle smlouvy.
  • Ochrana osobních údajů se uplatňuje nezávisle. Nasazení je obvykle správcem podle obecného nařízení o ochraně osobních údajů (GDPR) a článek 22 GDPR dává lidem právo na lidský zásah do výhradně automatizovaných rozhodnutí s právními nebo podobně významnými účinky. Viz naši stránku o Obecné nařízení o ochraně údajů.
  • Modifikace mění vaši roli. Nasazení, které uvede své jméno na vysoce rizikovém systému, změní jeho zamýšlený účel nebo jej podstatně upraví, se stává poskytovatelem podle zákona o umělé inteligenci (AI Act) s povinnostmi poskytovatele.
Digitální ilustrace propojených uzlů a linií tvořících globální síť, symbolizující mezinárodní předpisy pro umělou inteligenci.

Kdy je výrobce odpovědný?

Výrobce odpovídá bez zavinění za škodu způsobenou vadou jeho výrobku (článek 6:185 BW). Výrobek je vadný, pokud nenabízí bezpečnost, kterou lze očekávat s ohledem na jeho prezentaci, jeho rozumně očekávané použití a dobu, kdy byl uveden do oběhu; poškozená strana musí prokázat škodu, vadu a příčinnou souvislost.

Nároky musí být uplatněny do tří let od doby, kdy se poškozená strana dozvěděla nebo měla dozvědět o škodě, vadě a totožnosti výrobce, a právo zaniká deset let od uvedení výrobku do oběhu. Odpovědnost za vadu výrobku nelze smluvně vyloučit ani omezit vůči poškozené straně. Výrobce se může dovolávat omezeného souboru obhajob, včetně obhajoby z důvodu vývojového rizika.

Jaké jsou změny v oblasti softwaru v rámci nové směrnice o odpovědnosti za škodu způsobenou výrobkem?

Revidovaná směrnice o odpovědnosti za škodu způsobenou vadou výrobku (směrnice (EU) 2024/2853) vstoupila v platnost dne 8. prosince 2024 a musí být provedena do 9. prosince 2026. Vztahuje se na výrobky uvedené na trh po tomto datu; starší výrobky se i nadále řídí současnými pravidly občanského zákoníku.

  • Software, včetně systémů umělé inteligence, je výslovně produkt.
  • Odpovědnost může nést více stran: kdokoli, kdo podstatně upraví produkt mimo kontrolu výrobce, dovozce, zplnomocněný zástupce a v některých případech poskytovatelé distribučních služeb a online platformy.
  • Zničení nebo poškození dat, která nejsou používána pro profesionální účely, se považuje za nahraditelnou škodu.
  • Produkt se může stát vadným i po uvedení na trh, například v důsledku chybné aktualizace nebo nedodání bezpečnostních aktualizací.

Směrnice také usnadňuje dokazování. Soud může nařídit žalovanému, aby předložil relevantní důkazy, a pokud jim žalovaný nevyhoví, předpokládá se jejich vadnost. Pokud technická složitost dokazování nepřiměřeně ztěžuje, lze vadnost nebo příčinnou souvislost předpokládat, pokud žalobce prokáže jejich pravděpodobnost.

Co může smlouva upravovat?

Mezi podniky je smlouva obvykle prvním bojištěm. Dodavatel musí dodat to, co bylo dohodnuto; nedodržení slíbené přesnosti, dostupnosti nebo souladu se zákonem o umělé inteligenci je považováno za porušení smlouvy, přičemž po oznámení o neplnění je možné plnění, náhradu škody a ukončení smlouvy.

Promlčecí doložky jsou obvykle účinné mezi podniky, ale soud je může zrušit, pokud je jejich spoléhání se na ně nepřijatelné z hlediska přiměřenosti a spravedlnosti (článek 6:248(2) BW), například v případě úmyslu nebo úmyslné nedbalosti. Informace o tom, jak se takové nároky formulují, naleznete na naší stránce o nárocích na náhradu škody .

Poskytuje zákon o umělé inteligenci právo na odškodnění?

Ne. Zákon o umělé inteligenci je regulační: stanoví povinnosti pro poskytovatele a provozovatele a dává orgánům dohledu do vymáhání práva, ale nezakládá nárok na náhradu škody. Evropská komise stáhla svůj návrh směrnice o odpovědnosti za škodu způsobenou umělou inteligencí, takže nároky se řeší v rámci vnitrostátního práva občanskoprávních deliktů a smluvního práva a odpovědnosti za vadný výrobek.

Zákon o umělé inteligenci (AI Act) má u soudu stále význam: nedodržování předpisů je důkazem nedbalosti, v řízení lze vyžádat povinnou technickou dokumentaci a protokoly a zákon upravuje, kdo je poskytovatelem a kdo nasazením. Naše praxe v oblasti IT práva se těmito klasifikačními otázkami zabývá.

Slavnostně vypadající vládní budova pod šedou oblohou, odrážející vážnost nizozemského skandálu s dávkami na péči o děti.

Co když selžou uživatel i producent?

Většina incidentů má několik příčin: nereprezentativní tréninková data, neotestovaná integrace, použití mimo zamýšlený účel a operátoři, kteří neznali limity systému. Podle článku 6:102 BW jsou strany odpovědné za stejnou škodu vůči poškozené straně odpovědné za celek a následně si mezi sebou vypořádají své podíly.

Nizozemská aféra s dávkami na péči o děti (toeslagenaffaire) ilustruje tento vzorec: neprůhledná klasifikace rizik, rozhodnutí bez skutečného individuálního posouzení a důsledky nesené výhradně dotčenými osobami. Její následky byly spíše administrativní a politické než trestní.

Co platí pro autonomní vozidla, drony a roboty?

Fyzická újma přidává objektivní odpovědnost, která se neptá, zda někdo jednal nedbale. Podle článku 185 zákona o silničním provozu z roku 1994 (Wegenverkeerswet 1994) je vlastník nebo držitel motorového vozidla odpovědný za škodu způsobenou chodcům a cyklistům, pokud se nejednalo o vyšší moc, bez ohledu na to, zda byl řízení zajištěn asistenčním systémem řidiče.

Drony spadají pod pravidla EU pro drony, s registrací provozovatele prostřednictvím RDW a dohledem ze strany Inspektorátu pro lidské prostředí a dopravu (ILT). Držitel vadné movité věci, která představuje zvláštní nebezpečí, je odpovědný podle článku 6:173 BW, a to i v případě, že chyba spočívá v jejím softwaru, takže majitel průmyslového robota nemůže jednoduše ukázat na prodejce.

Co byste si měli jako uživatel systému umělé inteligence ověřit?

  • Veďte si inventář systémů umělé inteligence, které používáte, kdo je dodal a jaká rozhodnutí ovlivňují.
  • U každého systému určete, zda jste provozovatelem, nebo po úpravě poskytovatelem podle zákona o umělé inteligenci.
  • Zaznamenejte si zamýšlený účel a řiďte se pokyny k použití od dodavatele.
  • Dejte operátorům skutečnou pravomoc k potlačení systému a neměřte je pouze na základě objemu.
  • Uchovávejte protokoly a záznamy o incidentech dostatečně dlouho, abyste je mohli použít ve sporu.

Co byste si měli jako výrobce nebo dodavatel ověřit?

  • Řízení rizik dokumentů, správa dat a testování na populaci, které bude systém skutečně sloužit.
  • Napište návod k použití, který upřímně uvádí omezení a míru chyb.
  • Stanovit zásady aktualizací, které uvedou, kdo poskytuje bezpečnostní aktualizace a po jak dlouhou dobu, s ohledem na směrnici (EU) 2024/2853.
  • Dohodněte se na stropech odpovědnosti, výjimkách a odškodněních, které odrážejí skutečná rozhodnutí systému.
  • Zařiďte kanál, kterým mohou zákazníci hlásit incidenty a zaznamenávat, jak byl každý z nich vyřešen.
Osoba ručně pokládá dřevěný blok s ikonou odpovědnosti na konstrukci, symbolizující budování rámce pro etiku a odpovědnost umělé inteligence.

Co pro vás můžeme udělat s odpovědností za škodu způsobenou umělou inteligencí?

Naši právníci v oblasti IT a trestního práva v Nizozemsku poskytují poradenství organizacím, které vytvářejí systémy umělé inteligence, a organizacím, které je používají.

  • Určujeme, zda jste poskytovatelem nebo implementátorem podle zákona o umělé inteligenci a jaké povinnosti se na vás vztahují.
  • Prověřujeme a vyjednáváme smlouvy o dodávkách umělé inteligence, včetně stropů, odškodnění a přístupu k protokolům.
  • Po incidentu posuzujeme reklamaci a důkazy, které potřebujete k její obhajobě nebo podání.
  • Posuzujeme trestnou činnost společnosti a jejích ředitelů v případě zneužití systému umělé inteligence.
  • Navrhujeme interní zásady pro umělou inteligenci týkající se lidského dohledu, protokolování a řešení incidentů.

Shrnutí

  • Systém umělé inteligence nemůže nést odpovědnost; odpovědný je uživatel nebo výrobce.
  • Uživatelé nesou odpovědnost za delikt (článek 6:162 BW), přičemž zákon o umělé inteligenci stanoví standard péče pro vysoce rizikové systémy.
  • Výrobci odpovídají bez zavinění za vadné výrobky (článek 6:185 BW) v rozmezí tří a deseti let.
  • Směrnice (EU) 2024/2853 činí ze softwaru produkt a usnadňuje dokazování u produktů uvedených na trh po 9. prosinci 2026.
  • Několik odpovědných stran odpovídá vůči poškozené straně za celek.

Často kladené otázky

Může být systém umělé inteligence svědkem u soudu?

Ne. Svědci v nizozemském trestním řízení jsou osoby s osobní znalostí faktů. Výstup umělé inteligence lze použít jako důkaz, například jako písemný dokument nebo prostřednictvím znalce, který jej vysvětlí.

Jaký je rozdíl mezi občanskoprávní a trestní odpovědností za umělou inteligenci?

Občanskoprávní odpovědnost se týká odškodnění poškozené strany, například podle článku 6:162 nebo 6:185 BW. Trestní odpovědnost se týká trestu ze strany státu a vyžaduje prokázání trestného činu, často včetně úmyslu, ze strany osoby nebo společnosti.

Platí již zákon o umělé inteligenci?

Zákon o umělé inteligenci (nařízení (EU) 2024/1689) vstoupil v platnost 1. srpna 2024 a uplatňuje se postupně. Zkontrolujte, které povinnosti se na vaše systémy vztahují k datu.

Může dodavatel vyloučit odpovědnost za svůj systém umělé inteligence?

Mezipodnikové omezující doložky jsou obvykle platné, ale ne tam, kde je jejich spoléhání se na ně nepřijatelné z hlediska přiměřenosti a spravedlnosti. Odpovědnost za vadný výrobek vůči poškozené straně nelze vyloučit.

Jade Vaneerdewegh
Jade Vaneerdewegh je advokát v Law & More in Eindhoven a AmsterdamPracuje v oblasti trestního a správního práva a své poradenství staví na důkladné analýze faktů a právních předpisů.

Podezřelý z trestného činu?

Napište nám pár řádků k vaší otázce na adresu info@lawandmore.nlDáme vám vědět, zda vám můžeme pomoci a jaký je další krok. Případy ani dokumenty neposuzujeme e-mailem bez předchozí domluvy.

Chcete, aby vaši situaci posoudil právník specializující se na trestní právo? V rámci placené konzultace za 300 EUR včetně DPH získáte směrodatnou odpověď na vaši otázku.

Tento článek poskytuje obecné informace a nenahrazuje rady týkající se vaší konkrétní situace.

Potřebujete právní radu?

Napište nám pár řádků k vaší otázce na adresu info@lawandmore.nlDáme vám vědět, zda vám můžeme pomoci a jaký je další krok. Případy ani dokumenty neposuzujeme e-mailem bez předchozí domluvy.

Chcete, aby vaši situaci posoudil právník specializující se na trestní právo? V rámci placené konzultace za 300 EUR včetně DPH získáte směrodatnou odpověď na vaši otázku.

Související články

Těžké ublížení na zdraví (zwaar lichamelijk letsel) je právní kvalifikace, která mění prosté napadení v

Sexuální napadení (aanranding) znamená provádění sexuálních aktů, které nezahrnují pohlavní styk s někým jiným.

V Nizozemsku po pokutě od regulačního orgánu obvykle následuje zveřejnění

Pokud chce jiná země stíhat nebo uvěznit někoho, kdo se nachází v Nizozemsku,

Podezřelý v Nizozemsku není povinen odpovídat na otázky. Článek 29

Nizozemský trestní soud volí trest v mezích stanovených zákonem a musí