Przykładów nieudanych prób wprowadzania algorytmów w zakresie postępowań administracyjnych nie musimy szukać daleko. Okazuje się bowiem, że opisany przez nas w ramach poprzedniego wpisu w cyklu Postępowania przyszłości przykład działania australijskiego systemu Robodebt nie jest przypadkiem odosobnionym.

W 2019 r. ujawniono, że holenderskie organy podatkowe w latach 2012-2019, stosując algorytm mający na celu wyeliminowanie na wczesnym etapie oszustw związanych ze świadczeniami socjalnymi, bezpodstawnie wszczynały postępowania o wyłudzenia wobec tysięcy rodzin pobierających zasiłki na dzieci.

Począwszy od 2012 r., każdy wniosek o zasiłek na opiekę nad dzieckiem złożony do holenderskich organów podatkowych poddawany był weryfikacji przez samouczący się algorytm. Algorytm miał na celu sprawdzenie nie tylko prawidłowego wypełnienia formularza wniosku oraz kompletności zawartych w nim informacji, ale również oznaczenie względnego ryzyka oszustwa dla danego wniosku.

Okazuje się, że wykorzystywany przez holenderskie organy podatkowe algorytm, jako wskaźniki ryzyka potencjalnych nadużyć finansowych kwalifikował obco brzmiące nazwiska, podwójne obywatelstwo czy niskie dochody. Wnioskodawców uznawano za nieuprawnionych do świadczeń także w związku z prostymi błędami formalnymi jak chociażby brak podpisu i na tej podstawie stwierdzano, że doszło do oszustwa z próbą wyłudzenia zasiłku.

W rezultacie tysiące rodzin o niskich i średnich dochodach fałszywie oskarżono o oszustwo i wezwano do zwrotu świadczeń, które uzyskały zgodnie z prawem. Podstawą do wydania nakazu natychmiastowego zwrotu wypłaconych środków była już sama kwalifikacja wniosku jako „podejrzenie oszustwa” na podstawie zidentyfikowanych przez algorytm wskaźników ryzyka.

W efekcie działania algorytmu tysiące rodzin popadło w długi, a wiele z nich również w ubóstwo, ponieważ wezwania do zwrotu świadczeń opiewały często na dziesiątki tysięcy euro bez możliwości odroczenia terminu płatności. Część beneficjentów świadczeń socjalnych straciła swoje domy lub pracę, a ponad 1000 dzieci umieszczono w pieczy zastępczej.

Odpowiedzialność polityczna

W 2020 r. rząd Holandii oficjalnie przeprosił za rażące nieprawidłowości związane z systemem dotyczącym świadczeń z tytułu opieki nad dziećmi i przeznaczył 500 mln euro na wypłatę odszkodowań. Każda z poszkodowanych przez bezprawne egzekucje rodzin otrzymała średnio 30 tysięcy euro.

Ujawnione na szeroką skalę skutki wykorzystania przez holenderską administrację podatkową algorytmu do walki z oszustwami doprowadziły do powołania parlamentarnej komisji śledczej w celu zbadania tej sprawy. Wynikiem prac komisji był opublikowany w 2021 r. raport zatytułowany „Bezprecedensowa niesprawiedliwość”, który dotyczył kontroli nad wypłatą świadczeń socjalnych w okresie drugiego rządu Marka Rutte, czyli w latach 2012-2017. W ocenie autorów raportu nieuzasadnione zarzuty pod adresem rodziców stanowiły naruszenie podstawowych zasad praworządności, tym bardziej że w wielu przypadkach były one efektem prostych błędów administracyjnych popełnionych bez żadnych złych intencji ze strony beneficjentów świadczeń.

Na fali krytyki premier Mark Rutte 15 stycznia 2021 r. podał swój rząd do dymisji motywując to przyjęciem politycznej odpowiedzialności za nieprawidłowe działanie organów administracji skarbowej. Decyzja ta miała jednak wymiar czysto symboliczny, bowiem Mark Rutte zadeklarował pozostanie na czele gabinetu do czasu wyłonienia nowego rządu po zaplanowanych na marzec 2021 r. wyborach, w których jego ugrupowanie ponownie zajęło pierwsze miejsce.

Co dalej?

Rząd Holandii

Nowy rząd premiera Marka Rutte zobowiązał się do stworzenia nowego regulatora algorytmów pod nadzorem krajowego organu ochrony danych. W kraju podjęto również działania na rzecz zwiększenia przejrzystości algorytmicznej, stworzono m.in. rejestr systemów i algorytmów sztucznej inteligencji używanych przez miasto Amsterdam[1].

Amnesty International

Amnesty International w raporcie „Xenophobic machines: Discrimination through unregulated use of algorithms in the Dutch childcare benefits scandal”[2] potępił nieuregulowane wykorzystywanie przez holenderskie organy podatkowe algorytmu do tworzenia profili ryzyka potencjalnych oszustów, które doprowadziło zarówno do dyskryminacji, jak i profilowania rasowego.

W raporcie szczegółowo opisującym, w jaki sposób holenderski rząd wykorzystał profilowanie etniczne w skandalu dotyczącym świadczeń z tytułu opieki nad dziećmi, Amnesty International wezwało rządy do wprowadzenia zakazu wykorzystywania danych dotyczących narodowości i pochodzenia etnicznego podczas oceny ryzyka popełnienia przestępstwa.

Unia Europejska

Dynamicznie rozwijająca się sztuczna inteligencja wywołała również reakcję Unii Europejskiej, która za jeden z elementów unijnej strategii cyfrowej przyjęła zapewnienie rozwoju sztucznej inteligencji w sposób gwarantujący poszanowanie praw człowieka i zdobycie zaufania ludzi.

W kwietniu 2021 r. Komisja Europejska opublikowała projekt rozporządzenia Parlamentu Europejskiego i Rady ustanawiającego zharmonizowane przepisy dotyczące sztucznej inteligencji (na dzień publikacji niniejszego wpisu projekt jest na etapie pierwszego czytania[3]).

Propozycja Komisji ogranicza stosowanie tak zwanych systemów sztucznej inteligencji wysokiego ryzyka i zakazuje pewnych „niedopuszczalnych” zastosowań. Zawarte w projekcie przepisy stawiają firmom dostarczającym systemy sztucznej inteligencji wysokiego ryzyka określone wymagania. Co więcej, przepisy przewidują również stworzenie publicznego unijnego rejestru takich systemów w celu poprawy przejrzystości i pomocy w egzekwowaniu prawa.

[1] https://algoritmeregister.amsterdam.nl/en/ai-register

[2] https://www.amnesty.org/en/documents/eur35/4686/2021/en/

[3] https://eur-lex.europa.eu/legal-content/PL/HIS/?uri=CELEX:52021PC0206