„Většinu systémů pravidla neovlivní, ale existují využití umělé inteligence, které mohou ve špatných rukách omezit základní práva nás všech. Například systémy sociálního kreditu, které známe z Číny. Ty automaticky přidělují nebo odebírají lidem body podle toho, jestli se podle režimu chovají žádoucím nebo nežádoucím způsobem. To je zásah do soukromých životů, který nechci nikdy zažít. Do pozice Parlamentu jsme proto prosadili, aby se zákaz týkal nejen států, ale i soukromých firem, jako jsou pojišťovny,“ vysvětluje pirátský europoslanec Kolaja. Ten na legislativě pracoval téměř dva roky jako zpravodaj stanoviska ve výboru pro kulturu a vzdělávání (CULT).
Právě systém sociálního skóre patří kvůli své rizikovosti do kategorie nepovolených využití umělé inteligence. Kromě toho legislativa zakazuje také systémy takzvané prediktivní policejní práce. Ty totiž mohou vést třeba k diskriminaci menšin. Zakázané budou i programy, které automaticky třídí občany na základě charakteristik, jako je pohlaví, zdravotní stav nebo třeba sexuální orientace. „Dalším příkladem jsou technologie na rozpoznávání emocí. Spolu s kolegy z politické skupiny jsme zařídili, aby byly zakázány v oblastech, jako je školství, zaměstnání nebo vymáhání práva. Fungují totiž na naprosto pseudovědecké myšlence, že z výrazu tváře můžete bezpečně rozpoznat emoce. A to je nesmysl,” popisuje Kolaja.
Pro typy užití umělé inteligence, které spadají do kategorie s vysokým rizikem, pak Akt stanovuje jasná pravidla. Jde třeba o opatření týkající se třeba transparentnosti vstupních dat nebo dohledu člověka nad systémem. Kolaja prosadil, aby se to týkalo třeba i takzvaného e-proctoringu. Ten používají i české vysoké školy.
„Jde o programy na kontrolu studentů při zkouškách. Za pomoci vstupů z kamery a mikrofonu systém vyhodnocuje, jestli student nepodvádí. Problém je, že často chybují. Špatně vyhodnotí třeba pohyby studenta se zdravotním postižením, u studenta s tmavou barvou pleti zase může dojít k závěru, že v ruce drží třeba mobilní telefon. Diskriminovat může program i lidi z chudších poměrů, když třeba hluk vycházející ze sdílené místnosti nebo chodby na studentských kolejích vyhodnotí jako konverzaci,”vysvětluje Kolaja.
Akt o umělé inteligenci přináší také pravidla pro programy typu ChatGPT. Jejich provozovatelé se budou muset registrovat do databáze, ve které mimo jiné uvedou, odkud čerpají data, ze kterých se program učí. Kromě toho budou muset třeba posoudit a minimalizovat rizika, například v souvislosti se vznikem dezinformací. Finální verzi nových pravidel ještě musí dojednat členské země s Parlamentem a Komisí v takzvaném trialogu.