Zakazane praktyki AI: rozpoznawanie emocji w pracy i szkole

Zakaz nie dotyczy całej sztucznej inteligencji

AI Act wprowadza podejście zależne od rodzaju praktyki i poziomu ryzyka. Część zastosowań podlega zakazowi, inne szczególnym obowiązkom, a wiele prostych narzędzi nie jest samo w sobie zabronionych. W praktyce przedsiębiorcy nie powinni opierać się na marketingowych określeniach dostawcy, takich jak „inteligentne HR” czy „analiza dobrostanu”. Decyduje rzeczywisty cel, sposób przetwarzania sygnałów i skutki dla osób, których system dotyczy. Audyt powinien zaczynać się od funkcji, a nie od nazwy produktu.

Art. 5 ust. 1 lit. f AI Act

Rozporządzenie zakazuje wprowadzania do obrotu, oddawania do użytku i wykorzystywania systemów AI do wyciągania wniosków o emocjach osób fizycznych w miejscu pracy i instytucjach edukacyjnych, z wyłączeniem określonych zastosowań medycznych lub bezpieczeństwa. Zakaz jest węższy niż twierdzenie, że szkoła nie może używać żadnej analityki. Nie należy też zakładać, że sam podpis pracownika na formularzu zgody legalizuje praktykę wyraźnie zakazaną przez bezpośrednio stosowane prawo UE.

Jak system „rozpoznaje emocje”

Narzędzia mogą wykorzystywać obraz twarzy, głos, mimikę, ruch, parametry biologiczne lub połączenie różnych sygnałów, aby przypisywać stan emocjonalny. Prawna kwalifikacja zależy od definicji AI Act, rodzaju danych i konkretnej funkcji, nie wyłącznie od technologicznej etykiety „emotion AI”. System, który klasyfikuje zmęczenie albo ból, nie zawsze ma identyczny cel jak narzędzie twierdzące, że rozpoznaje złość albo zaufanie. Granice definicji trzeba analizować ze szczególną ostrożnością.

Dlaczego miejsce pracy ma szczególny status

Pracownik może pozostawać w relacji zależności wobec pracodawcy, a wynik oceny emocji mógłby wpływać na zatrudnienie, premię i ocenę przydatności. Ponadto interpretacja emocji na podstawie sygnałów fizjologicznych bywa obarczona błędami i podatna na różnice indywidualne. Ustawodawca unijny zdecydował się ograniczyć określone praktyki ze względu na zagrożenia dla praw podstawowych. Nie jest więc wystarczające wykazanie, że dostawca obiecuje wysoką skuteczność modelu.

Instytucje edukacyjne i monitorowanie uczniów

System oceniający domniemaną frustrację albo zainteresowanie ucznia na podstawie obrazu z kamery może wywoływać szczególnie poważne ryzyka dla prywatności, autonomii i równego traktowania. Szkoła lub uczelnia nie powinna automatycznie stosować takich funkcji pod nazwą „analiza zaangażowania”. Należy ustalić, czy narzędzie rzeczywiście wnioskuje o emocjach, w jakim celu i z jakich sygnałów. Odrębnie trzeba ocenić ochronę danych uczniów i zasady przetwarzania danych osób małoletnich.

Wyjątki medyczne i bezpieczeństwa

Rozporządzenie przewiduje wyjątek dla określonych celów medycznych lub bezpieczeństwa. Nie jest to ogólna furtka pozwalająca nazwać ocenę pracowników „profilaktyką stresu” i ominąć zakaz. Organizacja powinna wykazać realny cel wyjątku, zakres niezbędności i zgodność z innymi obowiązkami prawa. Jeżeli monitoring prowadzi do decyzji kadrowych albo permanentnej oceny zachowania, ocena zastosowania wyjątku może być szczególnie wymagająca.

Pozostałe zakazane praktyki z art. 5

AI Act przewiduje także ograniczenia dotyczące określonych manipulacyjnych lub eksploatacyjnych zastosowań AI, niedozwolonego social scoringu, niektórych postaci biometrycznej kategoryzacji i innych wskazanych zachowań. Nie każda automatyczna punktacja jest social scoringiem w rozumieniu rozporządzenia. Dla zgodności trzeba badać dokładne warunki zakazu, rodzaj oceny i skutki dla osób. Praktyczne matryce compliance nie mogą zastępować czytania konkretnego przepisu.

AI Act a RODO i prawo pracy

Nawet jeśli określony system nie jest zabroniony, nadal może przetwarzać dane osobowe albo dane wrażliwe i wymagać podstawy z RODO. Pracodawca musi uwzględnić obowiązki informowania oraz granice monitoringu pracowniczego. Z kolei bezpośredni zakaz AI Act nie znika dzięki zgodzie pracownika lub umowie z dostawcą. Analizę należy prowadzić na różnych poziomach: dopuszczalność praktyki, legalność danych, obowiązki pracodawcy i techniczne zabezpieczenia.

Audyt dostawcy i ukrytych funkcji systemu

Zamówiony system wideokonferencji, proctoringu albo analityki rozmów może posiadać włączane moduły identyfikacji emocji. Kupujący powinien sprawdzić pełen katalog funkcji, parametry ustawień, dokumentację i zasady aktualizacji. Warto odpowiednio zobowiązać dostawcę do informowania o zmianach i umożliwić wyłączenie funkcji niedopuszczalnych. Nie wystarczy zapewnienie marketingowe, że produkt „jest zgodny z AI Act”, bez weryfikacji sposobu wdrożenia w danej organizacji.

Co zrobić z systemem już wdrożonym

Organizacja powinna zinwentaryzować wykorzystywane narzędzia, wyłączyć funkcje mogące realizować zakazaną praktykę, ocenić już zgromadzone dane i wprowadzić procedury zakupowe. W razie stwierdzenia naruszenia potrzebna może być analiza skutków, dokumentacja działań naprawczych i ocena obowiązków wobec właściwych organów. Warto równolegle przeszkolić działy HR, edukacji i IT z różnicy pomiędzy oceną organizacji pracy a próbą automatycznego wnioskowania o emocjach osób.

Czy pomiar koncentracji jest zawsze wnioskowaniem o emocjach

Rozwiązania edukacyjne i HR często opisują wyniki jako poziom koncentracji, zaangażowania albo gotowości do pracy. Nazwa zmiennej nie rozstrzyga sama o zakazie, lecz może wskazywać na faktyczną funkcję modelu. Należy zbadać, czy system wykorzystuje odpowiednie dane do przypisywania stanów emocjonalnych, jaki jest kontekst użycia i czy mieści się w definicji rozporządzenia. Audyt powinien opierać się na specyfikacji technicznej oraz rzeczywistym działaniu, nie na etykiecie w panelu administratora.

Obowiązki po stronie nabywcy i dostawcy

Dostawca może opracować algorytm o wielu potencjalnych zastosowaniach, ale organizacja wykorzystująca go w konkretnej sytuacji odpowiada za własne obowiązki związane z wdrożeniem. Umowa powinna określać przeznaczenie produktu, zakazane funkcje, zasady aktualizacji i dostępność dokumentacji. Nabywca nie powinien poprzestawać na gwarancji zgodności obejmującej abstrakcyjny produkt, jeśli sam konfiguruje system do automatycznej analizy osób w pracy albo placówce edukacyjnej.

Szkodliwe praktyki nie muszą być oparte na biometrii

Art. 5 AI Act obejmuje kilka różnych kategorii zakazów, w tym określone techniki manipulacyjne i wykorzystywanie szczególnych słabości. Nie wszystkie opierają się na danych biometrycznych. Organizacja powinna więc przeprowadzać szerszą ocenę funkcji AI, zwłaszcza gdy system oddziałuje na zachowanie osób albo dostęp do istotnych usług. Warto unikać skupiania całego audytu na kamerach, gdy inne mechanizmy automatycznego wpływania na decyzje również mogą rodzić ryzyka regulacyjne.

Powiązane analizy

AI w rekrutacji i HR · Automatyczne decyzje i art. 22 RODO