Na co możemy pozwolić AI w banku? O regulacyjnych granicach decyzyjności sztucznej inteligencji

Pytanie nie brzmi już, czy bank może korzystać z AI

Jeszcze niedawno podstawowe pytanie dotyczące sztucznej inteligencji w sektorze bankowym brzmiało: czy bank może wykorzystywać AI w określonym procesie? Dzisiaj takie postawienie problemu wydaje się już niewystarczające. Banki wykorzystują albo przygotowują się do wykorzystania sztucznej inteligencji w analizie danych, obsłudze klienta, wykrywaniu fraudów, przeciwdziałaniu praniu pieniędzy, procesach kredytowych, zarządzaniu ryzykiem, bezpieczeństwie, tworzeniu dokumentów i wielu procesach wewnętrznych. Znacznie ciekawsze pytanie brzmi więc inaczej: na ile możemy pozwolić AI rzeczywiście uczestniczyć w podejmowaniu decyzji banku? Różnica nie jest wyłącznie językowa. Co innego wykorzystać system do wyszukania informacji w kilku tysiącach stron dokumentacji, co innego poprosić go o wskazanie transakcji wymagających dalszej analizy, jeszcze czym innym pozwolić mu rekomendować zamknięcie alertu, a zupełnie innym – automatycznie zakończyć analizę bez udziału człowieka. Podobną gradację można zbudować w procesie kredytowym. AI może uporządkować dane o kliencie, dokonać ich analizy, przedstawić rekomendację analitykowi albo bezpośrednio przesądzić o wyniku procesu. Technologicznie różnice pomiędzy tymi zastosowaniami mogą wydawać się stopniowalne. Regulacyjnie zaczynamy jednak mówić o sytuacjach jakościowo różnych.

AI Act sam pokazuje, że ustawodawca unijny dostrzega tę różnicę. Systemy przeznaczone do oceny zdolności kredytowej osób fizycznych lub ustalania ich scoringu kredytowego zostały co do zasady zaliczone do systemów AI wysokiego ryzyka, z wyjątkiem systemów służących wykrywaniu oszustw finansowych. Uzasadnienie tej kwalifikacji odwołuje się właśnie do znaczenia takich systemów dla dostępu osoby do środków finansowych i podstawowych usług. Sam fakt, że dwa modele wykorzystują podobną technologię, nie oznacza więc, że regulacyjnie wykonują podobną funkcję. Trzeba przy tym uwzględnić harmonogram stosowania tych wymogów. AI Act co do zasady stosuje się od 2 sierpnia 2026 r., jednak po zmianach wprowadzonych rozporządzeniem (UE) 2026/1744 sekcje 1–3 rozdziału III, obejmujące zasadnicze wymagania i obowiązki dotyczące systemów wysokiego ryzyka z art. 6 ust. 2 i załącznika III, będą stosowane od 2 grudnia 2027 r. Nie zmienia to jednak znaczenia tych wymogów jako punktu odniesienia przy projektowaniu obecnych wdrożeń, zwłaszcza że konkretne zastosowanie AI w banku już teraz podlega pozostałym reżimom sektorowym.

Nie oznacza to jednak, że odpowiedź na pytanie o dopuszczalne wykorzystanie AI w banku można znaleźć wyłącznie w AI Act. Rozporządzenie jest jednym z reżimów mających znaczenie dla oceny konkretnego zastosowania. Nadal pozostają obowiązki wynikające z prawa bankowego, regulacji ostrożnościowych, ochrony danych, AML/CFT, ochrony klienta, zarządzania ryzykiem, DORA oraz zasad wewnętrznego ładu banku. W zależności od procesu to właśnie one mogą w większym stopniu przesądzać o tym, jak daleko bank może posunąć automatyzację.

To prowadzi do pierwszej zasadniczej tezy. Zgodność zastosowania AI z AI Act nie jest jeszcze odpowiedzią na pytanie, czy bank może powierzyć AI określoną decyzję. AI Act może wskazywać, że dany system jest dozwolony, zaklasyfikować go do określonej kategorii ryzyka i określić warunki jego projektowania lub stosowania. Nie zastępuje jednak przepisów regulujących samą czynność wykonywaną przez bank. Jeżeli określony proces podlega wymaganiom dotyczącym sposobu podjęcia decyzji, jej uzasadnienia, kontroli albo odpowiedzialności za jej wynik, wykorzystanie AI musi mieścić się również w tych wymaganiach. Najłatwiej dostrzec to na przykładzie relacji z klientem. Pytanie, czy model może technicznie ocenić prawdopodobieństwo spłaty zobowiązania, jest inne niż pytanie, czy wynik tego modelu może bez dalszej oceny przesądzić o decyzji wobec konkretnego klienta. Podobnie system może znacznie lepiej niż człowiek identyfikować nietypowe wzorce transakcji, ale nie przesądza to jeszcze o tym, na którym etapie procesu AML jego wynik może zastąpić osąd osoby odpowiedzialnej za analizę. Możliwość automatyzacji nie jest więc sama w sobie wystarczającą podstawą do przekazania systemowi decyzyjności.

Drugą granicę wyznacza rozliczalność. Im większe znaczenie wyniku AI dla decyzji banku, tym bardziej bank powinien być zdolny do odtworzenia, skąd ten wynik się wziął. Nie oznacza to koniecznie, że każdy pracownik wykorzystujący system musi rozumieć matematyczną konstrukcję modelu albo potrafić odtworzyć każdą operację wykonaną przez sieć neuronową. Organizacja powinna jednak rozumieć zastosowany mechanizm na tyle, aby wiedzieć, jakie dane doprowadziły do wyniku, jakie ograniczenia ma system, dlaczego jego rezultat jest relewantny dla podejmowanej decyzji i w jakich sytuacjach nie powinien zostać zaakceptowany. W tym kierunku skonstruowany jest również model przewidziany w AI Act dla systemów wysokiego ryzyka. Rozporządzenie przewiduje odpowiedni poziom przejrzystości pozwalający podmiotowi stosującemu właściwie interpretować wynik systemu i odpowiednio go wykorzystywać, rejestrowanie zdarzeń oraz nadzór człowieka umożliwiający między innymi rozumienie możliwości i ograniczeń systemu, prawidłową interpretację jego wyniku, jego odrzucenie lub zmianę oraz ingerencję w działanie systemu. Regulacyjna idea jest więc szersza niż sama obecność człowieka na końcu procesu. Chodzi o zachowanie rzeczywistej możliwości kontroli.

To rozróżnienie będzie miało szczególne znaczenie przy coraz bardziej zaawansowanych modelach. Można wyobrazić sobie system generujący bardzo trafne wyniki, który jednocześnie jest dla banku w istotnym zakresie nieprzejrzysty. Z biznesowego punktu widzenia pokusa jego wykorzystania może być ogromna: skoro model statystycznie podejmuje lepsze decyzje niż człowiek, dlaczego nie pozwolić mu decydować? Z perspektywy regulacyjnej samo porównanie skuteczności nie wystarcza. Bank musi jeszcze wiedzieć, czy jest w stanie kontrolować sposób wykorzystania modelu, wykryć jego błędy, zakwestionować rezultat i później wyjaśnić, dlaczego konkretny wynik stał się podstawą konkretnego działania. Dlatego powiedzenie, że możemy pozwolić AI na tyle, na ile ją rozumiemy, nie powinno być rozumiane jako postulat pełnej technicznej wyjaśnialności każdego modelu. Chodzi o coś bardziej praktycznego i z punktu widzenia banku ważniejszego: o możliwość zachowania śladu decyzyjnego. Jeżeli kilka miesięcy po podjęciu decyzji bank nie potrafi ustalić, jaka wersja systemu działała, na jakich danych oparto analizę, jaki wynik wygenerował model, kto go zobaczył, czy człowiek mógł go zakwestionować i dlaczego rezultat został ostatecznie zaakceptowany, trudno mówić o rzeczywistej rozliczalności procesu.

Nie wystarczy zatem odpowiedzieć na pytanie: „co zdecydowała AI?”. Trzeba być w stanie odpowiedzieć również: dlaczego bank pozwolił, aby właśnie ten wynik przełożył się na decyzję. To rozróżnienie jest fundamentalne. System może wygenerować rekomendację, ale o jej znaczeniu dla procesu decyduje organizacja. Może wskazać klienta jako podwyższonego ryzyka, ale to bank projektuje regułę określającą, czy takie wskazanie powoduje dodatkową analizę, automatyczną blokadę czy zakończenie relacji. Może zasugerować zamknięcie alertu, ale bank decyduje, czy rekomendacja jest tylko informacją pomocniczą, czy w praktyce staje się rozstrzygnięciem.

Właśnie tutaj zaczyna się także problem tak często przywoływanego human in the loop. Sam fakt, że człowiek pojawia się w procesie, nie przesądza jeszcze, że decyzja pozostaje decyzją człowieka. Jeżeli pracownik otrzymuje wyłącznie wynik systemu, nie zna podstaw jego wygenerowania, nie dysponuje informacjami pozwalającymi go zweryfikować albo organizacja oczekuje od niego obsłużenia takiej liczby przypadków, że rzeczywista analiza jest niemożliwa, przycisk „zaakceptuj” może pełnić wyłącznie funkcję formalną. Człowiek pozostaje wtedy w schemacie procesu, ale faktyczna decyzyjność została już przekazana systemowi. AI Act wprost dostrzega ryzyko automatycznego lub nadmiernego polegania przez człowieka na wyniku systemu – automation bias – i w modelu nadzoru nad systemami wysokiego ryzyka przewiduje stworzenie warunków do rzeczywistego monitorowania, interpretacji oraz odrzucenia lub zmiany wyniku. Jest to dobra wskazówka także dla szerszego myślenia o wykorzystaniu AI w banku. Nadzór człowieka ma sens tylko wtedy, gdy człowiek posiada wiedzę, informacje, czas i uprawnienia pozwalające rzeczywiście powiedzieć systemowi „nie”.

Trzecia granica wiąże się z odpowiedzialnością. AI może przygotować analizę, wykryć korelację, wygenerować rekomendację, a w określonym modelu nawet automatycznie wykonać określoną czynność. Nie może jednak przejąć odpowiedzialności regulacyjnej banku za sposób prowadzenia działalności. W razie błędu nie istnieje „odpowiedzialność modelu”, którą można postawić obok odpowiedzialności zarządu, właściciela procesu, funkcji kontroli czy samej instytucji. Technologia może zmienić sposób wykonywania procesu, ale nie tworzy nowego podmiotu, na który można przenieść obowiązek prawidłowego prowadzenia działalności. Dlatego regulacyjna granica wykorzystania AI nie przebiega po prostu pomiędzy decyzją automatyczną i decyzją człowieka. Bank może całkowicie automatyzować wiele czynności, zachowując nad nimi pełną kontrolę, podczas gdy w innym procesie pozornie pozostawi człowieka, choć rzeczywista decyzja będzie już determinowana przez system. Znacznie trafniejsze jest pytanie, czy bank zachowuje wystarczającą kontrolę nad wynikiem, możliwość jego zrozumienia i zakwestionowania oraz zdolność do rozliczenia całego procesu.

Można zatem już na początku postawić trzy warunki, które będą powracały w dalszej analizie. AI możemy pozwolić na tyle, na ile jesteśmy w stanie zrozumieć podstawy jej wyniku. Na tyle, na ile jesteśmy w stanie ten wynik realnie zakwestionować. I na tyle, na ile jesteśmy gotowi wziąć odpowiedzialność za konsekwencje jego wykorzystania.Dopiero na tej podstawie można próbować odpowiedzieć na bardziej praktyczne pytanie: gdzie dokładnie przebiega granica pomiędzy AI jako narzędziem wspierającym człowieka a AI, której bank faktycznie powierzył podejmowanie decyzji. Wbrew pozorom pomiędzy tymi dwoma punktami istnieje kilka różnych modeli wykorzystania sztucznej inteligencji – i każdy z nich rodzi trochę inny problem regulacyjny.

Od narzędzia do decydenta – różne poziomy wykorzystania AI

Pytanie o dopuszczalny zakres wykorzystania AI w banku nie powinno zaczynać się od technologii, lecz od roli, jaką system ma pełnić w konkretnym procesie. Ten sam model może być wykorzystywany do zupełnie różnych celów: może jedynie porządkować informacje dostępne pracownikowi, wskazywać elementy wymagające uwagi, proponować określone rozstrzygnięcie albo bezpośrednio wywoływać skutek wobec klienta, transakcji czy innego procesu bankowego. Z perspektywy regulacyjnej różnica pomiędzy tymi sytuacjami jest zasadnicza, ponieważ wraz ze wzrostem wpływu AI na rezultat rośnie znaczenie wymagań dotyczących rozliczalności, kontroli i możliwości ingerencji człowieka.Najprostszy przypadek to wykorzystanie AI jako narzędzia informacyjnego. System może wyszukiwać dane, streszczać dokumentację, porządkować korespondencję, wskazywać różnice pomiędzy wersjami dokumentów albo przygotowywać zestaw informacji potrzebnych do dalszej analizy. Decyzja pozostaje wtedy zasadniczo poza systemem. AI wpływa na to, jakie informacje otrzyma pracownik i w jaki sposób zostaną mu przedstawione, ale nie formułuje jeszcze samodzielnie oceny mającej przesądzać o sposobie działania banku. Nie oznacza to jednak, że taki poziom wykorzystania jest regulacyjnie obojętny. Jeżeli system pominie istotny dokument, błędnie podsumuje jego treść albo nieprawidłowo zaklasyfikuje informację, może wpłynąć na późniejszą decyzję człowieka. Różnica polega jednak na tym, że jego funkcją pozostaje dostarczenie materiału do oceny, a nie sama ocena. Bank powinien zatem przede wszystkim wiedzieć, jakie informacje przekazuje systemowi, jakie są ograniczenia jego działania oraz czy osoba korzystająca z wyniku jest w stanie zweryfikować jego kompletność i poprawność w zakresie adekwatnym do znaczenia wykonywanego zadania.

Kolejny poziom pojawia się wtedy, gdy AI zaczyna pełnić funkcję analityczną. System nie tylko przedstawia informacje, lecz również interpretuje je według określonych kryteriów: ocenia prawdopodobieństwo fraudu, identyfikuje nietypowy wzorzec transakcji, klasyfikuje klienta według poziomu ryzyka albo wskazuje prawdopodobieństwo określonego zdarzenia kredytowego. W tym modelu człowiek nadal może podejmować właściwą decyzję, ale materiał, na którym ją opiera, nie jest już jedynie uporządkowanym zbiorem danych. AI dostarcza gotowej oceny określonego fragmentu rzeczywistości. To moment, w którym pytanie o rozumienie wyniku zaczyna nabierać znacznie większego znaczenia. Jeżeli analityk otrzymuje informację, że transakcja została zakwalifikowana jako „wysokiego ryzyka”, powinien wiedzieć wystarczająco dużo, aby rozumieć, co taki rezultat oznacza i jakie są ograniczenia zastosowanego modelu. Nie zawsze musi znać pełną architekturę techniczną systemu, ale organizacja nie może sprowadzić jego roli do przyjęcia wyniku jako faktu tylko dlatego, że został wygenerowany przez bardziej zaawansowane narzędzie analityczne.

Jeszcze dalej idzie wykorzystanie AI jako systemu rekomendacyjnego. Tutaj model nie ogranicza się do oceny danych, lecz wskazuje, co bank powinien zrobić: zaakceptować wniosek, skierować przypadek do pogłębionej analizy, odmówić transakcji, zwiększyć monitoring albo zamknąć alert. Formalnie decyzja może nadal należeć do człowieka, ale AI zaczyna już wpływać nie tylko na opis sytuacji, lecz na proponowany kierunek działania. W tym modelu szczególnie łatwo o przesunięcie rzeczywistego ciężaru decyzyjnego. Jeżeli pracownik codziennie otrzymuje setki rekomendacji systemu, z których zdecydowana większość okazuje się trafna, z czasem naturalnie może zacząć traktować je jako domyślne rozstrzygnięcie. Formalnie nadal podejmuje decyzję człowiek, ale organizacyjnie proces może zostać zaprojektowany w taki sposób, że zakwestionowanie rekomendacji wymaga większego wysiłku, dodatkowego uzasadnienia albo zgody przełożonego. Wtedy pytanie o to, kto naprawdę podejmuje decyzję, nie może być rozstrzygane wyłącznie na podstawie tego, czy na końcu procesu znajduje się przycisk obsługiwany przez pracownika.

Jeszcze większą zmianę jakościową przynosi model, w którym AI podejmuje decyzję warunkową lub automatyczną, ale pozostawioną pod nadzorem człowieka. System może samodzielnie zamknąć określone przypadki mieszczące się w zdefiniowanym przedziale ryzyka, a człowiek zajmuje się jedynie wyjątkami. Może automatycznie zaakceptować prostą sprawę, skierować bardziej złożoną do pracownika albo zastosować określony środek do czasu późniejszej weryfikacji. Człowiek nadal zachowuje możliwość ingerencji w proces, ale nie uczestniczy już w każdej pojedynczej decyzji. Taki model może być całkowicie racjonalny. W wielu procesach właśnie automatyzacja przypadków powtarzalnych i niskiego ryzyka pozwala skoncentrować pracę ludzi tam, gdzie rzeczywiście potrzebny jest osąd. Z punktu widzenia regulacyjnego najważniejsze staje się jednak to, czy zasady wyznaczające granicę automatyzacji są właściwie określone, czy system potrafi rozpoznać sytuację wykraczającą poza obszar jego wiarygodnego działania oraz czy bank jest w stanie później odtworzyć decyzje podjęte bez bezpośredniego udziału człowieka.

Najdalej idzie sytuacja, w której AI uzyskuje możliwość samodzielnego podjęcia i wykonania decyzji, bez konieczności jej wcześniejszego zatwierdzenia przez człowieka. System nie tylko stwierdza, że określony klient albo transakcja spełniają ustalone przesłanki, ale sam wywołuje skutek: odmawia, blokuje, ogranicza, kończy proces albo uruchamia inną czynność wobec klienta. W takim modelu człowiek pojawia się ewentualnie później – w ramach kontroli, reklamacji, monitoringu lub interwencji w przypadku błędu. To właśnie na tym poziomie szczególnie wyraźnie widać, dlaczego samo stwierdzenie, że „bank wykorzystuje AI”, niewiele mówi o rzeczywistym ryzyku regulacyjnym. System podsumowujący dokument i system automatycznie odmawiający klientowi dostępu do produktu mogą korzystać z podobnych technologii, ale ich miejsce w procesie decyzyjnym jest zupełnie inne. Inne powinny więc być również wymagania dotyczące walidacji, dokumentacji, nadzoru, możliwości zakwestionowania wyniku i kontroli skutków. Nie jest przy tym właściwe sprowadzanie całego problemu do prostego podziału na decyzje „automatyczne” i „nieautomatyczne”. W praktyce pomiędzy tymi punktami istnieje wiele rozwiązań pośrednich. AI może mieć ogromny wpływ na decyzję formalnie podejmowaną przez człowieka albo relatywnie niewielki wpływ na proces, który kończy się automatycznie. Dlatego ocena powinna koncentrować się nie tylko na ostatnim etapie procesu, lecz na tym, gdzie rzeczywiście znajduje się ciężar oceny, kto może zmienić wynik i na jakiej podstawie.

Warto też pamiętać, że przedstawiony podział nie jest klasyfikacją wynikającą wprost z AI Act. To model analityczny pozwalający bankowi ustalić, jaką rolę system faktycznie pełni w procesie i jakie ryzyka wiążą się z przekazaniem mu kolejnych elementów decyzyjności. Klasyfikacja systemu na gruncie AI Act pozostaje odrębnym zagadnieniem. Z punktu widzenia wewnętrznego zarządzania bankiem konieczne jest natomiast dodatkowe pytanie: czy system tylko wspiera proces, czy już zaczyna przejmować funkcję, którą wcześniej wykonywał człowiek? Ta granica może zresztą przesuwać się bez formalnej zmiany procedury. System pierwotnie wdrożony jako narzędzie pomocnicze może z czasem stać się faktycznym źródłem decyzji, jeżeli organizacja nabierze do niego zaufania, liczba spraw wzrośnie, a pracownicy przestaną w praktyce weryfikować jego wyniki. Regulacyjna ocena zastosowania AI nie może więc kończyć się w momencie wdrożenia. Trzeba obserwować również to, jak technologia jest rzeczywiście używana i czy praktyka nie przesunęła się dalej niż pierwotnie zatwierdzony model.

Dlatego przy każdym zastosowaniu AI w procesie decyzyjnym warto najpierw ustalić nie tyle, czy „człowiek pozostaje w pętli”, lecz znacznie bardziej konkretne rzeczy: co ocenia system, co pozostaje do oceny człowiekowi, kto może odrzucić wynik, czy odrzucenie jest rzeczywiście możliwe oraz jaki skutek następuje wtedy, gdy nikt nie interweniuje. Dopiero wtedy można właściwie ocenić, ile decyzyjności bank rzeczywiście przekazał technologii. A im większa jest ta decyzyjność, tym mniej wystarcza samo formalne pozostawienie człowieka w procesie. Human in the loop ma znaczenie tylko wtedy, gdy człowiek nadal może realnie zmienić bieg decyzji.

Możemy pozwolić AI tylko na tyle, na ile ją rozumiemy

Im większa jest rzeczywista decyzyjność przekazana systemowi AI, tym ważniejsze staje się pytanie, co właściwie oznacza, że bank „rozumie” jego działanie. Nie można sprowadzić tego wymagania do znajomości technologii. Członek zarządu, właściciel procesu czy pracownik wykorzystujący wynik modelu nie muszą być w stanie odtworzyć kodu systemu ani wyjaśnić matematycznie każdej zależności prowadzącej do określonego wyniku. Z drugiej strony trudno zaakceptować sytuację, w której istotna decyzja banku opiera się na rezultacie modelu, a jedynym wyjaśnieniem pozostaje stwierdzenie, że system został zwalidowany i statystycznie działa prawidłowo. W sektorze bankowym problem ten nie pojawił się dopiero wraz z AI Act. Już dotychczasowe podejście regulacyjne do zautomatyzowanych modeli wykorzystywanych między innymi w ocenie zdolności kredytowej wymagało od instytucji rozumienia stosowanych modeli, ich metodologii, danych wejściowych, założeń, ograniczeń i wyników. Towarzyszą temu oczekiwania dotyczące identyfikowalności i audytowalności danych oraz rezultatów, regularnej oceny jakości modelu, mechanizmów kontroli, możliwości odstąpienia od jego wyniku i procedur eskalacyjnych. AI zwiększa skalę problemu, ale sama zasada jest bankom dobrze znana: model może wspierać decyzję tylko wtedy, gdy instytucja potrafi nad nim zachować kontrolę.

Przy sztucznej inteligencji „rozumienie” powinno być jednak rozpatrywane co najmniej na dwóch poziomach. Pierwszy dotyczy samego modelu: do czego został zaprojektowany, na jakich danych działa, jakie zależności wykorzystuje, jakie ma ograniczenia, w jakich warunkach jego skuteczność spada i jakiego rodzaju błędów można się po nim spodziewać. Drugi dotyczy konkretnego wyniku: dlaczego właśnie ten klient, transakcja albo przypadek otrzymał taki rezultat oraz jakie znaczenie miał ten rezultat dla późniejszego działania banku. Rozróżnienie tych dwóch poziomów jest szczególnie istotne. Bank może bardzo dobrze rozumieć model globalnie, znać jego konstrukcję i parametry jakościowe, a jednocześnie nie być w stanie odtworzyć powodów konkretnego rozstrzygnięcia. Może też wystąpić sytuacja odwrotna: dla pojedynczego wyniku dostępne jest techniczne wyjaśnienie wskazujące najważniejsze zmienne, ale organizacja nie posiada dostatecznej wiedzy o źródłach danych, ograniczeniach modelu albo warunkach jego prawidłowego stosowania. W obu przypadkach pojawia się luka w rozliczalności.

Nie chodzi przy tym o to, aby każdemu wynikowi towarzyszyło pełne techniczne uzasadnienie. Zakres potrzebnego wyjaśnienia powinien pozostawać związany z rolą AI w procesie i skutkami jej wykorzystania. Innego poziomu rozumienia można wymagać od narzędzia porządkującego wewnętrzne dokumenty, innego od systemu wskazującego analitykowi transakcje wymagające uwagi, a jeszcze innego od modelu, którego wynik może prowadzić do odmowy kredytu albo zastosowania środka wobec klienta. Im bliżej wynik AI znajduje się od ostatecznego rozstrzygnięcia, tym trudniej zaakceptować sytuację, w której bank nie potrafi wyjaśnić podstaw tego wyniku. AI Act wyraźnie zmierza w tym kierunku w odniesieniu do systemów wysokiego ryzyka. Przewiduje, że system ma być wystarczająco przejrzysty, aby podmiot stosujący mógł właściwie interpretować jego wynik i odpowiednio go wykorzystywać, a konstrukcja systemu powinna umożliwiać skuteczny nadzór człowieka. Jednocześnie przewidziano rejestrowanie zdarzeń w zakresie pozwalającym na zapewnienie identyfikowalności działania systemu. Sama przejrzystość modelu nie jest więc celem autonomicznym. Ma pozwalać organizacji właściwie posługiwać się wynikiem, kontrolować go i później odtworzyć sposób działania systemu.

Dla banku oznacza to, że rozliczalność nie powinna kończyć się na pytaniu, dlaczego model wygenerował określony wynik. Trzeba umieć odtworzyć cały ślad decyzyjny. Jaka wersja modelu była wykorzystywana? Jakie dane otrzymał system? Czy były kompletne i aktualne? Jaki rezultat wygenerował? Jakie informacje były dostępne osobie podejmującej decyzję? Czy wynik został zaakceptowany automatycznie, czy podlegał weryfikacji? Czy można było od niego odstąpić? Kto to zrobił albo dlaczego tego nie zrobił? Jaką konkretnie konsekwencję procesową wywołał wynik AI? To właśnie na tym poziomie ujawnia się różnica pomiędzy wyjaśnialnością modelu a rozliczalnością decyzji. Model może być technicznie wyjaśnialny, ale proces pozostawać nierozliczalny. Jeżeli wiadomo, że na określony scoring szczególnie wpłynęły cztery zmienne, ale nie wiadomo, dlaczego bank ustalił próg powodujący automatyczną odmowę właśnie na określonym poziomie, samo wyjaśnienie modelu niewiele mówi o podstawie decyzji. Tak samo znajomość czynników wpływających na wynik systemu AML nie wyjaśnia jeszcze, dlaczego określony rezultat prowadził do zamknięcia alertu bez dalszej analizy.

W tym sensie odpowiedzialność organizacji zaczyna się wcześniej niż pojedynczy wynik AI. Bank sam określa bowiem rolę modelu w procesie. To organizacja decyduje, czy scoring będzie jedną z informacji dla analityka, domyślną rekomendacją, przesłanką eskalacji czy automatycznym triggerem określonego działania. To również bank ustala progi, wyjątki, mechanizmy override, zakres kontroli człowieka i przypadki, w których system nie powinien być wykorzystywany. Rozliczalność nie dotyczy więc jedynie tego, jak AI doszła do wyniku, ale również tego, dlaczego bank nadał temu wynikowi określoną moc decyzyjną. Jest to szczególnie ważne przy bardziej złożonych modelach, w przypadku których pełna intuicyjna interpretacja może być ograniczona. W odniesieniu do generatywnej AI problem wyjaśnialności jest jeszcze trudniejszy niż w wielu tradycyjnych modelach, a wskazanie przez system źródła odpowiedzi czy zastosowanie technik takich jak RAG nie usuwa wszystkich problemów związanych z wiarygodnością wyniku. Dochodzi do tego ryzyko halucynacji. Wraz ze wzrostem złożoności modelu może więc pojawić się rzeczywisty kompromis pomiędzy jego skutecznością a możliwością bezpiecznego wykorzystania w określonym procesie.

Nie prowadzi to jednak do zasady, zgodnie z którą bank może wykorzystywać wyłącznie modele całkowicie transparentne albo proste. Taki wniosek byłby zbyt daleko idący. Również w dotychczasowej praktyce modelowej wykorzystuje się rozwiązania, których działanie wymaga specjalistycznych narzędzi interpretacyjnych. Istotne może być zarówno globalne rozumienie zachowania modelu, jak i lokalna możliwość wyjaśnienia pojedynczej predykcji. Kluczowe pozostaje więc nie to, czy model jest prosty, ale czy poziom jego rozumienia jest wystarczający w stosunku do funkcji, jaką ma pełnić. Może to prowadzić do sytuacji, w której dwa równie skuteczne modele nie będą regulacyjnie równoważne. Jeżeli jeden pozwala na wiarygodne odtworzenie najważniejszych czynników prowadzących do wyniku, monitorowanie zmian zachowania i identyfikację przypadków nietypowych, a drugi pozostaje dla banku w istotnym zakresie nieprzejrzysty, wybór drugiego tylko dlatego, że poprawia skuteczność predykcyjną o niewielką wartość, może być trudniejszy do uzasadnienia w procesie o istotnych konsekwencjach. Pytanie nie powinno więc brzmieć wyłącznie: który model jest trafniejszy? Powinno również brzmieć: czy dodatkowa trafność uzasadnia utratę części możliwości kontroli i wyjaśnienia jego działania?

Rozumienie AI ma jeszcze jeden wymiar. Nie wystarczy, że model rozumie zespół, który go zbudował, albo dostawca technologii. Odpowiedni poziom wiedzy musi istnieć również tam, gdzie podejmowane są decyzje dotyczące jego wykorzystania. Jeżeli zarząd zatwierdza zastosowanie systemu w istotnym procesie, właściciel procesu musi wiedzieć, co system rzeczywiście robi, a pracownik ma kontrolować jego wynik, wiedza nie może pozostać wyłącznie w zespole technologicznym albo u zewnętrznego dostawcy. Poszczególne osoby nie muszą posiadać tego samego poziomu wiedzy technicznej, ale każda musi rozumieć system na tyle, aby rzeczywiście wykonywać przypisaną jej odpowiedzialność. Szczególnie problematyczny jest więc model „zaufania do dostawcy”. Bank może korzystać z rozwiązania stworzonego przez podmiot trzeci i nie musi samodzielnie rozwijać algorytmu. Nie zmienia to jednak pytania, czy posiada wystarczającą wiedzę, żeby świadomie dopuścić ten system do określonego procesu. Stwierdzenie, że sposób działania modelu stanowi tajemnicę dostawcy albo że technologia jest zbyt skomplikowana, aby bank mógł ją szczegółowo analizować, nie rozwiązuje problemu rozliczalności. Im większe znaczenie systemu dla decyzji banku, tym mniej akceptowalne staje się uzależnienie od narzędzia, którego ograniczeń organizacja nie potrafi ocenić.

W praktyce można więc odwrócić typową logikę wdrożenia. Nie należy najpierw pytać, co technicznie potrafi model, a później zastanawiać się, gdzie można go użyć. Najpierw trzeba ustalić, jak ważną decyzję chcemy mu powierzyć i jaki poziom rozliczalności jest dla tej decyzji konieczny. Dopiero potem można ocenić, czy konkretna technologia zapewnia wystarczający poziom przejrzystości, identyfikowalności i kontroli. To prowadzi do granicy, która może być dla banku niewygodna. Może istnieć system wyraźnie skuteczniejszy od dotychczasowych rozwiązań, a mimo to bank nie powinien pozwolić mu na pełną automatyzację określonej decyzji, jeżeli nie potrafi zapewnić wystarczającego śladu decyzyjnego. Taki model nadal może być bardzo wartościowym narzędziem analitycznym albo rekomendacyjnym. Ograniczenie jego roli nie oznacza odrzucenia technologii. Oznacza dopasowanie poziomu autonomii do poziomu kontroli, jaki organizacja rzeczywiście potrafi nad nią sprawować.

Dlatego zasada „możemy pozwolić AI na tyle, na ile ją rozumiemy” powinna być rozumiana przede wszystkim jako zasada rozliczalności, a nie technicznej perfekcji wyjaśnienia. Bank powinien być zdolny odtworzyć zarówno podstawy wyniku modelu, jak i drogę od tego wyniku do konkretnego działania. Jeśli nie potrafi tego zrobić, problemem nie jest wyłącznie brak przejrzystości technologii. Problemem jest to, że organizacja może nie być w stanie rozliczyć własnej decyzji.

A jeśli bank nie potrafi odtworzyć i zakwestionować decyzji, trudno uznać, że rzeczywiście ją kontroluje. To prowadzi bezpośrednio do kolejnego pytania: czy pozostawienie człowieka w procesie zawsze wystarczy, aby tę kontrolę zachować?

Human in the loop nie zawsze oznacza decyzję człowieka

Pozostawienie człowieka w procesie jest jednym z najczęściej wskazywanych sposobów ograniczenia ryzyka związanego z wykorzystaniem AI. Intuicyjnie wydaje się to rozwiązaniem prostym: system analizuje dane albo przygotowuje rekomendację, ale ostateczną decyzję podejmuje pracownik. Dzięki temu AI pozostaje narzędziem, a odpowiedzialność i osąd zachowuje człowiek. Problem polega na tym, że formalna obecność człowieka w procesie nie przesądza jeszcze o tym, że to człowiek rzeczywiście podejmuje decyzję. AI Act bardzo wyraźnie odchodzi od czysto formalnego rozumienia nadzoru człowieka. W odniesieniu do systemów wysokiego ryzyka przewiduje, że powinny one móc być skutecznie nadzorowane przez osoby fizyczne, a środki nadzoru mają być dostosowane do ryzyka, poziomu autonomii systemu i kontekstu jego wykorzystania. Osoba sprawująca nadzór powinna między innymi rozumieć możliwości i ograniczenia systemu, prawidłowo interpretować jego wynik, być świadoma ryzyka nadmiernego polegania na rekomendacji AI, a w konkretnej sytuacji móc wynik zignorować, zmienić albo ingerować w działanie systemu.

To zupełnie inny standard niż obecność pracownika na końcu procesu. Jeżeli człowiek ma jedynie kliknąć „zaakceptuj”, ale nie posiada wystarczających informacji do samodzielnej oceny wyniku, jego udział nie zapewnia rzeczywistego nadzoru. Podobnie będzie wtedy, gdy pracownik formalnie może zmienić rekomendację modelu, ale w praktyce każda taka zmiana wymaga szczególnego uzasadnienia, zgody przełożonego albo uruchomienia skomplikowanej procedury, podczas gdy zaakceptowanie rekomendacji następuje jednym kliknięciem. Architektura procesu może wtedy bardzo wyraźnie przesuwać ciężar decyzyjny z człowieka na system, mimo że procedura nadal opisuje decyzję jako „zatwierdzaną przez pracownika”. Znaczenie ma również ilość czasu pozostawiona na weryfikację. Jeżeli analityk otrzymuje kilkaset przypadków dziennie, a organizacja zakłada, że każdy z nich zostanie obsłużony w kilkadziesiąt sekund, trudno utrzymywać, że dokonuje rzeczywistej oceny każdej rekomendacji AI. Może nawet posiadać formalne uprawnienie do jej zmiany, ale nie mieć faktycznej możliwości przeanalizowania danych, na których system się oparł. W takim przypadku człowiek pozostaje elementem procesu organizacyjnego, ale trudno uznać go za rzeczywiste źródło rozstrzygnięcia.

Nie jest to zresztą problem charakterystyczny wyłącznie dla AI Act. Bardzo podobną logikę od lat stosuje prawo ochrony danych przy zautomatyzowanym podejmowaniu decyzji. Artykuł 22 RODO przyznaje osobie prawo do niepodlegania decyzji opartej wyłącznie na zautomatyzowanym przetwarzaniu, jeżeli wywołuje ona skutki prawne lub w podobny sposób istotnie na nią wpływa, z zastrzeżeniem przewidzianych w rozporządzeniu wyjątków. Tam, gdzie taki wyjątek znajduje zastosowanie, RODO wymaga również odpowiednich gwarancji, obejmujących w określonych przypadkach prawo do uzyskania interwencji człowieka, przedstawienia własnego stanowiska i zakwestionowania decyzji. Wytyczne dotyczące zautomatyzowanego podejmowania decyzji, zatwierdzone następnie przez EROD, wyraźnie wskazują przy tym, że administrator nie może obejść art. 22 poprzez stworzenie jedynie pozornej ingerencji człowieka. Nadzór powinien mieć rzeczywisty charakter, a osoba uczestnicząca w procesie musi posiadać kompetencje i uprawnienia pozwalające zmienić wynik. To bardzo użyteczny punkt odniesienia również poza samym zakresem RODO, ponieważ dobrze pokazuje różnicę pomiędzy human approval a rzeczywistym human judgement.

Dla banków szczególnie istotne jest także orzecznictwo dotyczące scoringu kredytowego. Pokazuje ono, że formalne umiejscowienie ostatecznej decyzji po stronie banku nie zawsze wystarcza, jeżeli wynik systemu w rzeczywistości odgrywa decydującą rolę przy zawieraniu, wykonywaniu albo zakończeniu relacji umownej. Problem nie sprowadza się więc do tego, kto technicznie wykonał ostatnią czynność. Istotne jest to, co faktycznie przesądziło o wyniku procesu. To właśnie powinno skłaniać bank do zadawania znacznie bardziej konkretnych pytań o rolę człowieka. Czy osoba dokonująca przeglądu ma dostęp do danych, na których system oparł wynik? Czy rozumie, jakie czynniki miały istotne znaczenie? Czy widzi poziom niepewności modelu? Czy może porównać rezultat z innymi informacjami? Czy może od niego odstąpić bez szczególnego obciążenia organizacyjnego? Czy odstępstwa rzeczywiście występują? A jeżeli praktycznie nikt nigdy nie zmienia rekomendacji AI, czy oznacza to wyjątkową trafność systemu, czy raczej to, że proces został zaprojektowany w sposób eliminujący realny osąd człowieka?

Ostatnie pytanie jest szczególnie istotne. Brak override nie zawsze jest dowodem jakości modelu. Może być również sygnałem słabości nadzoru człowieka. Jeżeli przez tysiące kolejnych przypadków żaden pracownik nie zakwestionował wyniku systemu, bank powinien przynajmniej zastanowić się, czy osoby sprawujące nadzór zachowują rzeczywistą zdolność krytycznej oceny, czy też doszło do utrwalenia automation bias. W sektorze bankowym ryzyko takie może być szczególnie duże, ponieważ wiele decyzji jest podejmowanych masowo, według ustandaryzowanych reguł i przy silnej presji na szybkość procesu. Jeżeli model kredytowy, fraudowy czy AML przez długi czas osiąga wysoką skuteczność, naturalną reakcją organizacji może być ograniczenie kontroli wykonywanej przez człowieka. W pierwszej fazie każdy przypadek jest szczegółowo analizowany. Później sprawdzane są tylko wyjątki. Następnie człowiek akceptuje domyślną rekomendację systemu, aż w końcu jego rola sprowadza się do obsługi przypadków, których AI nie potrafi sama rozstrzygnąć. Taka ewolucja może być racjonalna, ale oznacza też stopniowe przesuwanie rzeczywistej decyzyjności. Dlatego model human in the loop nie powinien być traktowany jako prosty środek pozwalający uznać każde wykorzystanie AI za mniej ryzykowne. Czasami znacznie uczciwszym i bezpieczniejszym regulacyjnie rozwiązaniem może być przyznanie, że określona decyzja została faktycznie zautomatyzowana, i zaprojektowanie dla niej odpowiednich zabezpieczeń, niż utrzymywanie fikcji, że podejmuje ją człowiek tylko dlatego, że pojawia się w ostatnim kroku procesu. Formalna etykieta procesu ma mniejsze znaczenie niż rzeczywisty rozkład decyzyjności.

Nie oznacza to oczywiście, że człowiek musi za każdym razem samodzielnie powtarzać całą analizę wykonaną przez AI. Gdyby tak było, znacząca część korzyści z automatyzacji zostałaby utracona. Skuteczny nadzór powinien być projektowany proporcjonalnie do ryzyka i rodzaju decyzji. W niektórych przypadkach wystarczy możliwość kontroli wyrywkowej i monitorowania parametrów systemu. W innych konieczna może być wcześniejsza akceptacja konkretnego wyniku. Jeszcze gdzie indziej człowiek powinien angażować się dopiero po przekroczeniu określonego progu ryzyka albo pojawieniu się sytuacji nietypowej. Istotne jest jednak, aby bank potrafił wyjaśnić, dlaczego dany model nadzoru uznał za wystarczający. Jeżeli skutkiem decyzji może być odmowa finansowania, blokada istotnej transakcji, ograniczenie dostępu do produktu czy inne poważne oddziaływanie na sytuację klienta, poziom kontroli powinien być odpowiednio wyższy. Jeżeli AI dokonuje wyłącznie technicznej klasyfikacji dokumentów wewnętrznych, oczekiwanie indywidualnego zatwierdzania każdego rezultatu przez człowieka byłoby trudne do uzasadnienia. Kluczowe pozostaje więc powiązanie intensywności human oversight z konsekwencjami błędu i rzeczywistą rolą systemu w procesie.

Szczególnie istotny jest jeszcze jeden warunek: osoba sprawująca nadzór musi posiadać realną władzę nad wynikiem AI. Nie wystarczy przeszkolenie pracownika, jeżeli procedura organizacyjna nie pozwala mu skutecznie zatrzymać procesu. Nie wystarczy możliwość formalnego zgłoszenia zastrzeżenia, jeżeli wykonanie decyzji następuje wcześniej. Nie wystarczy możliwość eskalacji, jeżeli system generuje skutek automatycznie, a reakcja człowieka może nastąpić dopiero po jego wystąpieniu. Nadzór człowieka powinien być umiejscowiony tam, gdzie rzeczywiście może jeszcze zmienić wynik albo jego konsekwencje. To prowadzi również do ważnego rozróżnienia pomiędzy nadzorem nad systemem a udziałem człowieka w pojedynczej decyzji. Można bardzo intensywnie monitorować jakość modelu, jego stabilność, błędy i odchylenia, jednocześnie pozostawiając mu pełną autonomię w konkretnych sprawach. Można też wymagać zatwierdzania każdej decyzji przez pracownika, ale praktycznie w ogóle nie monitorować, czy model zmienił zachowanie. Oba mechanizmy służą innym celom i w istotnych procesach mogą być potrzebne równolegle.

Dlatego bank nie powinien odpowiadać na pytanie o kontrolę AI prostym stwierdzeniem, że „decyzję zawsze zatwierdza człowiek”. Znacznie bardziej miarodajne jest ustalenie, co ten człowiek rzeczywiście wie, co może zrobić, ile ma czasu na ocenę, jakie informacje otrzymuje i czy organizacja oczekuje od niego samodzielnego osądu, czy jedynie potwierdzenia wyniku systemu. Wtedy dopiero można ustalić, czy AI rzeczywiście wspiera człowieka, czy człowiek jedynie legitymizuje decyzję podjętą wcześniej przez AI. I właśnie to rozróżnienie będzie szczególnie ważne tam, gdzie decyzja wywołuje bezpośredni skutek wobec klienta albo dotyczy wykonania obowiązku, któremu regulacja nadaje szczególne znaczenie.

Nie każdą decyzję można oddać AI tylko dlatego, że technicznie potrafi ją podjąć

Dotychczasowa analiza prowadzi do jeszcze jednego wniosku. Nawet jeżeli bank rozumie sposób działania systemu, potrafi odtworzyć ślad decyzyjny i zapewnił rzeczywisty nadzór człowieka, nie oznacza to jeszcze, że każdą decyzję można w takim modelu powierzyć AI. W sektorze bankowym pytanie o dopuszczalność automatyzacji nie może być rozstrzygane wyłącznie przez pryzmat AI Act. Trzeba najpierw ustalić, jakiego rodzaju czynność albo decyzję bank chce zautomatyzować i jakie wymagania odnoszą się do niej niezależnie od wykorzystywanej technologii. To odwraca dość naturalną kolejność myślenia o wdrożeniu. Łatwo zacząć od technologii: mamy system zdolny analizować określone informacje i z wysoką trafnością przewidywać właściwe rozstrzygnięcie, więc zastanawiamy się, czy można go zastosować w banku. Z perspektywy regulacyjnej właściwsze jest rozpoczęcie od procesu. Najpierw trzeba ustalić, czego prawo oczekuje od banku przy podejmowaniu konkretnej decyzji, kto ma ją podejmować, jakie przesłanki powinien uwzględnić, czy wymagany jest osąd, jakie obowiązki informacyjne powstają wobec klienta oraz jakie mechanizmy kontroli i odwołania muszą istnieć. Dopiero potem można ocenić, jaką część tego procesu może przejąć AI.

Właśnie dlatego zgodność systemu z AI Act jest warunkiem koniecznym, ale nie zawsze wystarczającym. Rozporządzenie określa między innymi zasady dotyczące systemów wysokiego ryzyka, przejrzystości, danych, dokumentacji, nadzoru człowieka czy monitorowania. Nie tworzy jednak jednolitego europejskiego kodeksu podejmowania decyzji przez banki. To, czy określone rozstrzygnięcie może zostać zautomatyzowane, może zależeć również od przepisów regulujących działalność bankową, udzielanie kredytu, przeciwdziałanie praniu pieniędzy, ochronę danych, ochronę konsumenta, bezpieczeństwo operacyjne albo wykonywanie funkcji kontrolnych. W niektórych procesach wymagania te pozostawiają szeroką przestrzeń dla automatyzacji. Jeżeli prawo oczekuje osiągnięcia określonego rezultatu, ustanowienia kontroli albo wykrywania określonych zdarzeń, nie przesądzając szczegółowo o sposobie wykonywania każdej pojedynczej czynności, bank może mieć znacznie większą swobodę w wykorzystaniu technologii. AI może wtedy przejmować kolejne etapy procesu, jeżeli organizacja zachowuje kontrolę nad jego działaniem i potrafi wykazać, że wymagany rezultat jest rzeczywiście osiągany.

W innych przypadkach ustawodawca albo regulator oczekuje jednak czegoś więcej niż prawidłowego rezultatu statystycznego. Istotny może być sam sposób dochodzenia do decyzji. Obowiązek może zakładać dokonanie określonej oceny, uwzględnienie całokształtu informacji, rozpatrzenie okoliczności indywidualnego przypadku, wykonanie niezależnego osądu albo możliwość skutecznego zakwestionowania wyniku. W takim procesie pytanie o wykorzystanie AI nie może zostać sprowadzone do tego, czy model podejmuje decyzję równie trafnie jak człowiek. Trzeba ustalić, czy sposób zorganizowania procesu nadal realizuje funkcję, dla której prawo wymagało dokonania takiej oceny.

Dobrym przykładem jest ocena klienta. System może bardzo trafnie przewidywać prawdopodobieństwo spłaty kredytu. Nie oznacza to jeszcze, że probabilistyczny wynik modelu wyczerpuje wszystkie obowiązki banku związane z oceną zdolności kredytowej i podjęciem decyzji kredytowej. Może bardzo trafnie przewidywać prawdopodobieństwo wystąpienia fraudu, ale samo prawdopodobieństwo nie odpowiada jeszcze na każde pytanie dotyczące dopuszczalności określonej reakcji wobec klienta. W każdym przypadku trzeba ustalić, czy wynik modelu jest jedną z przesłanek decyzji, czy ma ją determinować oraz jakie dodatkowe obowiązki wiążą się z jej podjęciem. Właśnie dlatego szczególne znaczenie ma rozróżnienie pomiędzy automatyzacją oceny a automatyzacją rozstrzygnięcia. Bank może pozwolić AI wykonać bardzo znaczną część pracy analitycznej, pozostawiając określony element oceny człowiekowi. Może również zautomatyzować finalne rozstrzygnięcie w sprawach, w których prawo i charakter procesu na to pozwalają. Nie powinien jednak zakładać, że skoro poszczególne elementy procesu mogą być wykonywane automatycznie, automatycznie dopuszczalne staje się również przekazanie systemowi całej decyzji.

Podobny problem pojawia się w odniesieniu do zadań przypisanych konkretnym funkcjom albo organom banku. Sztuczna inteligencja może dostarczać zarządowi analiz, wykrywać odchylenia, przygotowywać warianty rozstrzygnięć i wskazywać ryzyka. Nie oznacza to jednak, że zarząd może przekazać modelowi odpowiedzialność za decyzje, które prawo przypisuje organowi. To samo dotyczy funkcji kontrolnych. System może analizować ogromne zbiory danych i wskazywać potencjalne przypadki niezgodności znacznie efektywniej niż człowiek, ale nie prowadzi to samo przez się do wniosku, że funkcja zgodności może przestać wykonywać przypisany jej osąd i ograniczyć się do przyjmowania wyniku modelu. Warto przy tym rozróżnić wykonywanie czynności od wykonywania kompetencji. Wiele czynności technicznych składających się na proces należący do określonej funkcji może zostać zautomatyzowanych. AI może przygotować materiał, dokonać klasyfikacji, przeprowadzić pierwszą analizę, zidentyfikować anomalie albo wygenerować projekt rekomendacji. Jeżeli jednak określona kompetencja została powierzona organowi, funkcji albo osobie właśnie po to, aby zapewnić niezależny osąd, odpowiedzialność lub określony mechanizm kontroli, samo odtworzenie końcowego rezultatu tej czynności przez AI nie musi oznaczać, że wymóg został spełniony.

To istotne również z punktu widzenia zasady proporcjonalności. Nie każdy proces wymaga utrzymywania człowieka w każdym przypadku. W banku wykonuje się miliony powtarzalnych czynności, a wiele z nich od lat podlega automatyzacji bez szczególnych wątpliwości regulacyjnych. AI nie powinna prowadzić do automatycznego odwrócenia tego modelu i założenia, że każda czynność wykonana przez bardziej zaawansowany algorytm wymaga indywidualnej ingerencji człowieka. Kluczowe jest ustalenie, co właściwie jest przedmiotem automatyzacji i jaki interes chroni regulacja dotycząca danej czynności. Można to dobrze zobaczyć na przykładzie identyfikacji anomalii. Jeżeli AI ma wyłącznie wskazywać transakcje wymagające dalszej analizy, problem regulacyjny koncentruje się przede wszystkim na jakości selekcji, kompletności danych i ryzyku pominięcia istotnych przypadków. Jeżeli ten sam system zaczyna samodzielnie przesądzać, że określone zdarzenie nie wymaga dalszej analizy, rośnie znaczenie możliwości zweryfikowania wyniku. Jeżeli zaś jego decyzja bezpośrednio prowadzi do działania wobec klienta, pojawiają się kolejne pytania dotyczące podstawy takiego działania, jego proporcjonalności, możliwości wyjaśnienia i zakwestionowania.

Wraz z przesuwaniem AI w stronę końca procesu zmienia się więc nie tylko poziom ryzyka technologicznego. Zmienia się charakter ryzyka prawnego. Błąd systemu wyszukującego dokument może spowodować, że pracownik będzie dysponował niepełną informacją. Błąd systemu rekomendacyjnego może skierować człowieka w stronę niewłaściwej decyzji. Błąd modelu posiadającego autonomię decyzyjną może natomiast bezpośrednio wywołać skutek prawny, finansowy albo operacyjny. Nie wystarczy zatem mierzyć prawdopodobieństwa błędu. Trzeba również oceniać, co stanie się wtedy, gdy błąd rzeczywiście wystąpi. W tym miejscu szczególnie użyteczne staje się pytanie o odwracalność decyzji. Inaczej można podchodzić do automatycznego działania, które można natychmiast skorygować bez istotnych konsekwencji, a inaczej do decyzji powodującej trwały albo trudny do odwrócenia skutek dla klienta lub banku. Im poważniejsze konsekwencje i trudniejsza możliwość ich późniejszego usunięcia, tym silniejsze powinno być uzasadnienie dla przekazania systemowi autonomii oraz tym większe znaczenie mechanizmów zapobiegających błędnemu rozstrzygnięciu jeszcze przed jego wykonaniem.

Nie oznacza to jednak, że istnieje uniwersalny katalog decyzji, których AI „nie wolno” podejmować w banku. Takie ujęcie byłoby zbyt proste. W części przypadków przepisy rzeczywiście ograniczają możliwość w pełni automatycznego podejmowania decyzji albo wymagają określonych gwarancji. W innych zakres dopuszczalnej automatyzacji trzeba wyprowadzić z konstrukcji konkretnego obowiązku i funkcji, jaką pełni w systemie regulacyjnym. Ten sam rodzaj technologii może więc być dopuszczalny w jednym zastosowaniu i wymagać zasadniczo innego modelu kontroli w innym. Dlatego przed podjęciem decyzji o poziomie automatyzacji bank powinien zadać pytanie bardziej podstawowe niż „czy AI sobie z tym poradzi?”. Powinien ustalić: czy prawo pozwala zorganizować ten proces w taki sposób, aby określony element osądu został powierzony systemowi, oraz czy po takim przesunięciu nadal realizowane są wszystkie funkcje, które regulacja przypisuje temu procesowi.

Dopiero wtedy można przejść do kolejnej granicy. Nie wszystkie decyzje banku mają bowiem takie same konsekwencje. Inaczej należy patrzeć na AI optymalizującą wewnętrzny proces, inaczej na model wskazujący potencjalne ryzyko, a jeszcze inaczej na system, którego wynik może zdecydować o dostępie konkretnej osoby do kredytu, zablokowaniu jej transakcji albo dalszym utrzymywaniu relacji z bankiem. Decyzja o kliencie nie jest regulacyjnie tym samym co automatyzacja procesu wewnętrznego – nawet jeżeli technologicznie obie mogą wyglądać bardzo podobnie.

Decyzja o kliencie to nie to samo co automatyzacja procesu

Najważniejsza granica praktyczna może przebiegać nie pomiędzy procesami wykorzystującymi AI i procesami bez AI, lecz pomiędzy zastosowaniami oddziałującymi przede wszystkim na organizację banku a zastosowaniami, których wynik bezpośrednio wpływa na sytuację konkretnego klienta. System optymalizujący obieg dokumentów, wykrywający nieprawidłowości w danych albo wspierający planowanie zasobów może być bardzo istotny dla funkcjonowania instytucji, ale jego pojedynczy błąd zazwyczaj nie prowadzi bezpośrednio do odmowy produktu, ograniczenia dostępu do rachunku czy innego działania wobec określonej osoby. Inaczej wygląda sytuacja, gdy wynik AI staje się elementem decyzji, którą klient bezpośrednio odczuje. Nie chodzi przy tym o stworzenie prostego podziału na „bezpieczne” procesy wewnętrzne i „ryzykowne” procesy klientowskie. Błąd w wewnętrznym systemie zarządzania ryzykiem może mieć konsekwencje znacznie poważniejsze niż pojedyncza błędna decyzja wobec klienta. Z perspektywy pytania o zakres dopuszczalnej autonomii AI znaczenie ma jednak to, że decyzja dotycząca konkretnej osoby uruchamia dodatkową warstwę wymagań. Bank nie odpowiada już tylko za prawidłowość własnego procesu. Musi również być w stanie uzasadnić i – w odpowiednich przypadkach – wyjaśnić rozstrzygnięcie wobec podmiotu, którego sytuacja została przez nie zmieniona.

Dobrze widać to na przykładzie kredytu. AI może wspierać analizę danych finansowych, wykrywać zależności, identyfikować ryzyka i generować scoring. Może robić to szybciej i w określonych warunkach trafniej niż tradycyjne rozwiązania. W momencie, w którym wynik zaczyna jednak przesądzać o odmowie finansowania albo o warunkach, na jakich klient może je otrzymać, przestaje być wyłącznie narzędziem analitycznym. Staje się elementem procesu mającego bezpośredni wpływ na dostęp konkretnej osoby do produktu finansowego. Nieprzypadkowo AI Act co do zasady zalicza systemy wykorzystywane do oceny zdolności kredytowej osób fizycznych lub ustalania ich scoringu kredytowego do kategorii wysokiego ryzyka, przy jednoczesnym wyłączeniu zastosowań służących wykrywaniu oszustw finansowych. Nie oznacza to, że każda decyzja kredytowa musi być podejmowana indywidualnie przez człowieka. Oznacza natomiast, że wraz ze wzrostem automatyzacji rośnie znaczenie pytań o podstawę rozstrzygnięcia, jakość danych, możliwość wykrycia błędu i dostępność mechanizmu pozwalającego zweryfikować rezultat. Jeżeli klient otrzymuje odmowę, bank powinien być w stanie ustalić nie tylko, że „model wskazał zbyt wysokie ryzyko”, ale również jakie elementy procesu rzeczywiście doprowadziły do takiego wyniku i czy mechanizm działał zgodnie z założeniami.

Podobny problem pojawia się przy fraudzie, choć rozkład ryzyk jest inny. Wykrywanie oszustw jest naturalnym obszarem zastosowania zaawansowanej analityki, ponieważ człowiek nie byłby w stanie w czasie rzeczywistym analizować ogromnej liczby transakcji i zależności pomiędzy nimi. AI może więc rozpoznawać wzorce niewidoczne dla tradycyjnych reguł i reagować szybciej niż analityk. Jeżeli jednak rezultat modelu prowadzi bezpośrednio do zablokowania transakcji albo ograniczenia klientowi możliwości korzystania z określonej usługi, pojawia się pytanie o to, jaki poziom błędu bank jest gotowy zaakceptować i jak szybko potrafi skorygować fałszywie pozytywne rozstrzygnięcie. Tu szczególnie wyraźnie widać znaczenie odwracalności decyzji. Automatyczne zatrzymanie podejrzanej czynności na krótki czas, po którym następuje szybka weryfikacja przez człowieka, może być regulacyjnie czymś zupełnie innym niż trwałe ograniczenie możliwości korzystania z produktu oparte wyłącznie na wyniku modelu. Technologicznie oba przypadki mogą zaczynać się od identycznej predykcji fraudowej. Różny jest jednak skutek, jaki bank zdecydował się nadać wynikowi AI.

Podobną gradację można odnaleźć w przeciwdziałaniu praniu pieniędzy. AI może być bardzo wartościowe przy wykrywaniu nietypowych zachowań, priorytetyzowaniu alertów i identyfikowaniu powiązań pomiędzy transakcjami. Problem zaczyna się w momencie, w którym system nie tylko wskazuje przypadki wymagające uwagi, lecz zaczyna samodzielnie rozstrzygać, że określony przypadek takiej uwagi nie wymaga. Wtedy ryzyko błędu ma inny charakter. Fałszywie pozytywny alert generuje dodatkową pracę. Fałszywie negatywne rozstrzygnięcie może natomiast spowodować, że zdarzenie wymagające analizy w ogóle do niej nie trafi. Nie oznacza to, że zamykanie części alertów nie może zostać zautomatyzowane. W wielu systemach od dawna stosuje się reguły pozwalające ograniczać liczbę przypadków kierowanych do analityków. Wprowadzenie bardziej zaawansowanej AI zmienia jednak pytanie o podstawę takiego filtrowania. Jeżeli człowiek nie będzie już widział przypadków odrzuconych przez system, szczególnego znaczenia nabiera możliwość wykazania, dlaczego bank uznał, że model może samodzielnie dokonywać tej selekcji, jak jest monitorowana jakość jego wyników i w jaki sposób sprawdza się przypadki, których człowiek nigdy nie analizuje.

To prowadzi do jednej z najważniejszych różnic pomiędzy wsparciem decyzji a delegowaniem decyzji. Jeżeli AI wskazuje przypadek człowiekowi, ryzyko dotyczy przede wszystkim jakości rekomendacji. Jeżeli AI decyduje, których przypadków człowiek nigdy nie zobaczy, jej wpływ na proces jest znacznie większy. W drugim modelu system kształtuje bowiem nie tylko wynik analizy, ale także sam zakres rzeczywistości dostępnej dla ludzkiego osądu.

Jeszcze inny charakter może mieć wykorzystanie AI przy rozpatrywaniu reklamacji albo w bieżącej obsłudze klienta. System może sprawdzić dokumentację, odnaleźć właściwe postanowienia umowy, porównać przypadek z podobnymi sprawami i przygotować projekt odpowiedzi. Taki model może znacząco zwiększyć efektywność procesu bez zasadniczej zmiany tego, kto dokonuje finalnej oceny. Jeżeli jednak bank zacznie automatycznie odrzucać reklamacje na podstawie klasyfikacji systemu, problem staje się jakościowo inny. AI przestaje pomagać pracownikowi zrozumieć sprawę, a zaczyna rozstrzygać spór pomiędzy klientem i instytucją. Właśnie przy decyzjach klientowskich szczególnie widoczna staje się potrzeba zachowania możliwości skutecznego zakwestionowania wyniku. Nie chodzi wyłącznie o formalne prawo do złożenia reklamacji. Jeżeli późniejsza weryfikacja ma polegać na ponownym uruchomieniu tego samego modelu na tych samych danych, możliwość zakwestionowania decyzji staje się iluzoryczna. Bank potrzebuje mechanizmu pozwalającego spojrzeć na sprawę z innej perspektywy: zweryfikować dane, uwzględnić okoliczność nieuwzględnioną przez system, ocenić ograniczenia modelu albo zastosować rzeczywisty osąd człowieka.

Ma to również znaczenie dla rozumienia human oversight. W procesach mających bezpośredni wpływ na klienta nadzór człowieka nie zawsze musi oznaczać wcześniejsze zatwierdzenie każdej decyzji. Może być zorganizowany poprzez kontrolę wyjątków, możliwość szybkiej interwencji, kontrolę ex post albo określone progi powodujące obowiązkową eskalację. Istotne jest jednak, aby wraz ze wzrostem znaczenia decyzji nie malała zdolność banku do wyjaśnienia i skorygowania błędnego wyniku. Z tego punktu widzenia szczególnie niebezpieczne może być poleganie wyłącznie na średnich parametrach jakości modelu. System może osiągać bardzo wysoką trafność, a jednocześnie podejmować błędne decyzje wobec konkretnej i powtarzalnej grupy klientów. Może działać dobrze w skali całego portfela, ale źle na danych odbiegających od dominującego wzorca. Może również z czasem zmienić zachowanie na skutek zmiany jakości danych albo otoczenia, w którym jest stosowany. Dla klienta, którego dotknęła błędna decyzja, średnia trafność modelu nie jest odpowiedzią na pytanie, dlaczego bank postąpił wobec niego w określony sposób.

W tym kierunku idzie również art. 86 AI Act. Osobie, której dotyczy decyzja podjęta przez podmiot stosujący na podstawie wyniku systemu wysokiego ryzyka wymienionego w załączniku III – z wyjątkiem systemów wskazanych w pkt 2 tego załącznika – i która wywołuje skutki prawne lub w podobny sposób istotnie na nią wpływa w sposób uznawany przez tę osobę za niekorzystny dla jej zdrowia, bezpieczeństwa lub praw podstawowych, przysługuje prawo do uzyskania jasnych i znaczących wyjaśnień dotyczących roli systemu AI w procedurze decyzyjnej oraz głównych elementów podjętej decyzji. Przepis ten stosuje się w zakresie, w jakim takie prawo nie wynika już z innych przepisów prawa Unii. To dodatkowo pokazuje, że przy decyzjach o istotnych skutkach sama informacja o statystycznej jakości modelu nie zastępuje możliwości wyjaśnienia konkretnego rozstrzygnięcia. Dlatego przy decyzjach klientowskich rozliczalność powinna mieć również wymiar indywidualny. Bank musi oczywiście monitorować model na poziomie portfela, ale powinien być także zdolny przejść od statystyki do pojedynczego przypadku. Jeżeli w konkretnej sprawie pojawia się skarga, spór albo kontrola, organizacja musi umieć odtworzyć ślad prowadzący od danych wejściowych przez wynik systemu do działania wobec klienta. Bez takiej możliwości kontrola modelu pozostaje abstrakcyjna.

Nie można też zakładać, że ochrona klienta zawsze wymaga większej obecności człowieka. Człowiek również popełnia błędy, może działać niespójnie, podlegać własnym uprzedzeniom i podejmować decyzje gorzej udokumentowane niż prawidłowo zaprojektowany system. W niektórych procesach dobrze kontrolowana automatyzacja może wręcz poprawić powtarzalność, przewidywalność i możliwość późniejszego audytu decyzji. Pytanie nie powinno więc brzmieć: „czy człowiek byłby lepszy od AI?”. Powinno brzmieć: który model procesu zapewnia wymagany poziom prawidłowości, kontroli, rozliczalności i ochrony osoby, której dotyczy decyzja. To ważne także dlatego, że zbyt proste przyjęcie zasady „decyzje wobec klienta zawsze podejmuje człowiek” mogłoby prowadzić do tworzenia fikcyjnych punktów akceptacji, które analizowaliśmy wcześniej. Jeżeli bank w praktyce ufa modelowi bardziej niż pracownikowi, a człowiek zatwierdza niemal wszystkie jego rozstrzygnięcia, formalne utrzymywanie ręcznej decyzji nie zwiększa bezpieczeństwa. Znacznie uczciwsze może być określenie zakresu dopuszczalnej automatyzacji i zbudowanie wokół niego rzeczywiście skutecznych zabezpieczeń.

Właśnie dlatego granica nie powinna być wyznaczana wyłącznie przez kryterium „dotyczy klienta – nie dotyczy klienta”. Znaczenie mają rodzaj skutku, jego intensywność, możliwość odwrócenia, prawdopodobieństwo błędu, dostępność mechanizmu zakwestionowania oraz zdolność banku do odtworzenia podstaw rozstrzygnięcia. Im więcej z tych elementów wskazuje na poważny i trudny do usunięcia wpływ na sytuację osoby, tym ostrożniej należy podchodzić do pełnej autonomii systemu. To prowadzi do praktycznego modelu, w którym poziom autonomii AI powinien rosnąć wolniej niż znaczenie skutku jej decyzji. Automatyzacja czynności technicznej może być bardzo szeroka. Automatyzacja analizy może być szersza niż automatyzacja rozstrzygnięcia. Natomiast przekazanie AI decyzji mającej istotny wpływ na sytuację klienta wymaga szczególnie mocnego uzasadnienia i odpowiednio silnych zabezpieczeń.

Nie wystarczy więc powiedzieć, że model jest skuteczny, został zwalidowany i posiada funkcję human override. Bank powinien jeszcze umieć odpowiedzieć, dlaczego właśnie w tym procesie i przy właśnie takim skutku uznał dany poziom autonomii za dopuszczalny. Im większy wpływ decyzji AI na klienta, tym większa odpowiedzialność banku za uzasadnienie, dlaczego zdecydował się tej decyzji nie pozostawić człowiekowi. Najlepiej będzie to jednak zobaczyć nie na poziomie abstrakcyjnych zasad, lecz w konkretnych procesach. Kredyt, fraud, AML i funkcja zgodności pokazują bowiem cztery różne sposoby, w jakie AI może wchodzić w obszar regulowanego osądu – i cztery różne miejsca, w których granica autonomii może przebiegać inaczej.

Kredyt, fraud, AML i compliance – cztery różne granice autonomii AI

Najłatwiej zobaczyć ograniczenia ogólnych zasad dotyczących AI wtedy, gdy zastosuje się je do konkretnych procesów. Kredyt, fraud, AML i compliance mogą korzystać z podobnych technologii: klasyfikacji, predykcji, analizy behawioralnej, wykrywania anomalii czy modeli generatywnych. Z punktu widzenia regulacyjnego są to jednak bardzo różne obszary. Inny jest cel procesu, inny rodzaj chronionego interesu, inne skutki błędu i inne znaczenie osądu przypisanego człowiekowi albo określonej funkcji banku. Dlatego nie istnieje jeden poziom autonomii AI, który można uznać za właściwy dla całej instytucji.

Najbardziej oczywistym przykładem jest kredyt. Tutaj AI może działać na wielu poziomach: porządkować dane o kliencie, wykrywać niespójności, obliczać wskaźniki, przewidywać prawdopodobieństwo niewykonania zobowiązania, przygotowywać scoring, rekomendować określone parametry finansowania albo bezpośrednio wpływać na decyzję kredytową. Im dalej przesuwa się w tym łańcuchu, tym bardziej rezultat modelu przestaje być informacją analityczną, a zaczyna determinować dostęp klienta do finansowania. AI Act dostrzega tę różnicę szczególnie wyraźnie. Systemy służące ocenie zdolności kredytowej osób fizycznych lub ustalaniu ich scoringu kredytowego co do zasady należą do kategorii wysokiego ryzyka. Nie oznacza to zakazu ich stosowania ani automatycznego obowiązku pozostawienia każdej decyzji człowiekowi. Oznacza natomiast, że ustawodawca traktuje ten rodzaj zastosowania jako obszar, w którym błędny albo niekontrolowany wynik może istotnie wpłynąć na sytuację osoby. W banku dochodzą do tego obowiązki wynikające z regulacji kredytowych, ochrony danych oraz – zależnie od rodzaju produktu i klienta – ochrony konsumenta.

Dlatego w kredycie najważniejsze pytanie nie powinno brzmieć, czy AI może obliczyć scoring. To jest już w praktyce najmniej interesująca część problemu. Znacznie ważniejsze jest to, jaką moc decyzyjną bank nadaje temu scoringowi. Czy jest jedną z kilku przesłanek oceny? Czy wynik poniżej określonego progu automatycznie prowadzi do odmowy? Czy pracownik może odstąpić od rezultatu modelu? Jeżeli tak, to na podstawie jakich informacji? Czy klient ma możliwość zakwestionowania danych albo wyjaśnienia okoliczności, których model nie uwzględnił? To właśnie te elementy przesądzają, czy AI pozostaje narzędziem analitycznym, czy staje się faktycznym decydentem.

Inaczej wygląda fraud, gdzie potrzeba szybkiej reakcji jest często częścią samej istoty procesu. Podejrzana transakcja może wymagać oceny w czasie liczonym w sekundach, a oczekiwanie na indywidualną decyzję pracownika mogłoby powodować, że mechanizm ochronny przestanie być skuteczny. Tutaj większy poziom automatyzacji może być nie tylko dopuszczalny, ale wręcz potrzebny do prawidłowego zarządzania ryzykiem. Nie oznacza to jednak, że fraud jest obszarem wolnym od problemu rozliczalności. Jeżeli model jedynie podwyższa poziom monitoringu albo kieruje przypadek do dodatkowej autoryzacji, konsekwencja błędu może być stosunkowo ograniczona. Jeżeli jednak automatycznie blokuje transakcję, ogranicza dostęp do rachunku albo prowadzi do dalszych działań wobec klienta, znaczenie wyniku gwałtownie rośnie. Wtedy szczególnie ważne stają się czas trwania ograniczenia, możliwość szybkiej interwencji człowieka, dostępność alternatywnego kanału weryfikacji oraz zdolność banku do rozpoznania i skorygowania false positive. Fraud dobrze pokazuje więc, że większa autonomia AI nie zawsze oznacza większe ryzyko regulacyjne niż pozostawienie decyzji człowiekowi. W określonych procesach opóźnienie reakcji może być bardziej niebezpieczne niż automatyzacja. Regulacyjnie istotne jest wtedy to, czy bank właściwie zdefiniował zakres autonomii systemu, konsekwencje jego błędów i mechanizm późniejszej korekty. Im szybsza i bardziej automatyczna reakcja, tym większego znaczenia nabiera zdolność równie szybkiego naprawienia jej skutków.

Jeszcze inaczej wygląda AML, ponieważ w tym przypadku AI może działać zarówno po stronie wykrywania ryzyka, jak i po stronie jego oceny. Wykorzystanie zaawansowanych modeli do monitorowania transakcji, identyfikowania nietypowych zachowań, łączenia pozornie niezależnych zdarzeń czy priorytetyzowania alertów może znacząco poprawić skuteczność systemu. Człowiek nie jest w stanie samodzielnie przeglądać wszystkich transakcji i wszystkich możliwych powiązań. Wykorzystanie technologii do selekcji informacji jest więc naturalną częścią systemu opartego na ryzyku.Problem zaczyna się wtedy, gdy AI nie tylko identyfikuje zdarzenia potencjalnie istotne, lecz zaczyna rozstrzygać, które zdarzenia nie wymagają dalszego zainteresowania człowieka. To właśnie decyzje negatywne mogą mieć szczególne znaczenie. Alert wygenerowany niepotrzebnie zwiększa koszty i obciążenie zespołu. Przypadek, którego system nigdy nie pokaże analitykowi, może natomiast pozostać całkowicie poza dalszą oceną. W takim modelu jakość AI wpływa już nie tylko na priorytet spraw, lecz na zakres materiału, na którym w ogóle działa funkcja AML.

Dlatego przy AML kluczowe znaczenie ma również kontrola nad przypadkami niewidocznymi dla człowieka. Bank nie powinien ograniczać walidacji do tego, czy system właściwie klasyfikuje przypadki, które zostały później zbadane. Musi również posiadać mechanizmy pozwalające ocenić jakość odrzuceń i przypadków automatycznie uznanych za nieistotne. Inaczej może powstać szczególnie niebezpieczne złudzenie skuteczności: analitycy widzą jedynie materiał wyselekcjonowany przez system, więc nie mają możliwości ocenić tego, czego system im nie pokazał. Na końcu procesu AML pojawiają się z kolei decyzje wymagające już nie tylko wykrywania wzorca, ale prawnej i faktycznej oceny konkretnego zachowania. AI może przygotować zestawienie informacji, połączyć zdarzenia, wskazać podobne przypadki, przygotować projekt uzasadnienia albo podpowiedzieć kierunek analizy. Im bliżej jednak procesu prowadzącego do formalnego rozstrzygnięcia przewidzianego przez reżim AML, tym większe znaczenie ma zachowanie odpowiedzialnego osądu po stronie instytucji obowiązanej. Nie dlatego, że człowiek z definicji lepiej rozpoznaje pranie pieniędzy niż model, ale dlatego, że określone obowiązki prawne zostały przypisane instytucji i osobom wykonującym funkcje w jej systemie AML. Bank może wykorzystywać AI do ich wykonywania. Nie może uznać, że wraz z wdrożeniem modelu odpowiedzialność za spełnienie obowiązku przeszła na technologię.

Najbardziej odmienny jest przypadek compliance. W funkcji zgodności AI może przynieść ogromne korzyści. Może śledzić zmiany regulacyjne, porównywać nowe przepisy z regulacjami wewnętrznymi, analizować dane z kontroli, identyfikować nietypowe wzorce, wspierać testowanie mechanizmów kontrolnych, przygotowywać pierwsze wersje ocen regulacyjnych czy przeszukiwać dużą liczbę dokumentów w sposób nieosiągalny dla pojedynczego pracownika. W tym obszarze pokusa automatyzacji osądu może być jednak szczególnie duża, ponieważ znaczna część pracy funkcji zgodności kończy się właśnie oceną. System może zostać poproszony o odpowiedź, czy określone rozwiązanie jest zgodne z prawem, czy ryzyko jest akceptowalne, czy kontrola działa wystarczająco dobrze albo czy produkt może zostać wdrożony. Technicznie coraz częściej będzie w stanie wygenerować przekonującą odpowiedź. Regulacyjnie problem polega na tym, że funkcja zgodności nie istnieje wyłącznie po to, aby dostarczyć poprawną informację o przepisach. Ma niezależnie monitorować zgodność, dokonywać własnej oceny regulacyjnej, doradzać i – gdy jest to potrzebne – interweniować wobec rozwiązań funkcjonujących w pierwszej linii.

Dlatego w compliance granica autonomii AI może przebiegać wcześniej niż w wielu procesach operacyjnych. Model może przygotować analizę, wykryć problem, wskazać argumenty za i przeciw, znaleźć niespójność albo zaproponować klasyfikację ryzyka. Jeśli jednak organizacja przestaje oczekiwać samodzielnego osądu funkcji zgodności i zaczyna traktować wynik AI jako jej stanowisko, zmienia nie tylko narzędzie pracy. Zmienia funkcję, którą compliance ma pełnić w systemie zarządzania bankiem. Nie oznacza to, że każda opinia compliance musi być ręcznie tworzona od pierwszego do ostatniego zdania. Takie podejście byłoby równie sztuczne jak zakazywanie wykorzystania modeli do decyzji kredytowych tylko dlatego, że technologia jest zaawansowana. Chodzi o ustalenie, gdzie znajduje się własny osąd funkcji. Jeżeli pracownik compliance rozumie materiał, ocenia wiarygodność analizy, potrafi zakwestionować wynik i bierze odpowiedzialność za ostateczne stanowisko, AI pozostaje narzędziem. Jeżeli rola człowieka ogranicza się do przyjęcia gotowej odpowiedzi, której podstaw nie potrafi samodzielnie ocenić, funkcja zaczyna tracić element, dla którego została ustanowiona.

Cztery przykłady pokazują więc cztery różne logiki. W kredycie centralnym problemem jest wpływ decyzji na dostęp klienta do finansowania i możliwość odtworzenia podstaw rozstrzygnięcia. W fraudzie większą wagę może mieć szybkość reakcji i odwracalność automatycznie zastosowanego środka. W AML szczególnie istotne jest to, czego system nie pokazuje człowiekowi, oraz zachowanie odpowiedzialności za oceny wymagane przez reżim AML. W compliance granicę wyznacza natomiast potrzeba zachowania niezależnego osądu funkcji kontrolnej. Nie da się więc stworzyć sensownej bankowej zasady w rodzaju „AI może automatycznie podejmować decyzje do określonego poziomu ryzyka”. Ryzyko decyzji kredytowej, fraudowej, AML i compliance ma inny charakter i chroni inne interesy. Tak samo nie wystarczy jednolita reguła, że „każdą decyzję AI zatwierdza człowiek”. W części procesów będzie to zbędne, w części niewystarczające, a w części może jedynie stworzyć pozór kontroli.

Znacznie bardziej użyteczne jest pytanie o funkcję, którą w danym miejscu procesu wykonuje osąd człowieka. Jeżeli człowiek ma jedynie wykonać czynność, którą model może wykonać równie dobrze albo lepiej, automatyzacja może być szeroka. Jeżeli jego obecność ma zapewnić niezależny challenge, uwzględnienie indywidualnych okoliczności, ocenę proporcjonalności albo odpowiedzialność za wykonanie określonego obowiązku, zastąpienie go AI wymaga znacznie ostrożniejszej analizy. W ten sposób wracamy do pytania postawionego na początku artykułu. Granica nie zależy wyłącznie od technicznych możliwości sztucznej inteligencji. Zależy od tego, jaką rolę regulacja przypisała decyzji, kto ma ją kontrolować i jaki skutek wywołuje jej błąd.

Pozostaje jednak jeszcze jeden element. Niezależnie od tego, jak szeroko bank dopuści AI do procesu, ktoś musi odpowiedzieć za decyzję o nadaniu jej właśnie takiej roli. Model nie ustala sam, czy jego wynik ma być rekomendacją, przesłanką eskalacji czy automatycznym rozstrzygnięciem. Robi to bank. Dlatego kolejne pytanie brzmi już nie: co AI może zdecydować, lecz kto odpowiada za to, że pozwoliliśmy jej decydować właśnie w takim zakresie.

Kto odpowiada za decyzję podjętą przy pomocy AI?

Im większą decyzyjność bank przekazuje AI, tym mniej użyteczne staje się pytanie, kto „podjął” pojedynczą decyzję w sensie technicznym. System mógł wygenerować wynik, reguła procesowa mogła automatycznie przekształcić go w określone działanie, a żaden pracownik nie musiał uczestniczyć w konkretnej sprawie. Z perspektywy regulacyjnej nie oznacza to jednak powstania nowego podmiotu odpowiedzialności. Model może być źródłem wyniku, ale nie staje się podmiotem odpowiedzialnym za sposób prowadzenia działalności banku. To rozróżnienie jest szczególnie ważne, ponieważ wraz ze wzrostem autonomii systemów łatwo zacząć mówić o nich językiem sugerującym samodzielną sprawczość. „AI odmówiła kredytu”, „model zablokował transakcję”, „system zamknął alert” – operacyjnie takie sformułowania mogą być wygodne. Prawnie opisują jednak jedynie sposób zorganizowania procesu przez bank. To bank zdecydował, że określony rezultat modelu będzie prowadził do odmowy, blokady albo zamknięcia alertu. To bank określił próg, przy którym skutek następuje, zdecydował o pozostawieniu albo wyłączeniu kontroli człowieka i dopuścił konkretny system do wykonywania określonej roli.

Dlatego odpowiedzialności za wykorzystanie AI nie należy szukać dopiero na końcu procesu, przy pojedynczej decyzji. Zaczyna się ona znacznie wcześniej – w momencie, w którym organizacja ustala, co wolno systemowi zrobić z wygenerowanym wynikiem. Można bowiem używać dokładnie tego samego modelu w dwóch bankach i nadać mu zupełnie inną rolę. W pierwszym wynik będzie jedynie informacją dla analityka. W drugim jego przekroczenie automatycznie wywoła określony skutek. Różnica w zakresie autonomii nie wynika wtedy z technologii, lecz z decyzji organizacyjnej banku.

AI Act również nie buduje modelu, w którym podmiot stosujący system może powołać się na autonomię technologii jako na sposób uwolnienia się od własnych obowiązków. W odniesieniu do systemów wysokiego ryzyka przewiduje dla podmiotu stosującego między innymi obowiązki dotyczące używania systemu zgodnie z instrukcją, zapewnienia odpowiedniego nadzoru człowieka, monitorowania działania systemu i – w odpowiednich przypadkach – przechowywania logów pozostających pod jego kontrolą. Konstrukcja ta zakłada więc, że technologia działa w ramach organizacji, która nadal odpowiada za sposób jej wykorzystania. W sektorze bankowym zasada ta nie jest czymś całkowicie nowym. Prawo od dawna pozwala bankom korzystać z technologii, usług zewnętrznych i wyspecjalizowanych dostawców, ale nie traktuje tego jako sposobu przeniesienia odpowiedzialności za działalność regulowaną. Podobna logika jest widoczna w regulacjach dotyczących outsourcingu i korzystania z podmiotów trzecich: instytucja może powierzyć wykonanie określonych czynności, ale nie może przez sam fakt powierzenia uwolnić się od odpowiedzialności za prawidłowe wykonywanie własnych obowiązków.

Ta analogia jest szczególnie użyteczna przy systemach AI dostarczanych przez podmioty trzecie. Bank może nie być twórcą modelu, nie kontrolować wszystkich elementów jego architektury i korzystać z rozwiązania rozwijanego przez dużego dostawcę technologicznego. Dostawca może oczywiście ponosić własne obowiązki regulacyjne i odpowiedzialność za system. Nie oznacza to jednak, że bank może uzasadnić błędną decyzję wobec klienta stwierdzeniem, że wynikała ona z działania rozwiązania zewnętrznego. Z perspektywy procesu bankowego podstawowe pytanie pozostaje takie samo: dlaczego bank dopuścił ten system do określonej roli i jakie zabezpieczenia ustanowił wobec ryzyka jego błędu? Oznacza to również, że kontrakt z dostawcą nie rozwiązuje problemu rozliczalności. Można precyzyjnie określić odpowiedzialność odszkodowawczą za wadliwe działanie modelu, wymagane parametry jakości, obowiązki informacyjne czy zasady reagowania na incydenty. Są to elementy bardzo ważne, ale dotyczą relacji pomiędzy bankiem i dostawcą. Nie zastępują odpowiedzi na pytanie, czy bank prawidłowo wykonywał własny obowiązek wobec klienta, organu nadzoru albo innego uczestnika rynku. Przeniesienie części ryzyka kontraktowego nie jest przeniesieniem odpowiedzialności regulacyjnej za własną działalność.

Podobnie trzeba patrzeć na odpowiedzialność wewnątrz samego banku. Stwierdzenie, że „za AI odpowiada zarząd” jest z jednej strony prawdziwe na odpowiednio wysokim poziomie, ale z drugiej niewiele pomaga przy ocenie konkretnego zastosowania. Europejski model ładu bankowego przypisuje organowi zarządzającemu ogólną odpowiedzialność za instytucję i jej system zarządzania, a DORA dodatkowo wzmacnia odpowiedzialność organu zarządzającego za ramy zarządzania ryzykiem ICT. Nie oznacza to jednak, że zarząd powinien zatwierdzać każdą pojedynczą decyzję AI albo każdy drobny przypadek jej wykorzystania.

Potrzebny jest raczej czytelny łańcuch odpowiedzialności. Kto zdecydował, że określony proces może wykorzystywać AI? Kto określił zakres autonomii systemu? Kto odpowiada za prawidłowość procesu biznesowego? Kto ocenia model i jego ograniczenia? Kto monitoruje jego działanie? Kto może zdecydować o ograniczeniu albo zatrzymaniu zastosowania, gdy system zaczyna zachowywać się inaczej niż oczekiwano? Odpowiedzi mogą być różne zależnie od zastosowania, ale nie powinno powstać miejsce, w którym każdy odpowiada za fragment technologii, a nikt nie odpowiada za decyzję banku jako całość. Szczególne znaczenie ma tu właściciel procesu. Jeżeli AI zaczyna wykonywać istotną część procesu kredytowego, AML, fraudowego czy compliance, odpowiedzialność za proces nie może zostać przesunięta do informatyki albo zespołu data science tylko dlatego, że to te jednostki najlepiej rozumieją technologię. Osoby odpowiedzialne za rozwiązanie techniczne powinny odpowiadać za obszary, które rzeczywiście kontrolują, ale właściciel procesu nadal musi rozumieć na tyle dużo, aby świadomie zdecydować, jaką rolę system może w tym procesie pełnić. Technologiczna złożoność nie może prowadzić do sytuacji, w której osoba formalnie odpowiedzialna za proces nie jest w stanie ocenić najważniejszego mechanizmu determinującego jego wynik.

Z drugiej strony nie należy oczekiwać, że właściciel procesu stanie się specjalistą od architektury modeli. Właśnie dlatego odpowiedzialność za AI musi być rozłożona pomiędzy kilka ról. Zespół techniczny może odpowiadać za działanie rozwiązania, dane i parametry techniczne. Osoby odpowiedzialne za walidację mogą niezależnie oceniać skuteczność i ograniczenia modelu. Właściciel procesu powinien określić, jaką rolę wynik AI ma odgrywać w działalności. Funkcje kontrolne powinny wykonywać swoje zadania zgodnie z zakresem odpowiedzialności. Ostatecznie jednak rozdział ról ma prowadzić do większej rozliczalności, a nie do jej rozmycia. To szczególnie istotne w przypadku decyzji automatycznych. Jeżeli pojedynczej decyzji nie podejmuje już konkretny pracownik, odpowiedzialność przesuwa się z poziomu „kto zaakceptował tę sprawę?” w stronę pytania „kto zaprojektował i zaakceptował regułę, zgodnie z którą takie sprawy są rozstrzygane automatycznie?”. Jest to jakościowa zmiana, ale nie oznacza zaniku odpowiedzialności. Człowiek nie musi uczestniczyć w każdej decyzji, jeżeli wcześniej właściwie określono warunki, w których automatyzacja jest dopuszczalna, a następnie skutecznie monitoruje się działanie systemu.

W takim modelu pojedyncza błędna decyzja AI nie musi jeszcze oznaczać wadliwości całego systemu. Tak jak człowiek może popełnić błąd mimo prawidłowo zaprojektowanego procesu, również model może wygenerować nieprawidłowy wynik mimo właściwej walidacji i kontroli. Pytanie regulacyjne nie powinno automatycznie prowadzić do oczekiwania bezbłędności. Trzeba natomiast ustalić, czy ryzyko błędu było znane, mieściło się w zaakceptowanych granicach, istniały mechanizmy jego wykrywania i korekty, a organizacja właściwie reagowała, gdy problem rzeczywiście się pojawił.

Inaczej wygląda sytuacja, gdy błąd ujawnia ograniczenie, którego bank nie rozpoznał, albo gdy kolejne przypadki pokazują, że system przestał zachowywać się zgodnie z założeniami. Wtedy odpowiedzialność nie dotyczy już wyłącznie konkretnego rozstrzygnięcia. Pojawia się pytanie o jakość pierwotnej decyzji o dopuszczeniu modelu, adekwatność monitoringu, reakcję na wcześniejsze sygnały i zdolność organizacji do zatrzymania systemu. Im większa autonomia AI, tym ważniejsza staje się właśnie ta odpowiedzialność za system podejmowania decyzji, a nie tylko za pojedyncze decyzje. Z tego powodu jednym z najgorszych modeli organizacyjnych byłaby sytuacja, w której AI posiada znaczną autonomię, ale odpowiedzialność pozostaje skonstruowana tak, jakby każdą decyzję nadal podejmował indywidualny pracownik. Pracownik nie powinien ponosić fikcyjnej odpowiedzialności za wynik, którego w rzeczywistości nie mógł ocenić ani zmienić. Z drugiej strony zespół budujący model nie powinien odpowiadać za decyzje biznesowe dotyczące tego, w jakim procesie i z jakimi skutkami system jest wykorzystywany. Odpowiedzialność powinna podążać za rzeczywistą możliwością wpływu na decyzję.

To jest również jeden z powodów, dla których pełna automatyzacja nie musi być zawsze mniej rozliczalna niż human in the loop. Jeżeli bank jasno przyznaje, że określona kategoria decyzji jest automatyczna, określa odpowiedzialność za reguły automatyzacji, monitoruje działanie modelu i zapewnia mechanizmy korekty, łańcuch odpowiedzialności może być bardziej czytelny niż w procesie, w którym człowiek formalnie zatwierdza wynik, choć praktycznie nie ma na niego żadnego wpływu. Pozorna obecność człowieka może wówczas nie wzmacniać rozliczalności, lecz ją osłabiać. Właśnie dlatego pytanie o odpowiedzialność prowadzi z powrotem do problemu rozumienia i kontroli. Nie można sensownie odpowiadać za system, którego ograniczeń się nie rozumie. Trudno odpowiadać za decyzję, której podstaw nie da się odtworzyć. Nie można mówić o rzeczywistym nadzorze, jeżeli osoba odpowiedzialna nie posiada możliwości zatrzymania albo zmiany działania modelu. Rozliczalność, wyjaśnialność, human oversight i odpowiedzialność nie są więc czterema niezależnymi wymaganiami. Opisują różne elementy tego samego problemu: czy bank nadal panuje nad procesem, któremu pozwolił korzystać z autonomii AI.

Dlatego nie przekonuje mnie pytanie: „kto odpowiada, jeżeli AI się pomyli?”. Jest ono postawione zbyt późno. Właściwe pytanie brzmi: kto odpowiada za decyzję, że AI mogła w tym miejscu, na podstawie tych danych i przy takim poziomie kontroli samodzielnie wpłynąć na wynik procesu? Dopiero później można rozdzielać odpowiedzialność za wadę techniczną, nieprawidłowe dane, błędną konfigurację, niewłaściwe wykorzystanie czy wadliwy nadzór. I w ten sposób wracamy do pytania postawionego na początku całego artykułu. Granica dopuszczalnej autonomii AI nie przebiega po prostu tam, gdzie człowiek znika z procesu. Można pozostawić człowieka i faktycznie oddać decyzję modelowi. Można też całkowicie zautomatyzować pewne rozstrzygnięcia, a mimo to zachować nad nimi silną kontrolę organizacyjną i regulacyjną. Prawdziwa granica przebiega pomiędzy AI, nad którą bank nadal panuje, a AI, której wynik zaczyna być przyjmowany dlatego, że „system tak zdecydował”.

Granica nie przebiega pomiędzy AI i człowiekiem

Najprostszy sposób myślenia o wykorzystaniu sztucznej inteligencji w banku zakłada istnienie dwóch modeli. W pierwszym decyzję podejmuje człowiek, a AI jedynie go wspiera. W drugim decyzję podejmuje system, więc proces jest zautomatyzowany. Taki podział jest intuicyjny, ale z perspektywy regulacyjnej coraz mniej użyteczny. Człowiek może formalnie pozostawać w procesie, choć w praktyce nie ma już realnego wpływu na rozstrzygnięcie. Z kolei część decyzji może być w pełni automatyczna, a jednocześnie pozostawać pod bardzo silną kontrolą organizacyjną banku. Dlatego właściwa granica nie przebiega pomiędzy procesem „z człowiekiem” i procesem „bez człowieka”. Przebiega pomiędzy sytuacją, w której bank nadal kontroluje sposób powstawania i wykorzystywania wyniku AI, a sytuacją, w której zaczyna ten wynik przyjmować bez rzeczywistej możliwości jego oceny, zakwestionowania i rozliczenia. To właśnie stopień zachowania kontroli, a nie sama obecność człowieka przy ostatnim etapie procesu, powinien być jednym z podstawowych kryteriów oceny dopuszczalnego poziomu autonomii.

Można wyobrazić sobie proces całkowicie automatyczny, ale bardzo precyzyjnie ograniczony. System działa wyłącznie w jasno określonej kategorii przypadków, korzysta ze zdefiniowanego zakresu danych, ma ustalone progi i warunki zatrzymania, jego wyniki są rejestrowane, regularnie monitorowane i testowane, a bank może w każdej chwili prześledzić sposób działania systemu oraz zmienić parametry albo wyłączyć automatyzację. Jeżeli dodatkowo skutki pojedynczego błędu są ograniczone i szybko odwracalne, taki proces może pozostawać pod bardzo wysokim poziomem rzeczywistej kontroli pomimo braku człowieka przy każdej decyzji. Można też wyobrazić sobie sytuację odwrotną. System przygotowuje rekomendację, którą formalnie akceptuje pracownik, ale rezultat AI pojawia się jako jedyna realna podstawa decyzji. Pracownik nie widzi pełnych danych, nie rozumie ograniczeń modelu, nie ma czasu na własną analizę, a odstąpienie od rekomendacji wymaga szczególnego uzasadnienia. System nie podejmuje więc formalnie decyzji, ale praktycznie ją determinuje. W takim przypadku obecność człowieka nie musi oznaczać większej kontroli niż przy dobrze zaprojektowanym procesie automatycznym.

To pokazuje, dlaczego koncepcja human in the loop nie powinna być traktowana jako uniwersalna odpowiedź na ryzyka AI. Jest jednym z możliwych mechanizmów kontroli, ale sama etykieta niczego jeszcze nie rozstrzyga. Trzeba wiedzieć, co człowiek rzeczywiście wnosi do procesu. Czy wykonuje samodzielny osąd? Czy sprawdza wyjątki? Czy rozpoznaje sytuacje, w których model nie powinien być stosowany? Czy może zmienić rezultat? Czy jedynie zatwierdza wynik, którego organizacja oczekuje od niego zaakceptować? Z tego punktu widzenia znacznie ważniejsze od pytania „czy człowiek pozostaje w procesie?” może być pytanie o prawo do sprzeciwu wobec AI. System pozostaje rzeczywiście pod kontrolą tylko wtedy, gdy ktoś w organizacji może powiedzieć: w tym przypadku nie ufamy wynikowi, tego modelu nie używamy w tym typie sprawy, parametr przestał działać prawidłowo albo cały proces trzeba zatrzymać. Możliwość interwencji powinna przy tym istnieć nie tylko formalnie, lecz także organizacyjnie i technicznie. Osoba odpowiedzialna musi mieć dostęp do potrzebnych informacji, odpowiednie kompetencje i rzeczywiste uprawnienie do działania.

Równie ważna jest możliwość rozpoznania sytuacji, w której interwencja jest potrzebna. Nie wystarczy stworzyć przycisk pozwalający zatrzymać model, jeżeli organizacja nie posiada mechanizmu pokazującego, że jego zachowanie się zmieniło. Kontrola nad AI wymaga więc monitorowania jakości danych, wyników, odchyleń, błędów i zmian w otoczeniu, w którym system działa. Model, który zachowywał się prawidłowo przy wdrożeniu, nie musi zachowywać się tak samo po roku, gdy zmieniła się struktura klientów, zachowania fraudowe, warunki makroekonomiczne albo sam sposób wykorzystania narzędzia przez pracowników. Właśnie dlatego decyzja o dopuszczeniu AI do procesu nie powinna być traktowana jako jednorazowa zgoda. Zakres autonomii zaakceptowany przy wdrożeniu może przestać być właściwy, jeżeli zmieniają się warunki działania systemu. Bank powinien więc kontrolować nie tylko to, czy model nadal osiąga oczekiwane parametry, ale także to, czy nadal używa go w sposób, który pierwotnie uznał za dopuszczalny. Narzędzie wdrożone jako pomoc analityczna może z czasem stać się faktycznym źródłem decyzji, nawet jeśli żadna procedura formalnie nie została zmieniona.

Może do tego dojść bardzo naturalnie. Jeżeli system przez wiele miesięcy generuje wysokiej jakości rekomendacje, pracownicy coraz rzadziej je kwestionują. Z czasem organizacja dostosowuje liczbę etatów do wyższego poziomu automatyzacji. Następnie skraca czas przewidziany na weryfikację, bo przypadki „i tak są już przeanalizowane przez AI”. W końcu człowiek pozostaje w procesie, ale organizacyjnie nie ma już warunków do wykonania własnego osądu. Autonomia systemu może więc wzrosnąć bez jednej formalnej decyzji o zwiększeniu jego autonomii. To jest jeden z powodów, dla których bank powinien oceniać nie tylko projekt procesu, lecz również jego rzeczywiste funkcjonowanie. Regulacyjnie ważne jest to, co dzieje się w praktyce, a nie wyłącznie to, co zapisano w procedurze. Jeżeli procedura przewiduje samodzielną ocenę analityka, ale dane pokazują, że niemal wszystkie rekomendacje modelu są akceptowane bez modyfikacji, może to uzasadniać pytanie, czy proces rzeczywiście działa zgodnie z przyjętym modelem. Odpowiedzią nie musi być od razu stwierdzenie, że kontrola człowieka jest pozorna, ale taki sygnał powinien wymagać analizy.

Podobnie należy patrzeć na mechanizmy eskalacji. System nie musi samodzielnie rozwiązywać każdego przypadku, żeby generować realną wartość. Przeciwnie, jednym z najbezpieczniejszych modeli może być wyraźne określenie granic, poza którymi AI ma obowiązek „oddać” sprawę człowiekowi. Może to dotyczyć niskiego poziomu pewności, sprzecznych danych, przypadku nietypowego, określonej kategorii klienta, wysokiej wartości transakcji albo potencjalnie poważnego skutku decyzji. Dobrze zaprojektowane wykorzystanie AI powinno więc nie tylko pozwalać systemowi wygenerować wynik, ale także określać sytuacje, w których nie powinien być on źródłem rozstrzygnięcia. To prowadzi do ważnego przesunięcia perspektywy. Dojrzałość systemu AI nie powinna być oceniana tylko przez to, jak często potrafi udzielić odpowiedzi. Równie ważne jest to, czy potrafimy określić granice, w których tej odpowiedzi można ufać. Model, którego ograniczenia są dobrze rozpoznane i który przekazuje przypadki graniczne do człowieka, może być w wymagającym regulacyjnie procesie znacznie bardziej użyteczny niż system generujący odpowiedź zawsze, także wtedy, gdy dane wykraczają poza zakres, w którym można rozsądnie polegać na jego wyniku.

Z regulacyjnego punktu widzenia nie chodzi więc o maksymalizowanie autonomii AI ani o maksymalizowanie obecności człowieka. Chodzi o właściwy podział decyzyjności. W jednej części procesu AI może być bardziej efektywna, bardziej spójna i mniej podatna na błędy niż człowiek. W innej potrzebny pozostaje osąd uwzględniający szczególne okoliczności, proporcjonalność, kontekst albo interesy, których model nie potrafi właściwie zważyć. Bank powinien umieć wskazać, dlaczego granicę postawił właśnie w określonym miejscu. Tak rozumiana kontrola nie wymaga również, aby bank potrafił wyjaśnić każdy techniczny szczegół działania systemu. Wymaga natomiast, aby potrafił odpowiedzieć na pytania istotne dla swojej odpowiedzialności: do czego model jest przeznaczony, kiedy jego wynik może być wykorzystany, kiedy nie powinien być wykorzystywany, jak kontrolowana jest jego jakość, jakie błędy są możliwe, kto może interweniować i jakie skutki wywołuje konkretna kategoria wyniku. Bank nie musi wiedzieć wszystkiego o modelu. Musi wiedzieć wystarczająco dużo, żeby odpowiedzialnie zdecydować, na co mu pozwala.

W tym sensie rozliczalność staje się ostatecznie kryterium znacznie szerszym niż wyjaśnialność. Chodzi nie tylko o możliwość opisania pojedynczej predykcji, lecz o zdolność organizacji do uzasadnienia całego modelu wykorzystania AI. Dlaczego wybrano tę technologię? Dlaczego system otrzymał właśnie taki poziom autonomii? Jak określono progi ingerencji człowieka? Jak bank przekonał się, że system działa prawidłowo? Co zrobi, kiedy przestanie? Kto może zdecydować o ograniczeniu albo zatrzymaniu jego działania? Dopiero odpowiedzi na te pytania pozwalają powiedzieć, że bank rzeczywiście panuje nad technologią. I to jest ważniejsze niż samo pytanie, czy na końcu procesu znajduje się człowiek.

Nie należy przy tym idealizować ludzkiego osądu. Punktem odniesienia nie powinien być wyobrażony pracownik, który zawsze analizuje pełny materiał, nie ulega uprzedzeniom, ma nieograniczony czas i nigdy się nie myli. W rzeczywistym banku także procesy prowadzone przez ludzi wymagają kontroli, procedur, eskalacji, zasady czterech oczu, monitorowania i audytu. AI zmienia charakter części ryzyk, ale nie powoduje, że alternatywą staje się doskonały proces ludzki. Czasami dobrze zaprojektowana automatyzacja może być bardziej przewidywalna i łatwiejsza do rozliczenia niż tysiące indywidualnych decyzji podejmowanych przez pracowników. Dlatego nie ma podstaw do ogólnej zasady, zgodnie z którą im mniej człowieka, tym większe ryzyko regulacyjne. W określonych zastosowaniach może być dokładnie odwrotnie. Automatyczny proces oparty na jasno określonych regułach, stale monitorowany i pozostawiający pełny ślad decyzyjny może być bardziej kontrolowalny niż proces, w którym formalnie decyduje człowiek, ale sposób podejmowania decyzji jest niejednolity, słabo udokumentowany i trudny do późniejszego odtworzenia.

Jednocześnie właśnie dlatego bank nie może zasłaniać się technologią. Skoro to organizacja wybiera poziom autonomii, projektuje mechanizmy kontroli i decyduje o skutkach nadawanych wynikowi systemu, odpowiedzialność za taki model pozostaje po jej stronie. AI może wykonywać coraz większą część procesu, ale nie może stać się wygodnym wyjaśnieniem: „tak wyszło z modelu”.

Ostatecznie granicę można więc opisać inaczej niż prostym podziałem na decyzje człowieka i decyzje AI. Możemy pozwolić AI na tyle, na ile potrafimy ograniczyć zakres jej działania, zrozumieć znaczenie jej wyniku, wykryć sytuację, w której nie powinniśmy mu zaufać, zakwestionować go i rozliczyć późniejsze wykorzystanie. Jeżeli któregokolwiek z tych elementów brakuje, zwiększanie autonomii systemu przestaje być wyłącznie decyzją technologiczną i staje się problemem regulacyjnym. I właśnie dlatego najkrótsza odpowiedź na pytanie postawione w tytule nie brzmi: „AI można pozwolić decydować tylko wtedy, gdy człowiek ją nadzoruje”. Jest bardziej wymagająca. AI można pozwolić decydować tylko w takim zakresie, w jakim bank nadal potrafi panować nad decyzją.