El 2014, Amazon va començar a usar un algorisme per estalviar temps a l’hora de contractar personal. L’eina de la companyia prometia ser més ràpida i objectiva. El problema és que la intel·ligència artificial havia estat entrenada amb les dades sobre les sol·licituds d’ocupació dels últims 10 anys, un període en què la majoria dels programadors contractats havien estat homes. L’algorisme va aprendre, per tant, que els millors candidats havien de ser homes i, quan detectava un currículum d’una dona, el penalitzava. Amazon va trigar un any a adonar-se que estava utilitzant una eina que reproduïa un biaix masclista.
El cas d’Amazon no és un fet aïllat. Cada dia, milers d’empreses i administracions deixen en mans dels algorismes milions de decisions que reprodueixen discriminacions. Detectar algorismes masclistes, racistes o LGTBIfòbics. Explicar com funciona la intel·ligència artificial. I augmentar la confiança en els models matemàtics. Aquesta és la revolucionària idea de tres joves que han fundat a Barcelona EXPAI, la primera start-up d’Europa especialitzada a combatre els perills, la manca de transparència i els reptes de la intel·ligència artificial. “El futur ja és aquí i no estem preparats”, afirmen. EXPAI ha creat una metodologia per detectar i corregir aquests biaixos de forma ràpida, visual i intuïtiva. “Els algorismes esbiaixats no només perpetuen una injustícia social, sinó que també generen uns resultats negatius per a les empreses i les administracions, ja que l’algorisme no pren la decisió més òptima”, explica Javier Rando. Aquest jove estudia Enginyeria Matemàtica en Ciència de Dades a la Universitat Pompeu Fabra (UPF) de Barcelona i s’ha convertit en un dels fundadors d’EXPAI amb tan sols 22 anys.
Els algorismes són “caixes negres”
Avui en dia, les empreses posen en mans de la intel·ligència artificial els processos de contractació, la concessió de préstecs o l’estratègia de vendes. El perill de deixar aquestes decisions a mercè dels algorismes és la seva falta de transparència. “Se sol dir que els algorismes són caixes negres: saps el que entra, saps el que surt, però mai saps el que passa dins. Des d’EXPAI, hem desenvolupat una metodologia per explicar el que succeeix al seu interior i conèixer detalladament els motius que han portat a l’algorisme a prendre cadascuna de les seves decisions”, assenyala Rando.
La importància d’explicar la intel·ligència artificial
Però la start-up amb seu a Barcelona no només treballa en la creació d’eines matemàtiques basades en la justícia social, sinó també en la millora de l’eficiència i la comprensió de la intel·ligència artificial. “Quan una empresa implementa un sistema d’intel·ligència artificial ho fa perquè, generalment, vol agilitzar i perfeccionar un determinat procés. El problema és que, a causa de l’opacitat i la complexitat dels algorismes, no sempre entén el funcionament del model. És a dir, l’empresa guanya velocitat, però perd capacitat per entendre per què ha pres una decisió o l’altra”, adverteix Pablo Vitòria, cofundador d’EXPAI amb només 21 anys i estudiant d’International Business Economics a la UPF. La metodologia d’EXPAI permet a les empreses i les administracions verificar que els seus models matemàtics funcionen correctament o incorrectament i identificar errors o biaixos, però també potencialitats per treure el màxim partit als algorismes.
Daniel Hormigo (26), enginyer de dades i cofundador d’EXPAI, posa l’èmfasi en la importància d’explicar el funcionament de la intel·ligència artificial: “Vaig treballar a una empresa que feia servir un algorisme per identificar les probabilitats que un client contractés un nou producte. Tanmateix, l’equip comercial desconfiava del model perquè no entenien el seu funcionament i, finalment, van deixar d’usar-lo per seguir amb tècniques més lentes i imprecises”. Els fundadors d’EXPAI creuen que les empreses no es poden permetre més exemples com aquest ni com el d’Amazon: “La diferència entre entendre com funciona la intel·ligència artificial i desconèixer els seus perills és la possibilitat, d’una banda, de perpetuar discriminacions i, de l’altra, de gastar recursos econòmics i temps de forma ineficient. A EXPAI treballem per una intel·ligència artificial més comprensible, segura i justa”.
