Algorismes: com fer-los més justos
Eren els anys trenta. Robert Moses, l’urbanista més poderós de la història de Nova York, va ordenar construir uns ponts tan baixos que els autobusos no hi poguessin passar. Els autobusos eren el transport dels pobres i de la població negra. El pont era excloent per disseny i per defecte. En la versió digital passa el mateix: els algorismes i models de llenguatge esdevenen una arquitectura moral. Quan un equip homogeni decideix com funciona un sistema de reconeixement facial, quan la lògica financera d’una empresa determina quines veus s’amplifiquen en un feed d’informació o quan una interfície dissenyada sense pensar en la diversitat deixa col·lectius sencers fora, el gest és idèntic al dels ponts baixos. Cada decisió tècnica és una decisió sobre qui importa i què és “normal”.
Si ens hi fixem, més enllà de la incompetència o la malícia, el que trobem és la sedimentació inconscient d’una manera d’estar al món. El filòsof Peter-Paul Verbeek ho formula amb precisió: els enginyers fan ètica per altres mitjans. Quan dissenyen una tecnologia, materialitzen una moralitat. No declaren valors, els insereixen. Paradoxalment, en l’imaginari tecnològic dominant, l’ètica és una capa d’última hora: un comitè que revisa, una casella que es marca. Però les decisions crucials –les que determinen qui pot parlar, qui és escoltat, qui és vigilat, qui queda fora– cristal·litzen abans de la primera línia de codi. Quan el comitè d’ètica arriba al final del procés, el mal ja està fet: l’arquitectura ja és allà i canviar-la costa diners, temps i voluntat política, que gairebé mai apareixen.
La resposta no pot ser només diversificar equips, tot i que és una estratègia necessària i urgent. Cal anar més lluny: tractar els drets digitals com a drets fonamentals. El dret a no ser discriminat per un algorisme, a entendre les decisions automatitzades que t’afecten, a participar en el disseny dels sistemes que estructuren la teva vida. Sense un marc de drets, les víctimes del disseny no tenen nom ni reparació possible.
Pensem en els casos documentats de joves que han arribat al suïcidi després d’una exposició sistemàtica a continguts nocius recomanats algorítmicament. Els responsables de les plataformes s’escuden en el còmput: l’algorisme només fa matemàtiques; el contingut el generen els usuaris; ells només posen la infraestructura. És la defensa que hauria pogut fer Moses: jo només vaig construir un pont. Però, com deia Langdon Winner, els artefactes tenen ideologia.
La llei de Conway –“Qualsevol organització que dissenyi un sistema produirà un disseny l’estructura del qual és una còpia de l’estructura de comunicació de l’organització”– ens recorda que els sistemes parlen dels seus creadors. I a l’altra banda del mirall, el que hi ha no és una visió del món ni un projecte col·lectiu: hi ha incentius per créixer sense parar, per servir la millor safata possible als anunciants, per mantenir la canonada publicitària inflada a qualsevol cost. Els ponts de Moses van trigar dècades a enderrocar-se. Els algorismes es podrien canviar avui mateix, si les corporacions comprenguessin que ser artífexs d’una ètica alineada amb els drets i la justícia no és bonisme: és la millor manera de garantir el negoci a llarg termini.