La inteligencia artificial (IA) pasó de ser un concepto limitado a círculos académicos y científicos a convertirse en un fenómeno de masas, impulsado por la proliferación de herramientas como ChatGPT. Julián Dabbah, integrante de Program.AR de la Fundación Sadosky, analizó cómo evolucionó la IA a lo largo de los años, influenciada por avances en hardware, la expansión de internet y la masificación de datos. Este desarrollo generó tanto expectativas como preocupaciones sobre el impacto y las limitaciones de estas tecnologías en la sociedad.
En la conversación, Dabbah explicó la naturaleza opaca de la IA, y la problemática de la “caja negra”, donde los usuarios desconocen el proceso exacto detrás de las decisiones que toma un sistema. Esta falta de transparencia planteó desafíos éticos significativos, especialmente en la implementación de IA en sectores críticos como la medicina, la justicia y la contratación laboral, donde los sesgos inherentes a los datos de entrenamiento perpetúan desigualdades.
Además, el experto destacó la importancia de la educación en la preparación de futuras generaciones para interactuar críticamente con la IA. La comprensión profunda de estas tecnologías y sus implicaciones éticas resulta esencial para mitigar los riesgos asociados con su uso y garantizar que su desarrollo no excluya a culturas y perspectivas globales.
¿Cómo evolucionó la percepción pública de la IA desde sus inicios hasta la popularización de herramientas como ChatGPT? ¿Creen que la actual “moda” de la IA está basada en expectativas realistas?
Respuesta Fundación Sadosky: No podemos dar cuenta de cómo evolucionó la percepción pública la Inteligencia Artificial desde sus inicios porque su existencia data de mucho antes de la existencia de Internet y al principio fue sobre todo un tema de investigación y búsqueda de expertos en computación y no un desarrollo del mercado.
Sin embargo, el gráfico de la Imagen 1 presenta la cantidad de búsquedas en Google del término “Inteligencia Artificial” desde enero del 2004 a la actualidad. Y allí podemos ver que hay un pico en marzo de 2023 y este fenómeno coincide con la difusión mediática de la existencia del sistema de IA generativa ChatGPT.
Si bien la Inteligencia Artificial tiene más de 70 años lo que permite explicar su reciente popularización y amplia difusión es la combinación reciente de tres factores que explican su desarrollo actual y uso masivo: la disponibilidad del hardware necesario con el desarrollo de GPU (unidades de procesamiento gráfico) de altísima capacidad de procesamiento, la existencia de una cantidad inmensa de datos gracias a la existencia de internet y el almacenamiento concentrado de los datos (que fueron entregados de forma “voluntaria” por las personas usuarias de servicios tecnológicos).
Además, para la mayoría de las personas, la Inteligencia Artificial es una caja negra en la que se deposita la esperanza de que permitirá solucionar problemas que hoy no se pueden resolver con facilidad y que esto sucederá en el corto plazo. Esta idea es alentada por los medios de comunicación y la publicidad de las empresas que desarrollan e implementan soluciones basadas en IA.
Existe una alta expectativa en la capacidad de predicción de los sistemas actuales basados en IA por lo cual resulta importante aclarar que el funcionamiento de estos sistemas depende de modelos estadísticos. Es decir que sus resultados no responden a criterios de certeza o justicia, sino a lo que se determina como más probable a partir del conjunto de datos con los que han sido entrenados. Esta advertencia cobra particular relevancia al proponer el uso de este tipo de sistemas para brindar soluciones a problemas sociales. Que existan casos exitosos en actividades o campos de aplicación concretos no significa que sea conveniente utilizar soluciones basadas en IA para resolver todo tipo de problemas.
El concepto de “caja negra” suele mencionarse al hablar de IA. ¿Podría explicar en términos simples desde la Fundación Sadosky qué significa y qué tan transparente es el proceso detrás de las decisiones que toma una IA?
Respuesta Fundación Sadosky:La idea de caja negra refiere al hecho de que (al menos por ahora) solo estamos en condiciones de ser usuarias/os de la IA, es decir, darle una entrada y esperar que produzca un resultado. Ignoramos por completo el proceso por el que se genera ese resultado, los motivos de por qué es ese y no otro y todo lo que sucedió en el medio para generarlo (todo esto sucede dentro de la caja negra y nosotros miramos desde afuera).
Esto está asociado a limitaciones tanto nuestras como de la tecnología.
Por un lado, los modelos basados en redes neuronales (los más populares y exitosos ahora), producen las respuestas basándose en estadísticas, lo que les permite replicar comportamientos humanos de manera verosímil y con alta probabilidad de éxito. Sin embargo, esto no implica que posean un entendimiento del proceso ni una comprensión de lo que están construyendo. Ante una consulta, intentan dar respuesta siguiendo las relaciones estadísticas que surgieron del análisis de los datos durante el entrenamiento pero no pueden explicar en términos conceptuales qué decisiones están tomando. Construir sistemas con estas técnicas resulta en una muy baja “explicabilidad”.
“Aquí llamaremos explicabilidad a la capacidad de un SIA [Sistema de IA] de comunicar de forma eficaz a una persona las razones por las que tomó una determinada decisión. La explicabilidad de los SIA es un área activa de investigación donde confluyen y dialogan, entre otras, la computación, las ciencias sociales y la filosofía, además de los campos específicos donde se aplican estos sistemas como medicina, economía, derecho, biología, física, etcétera. En esta sección discutiremos la explicabilidad en cuanto a sus posibles definiciones, sus problemáticas actuales y sus perspectivas a futuro.
Sin embargo, el tamaño y la complejidad de estos sistemas muchas veces dificultan que una persona pueda entender los mecanismos por los que una máquina toma una decisión. Este problema es más preocupante en el caso de los sistemas basados en aprendizaje automático. (…) La explicabilidad debe hacer a un modelo más predecible y controlable (…). Cuando los SIA pueden explicar sus decisiones se puede alcanzar mayor transparencia para derivar responsabilidades hacia las personas involucradas: desde quienes los desarrollan y auditan, hasta quienes los usan, según corresponda. Especialmente en contextos de riesgo o cuando se ven afectados los derechos de las personas.”
(Ación et al., 2021)
La otra limitación para intentar mirar dentro de la caja negra está dada por el limitado acceso a los saberes necesarios para comprender, aunque sea de manera general, el funcionamiento de estos sistemas. Para esto es necesario continuar con el esfuerzo de incorporar la enseñanza de las Ciencias de la Computación en general, y dentro de ésta, de los contenidos de IA a la escolaridad obligatoria de todos los ciudadanos y las ciudadanas.
La guía de la Fundación Sadosky menciona las implicaciones éticas de la IA. En su opinión, ¿cuál fue el mayor desafío ético que enfrentamos con el desarrollo y uso de estas tecnologías en la actualidad?
Respuesta Fundación Sadosky: Los sistemas de IA construidos con técnicas de aprendizaje automático tienen un problema esencial: están preparados para imitar las relaciones estadísticas que calculan a partir de los datos de entrenamiento, suponiendo que estos datos contienen el comportamiento esperado de la aplicación. Por ejemplo, a partir de analizar miles de fotos de perros y de galletitas, son capaces de identificar algunas características (numéricas) que permiten tomar esa decisión con un suficiente nivel de éxito, entendiendo como éxito la clasificación correcta de la mayor cantidad de imágenes.
En definitiva, los modelos están preparados para identificar características mayoritarias o patrones repetidos en los datos y replicarlos automáticamente, “sin pensar”. Sin embargo, los datos, en tanto reflejan el contexto en el que fueron generados y por quienes fueron generados, pueden incluir correlaciones o mayorías que no corresponden al comportamiento esperado del modelo (o, incluso, contradictorio con lo que se espera).
Por ejemplo, en el historial de contrataciones de una empresa de tecnología se puede encontrar una correlación muy fuerte entre el género de la persona y el hecho de conseguir un cargo en el área de desarrollo (la mayoría de las personas que trabajan en áreas de desarrollo son de género masculino), lo que refleja de manera muy fiel la desigualdad que existe en los equipos técnicos de estas empresas.
Esta característica particular viene siendo objeto de estudio en sí misma desde hace ya un tiempo. Por lo tanto, un modelo de aprendizaje automático entrenado sobre este conjunto de datos identificará esta mayoría y “aprenderá” para replicarla. Es decir, cuando reciba una postulación que no pertenece a un varón, la rechazará – independientemente de la formación o experiencia laboral que exprese esa postulación – con el objetivo de replicar lo más fielmente posible el universo expresado en el conjunto de datos que conoce.
En el camino, contribuirá a sostener y profundizar una condición de desigualdad de ese universo, aun cuando sus desarrolladores quieran mitigarla.
Utilizar este tipo de sistemas (probablemente sesgados y altamente inexplicables) para tomar decisiones sobre la vida de las personas (como una postulación laboral, la asignación de una asistencia económica o de una vacante en la universidad) implica un gran riesgo de cometer injusticias o vulnerar derechos. La supervisión humana se vuelve fundamental tanto en el diseño y el desarrollo como en la interpretación de los resultados de estos modelos.
Muchas veces se debate sobre si la IA es infalible o no. ¿Puede la IA equivocarse? Y si es así, ¿qué factores contribuyeron a esos errores y cómo se pueden mitigar?
Respuesta Fundación Sadosky: A diferencia de los seres humanos, que aun cuando saben cómo se llama una persona y quieren llamarla por su nombre, a veces usan otro diferente por confusión, las aplicaciones de IA no tienen este problema. Un sistema de IA genera siempre las respuestas que está preparado para generar. Es cierto que muchas veces esa respuesta no es la respuesta esperada: sin embargo, el resultado no es un error del sistema, sino que la aproximación estadística conseguida por el sistema no es la adecuada o es insuficiente según la pregunta formulada.
La generación de información falsa pero verosímil por este tipo de modelos se denomina alucinación. Se puede definir a la alucinación como: “una respuesta plausible, pero falsa o engañosa generada por un algoritmo de inteligencia artificial”.
Es posible establecer un control de calidad de las aplicaciones de IA similar al de otros productos: ponerlo a funcionar, observar sus resultados y analizar si son considerados correctos o no. Surgen, sin embargo, algunos interrogantes que ponen en juego la validez de estas observaciones. Por un lado, la cantidad y la variedad de casos de prueba pueden determinar fuertemente la evaluación, relativizando de forma crucial los resultados. Por otro lado, expresar estos resultados tampoco es transparente. Se puede imaginar como ejemplo un sistema de clasificación de imágenes para detectar tumores funciona de manera muy aceptable, excepto porque, debido a su entrenamiento, omite un tipo muy particular de tumor infrecuente y maligno.
En un conjunto de pruebas, o aun si se observa su funcionamiento, estos “errores” serán muy infrecuentes (tanto o más como es de infrecuente la aparición de esa enfermedad puntual) y, por lo tanto, serán estadísticamente despreciables para la mayoría de los estimadores. Será muy difícil tener en cuenta esta falla a la hora de comparar con otras aplicaciones o de estimar el riesgo de utilizar el modelo para el diagnóstico. Esto habilita una nueva dimensión: no solo importa cuántos “errores” comete un sistema basado en IA, sino también de qué tipo son y en casos como los del ejemplo, cómo se utiliza este resultado y a quién afecta.
La pregunta invita a repensar el rol de las personas: la dimensión que pueden adquirir los “errores” de la IA tiene que ver con el funcionamiento de los modelos, pero también con lo que estas hacen con la información producida por estos modelos. Por ejemplo, ejecutar decisiones sin cuestionarse los resultados obtenidos por el uso de un modelo particular, como sucedió con el uso de herramientas basadas en IA para determinar la continuidad o la suspensión de ayudas económicas a familias o en el dictado de condenas judiciales.
Dado el auge de la IA generativa, ¿qué papel debería desempeñar la educación en la preparación de futuras generaciones para interactuar críticamente con estas tecnologías?
Respuesta Fundación Sadosky: Es necesario incorporar la IA en las escuelas y hacerlo desde una perspectiva crítica y ética (tanto para usarla como para crearla) y esto no es posible sin comprender cómo funcionan y han sido desarrolladas las aplicaciones y los dispositivos basados en IA. Esto requiere de saberes específicos relacionados con los datos, el aprendizaje automático y las técnicas de IA, que no pueden ser abordados sin una comprensión profunda de cómo están construidas y programadas las computadoras.
Más aún, comprender estos nuevos fenómenos que surgen a partir del despliegue de la IA (por ejemplo, cómo los datos pueden ser recolectados sin aviso desde el otro lado del mundo o cómo pueden procesarse en paralelo miles de millones de ellos) también involucra saberes del amplio espectro que conforman las Ciencias de la Computación.
Para poder pensar en cómo funciona la IA es necesario incorporarla como objeto de estudio dentro de las Ciencias de la Computación en las escuelas. Para abordar contenidos de IA en las escuelas se necesita contar con una secuenciación de contenidos, materiales didácticos y formación docente. Desde la Iniciativa Program.AR se desarrolló una propuesta curricular de contenidos vinculados a las Ciencias de la Computación en la que se abordan contenidos organizados en cuatro áreas desde nivel inicial hasta el último ciclo de nivel secundario.
La propuesta curricular promueve una construcción secuenciada y espiralada de saberes. Algunos contenidos finalizan su recorrido luego de su abordaje en dos ciclos, otros, por su complejidad, se inician recién en el ciclo básico del nivel secundario o, incluso, solo se abordan en el último ciclo de la educación secundaria. En el área Datos e Inteligencia Artificial se abordan los contenidos de IA. Esta área está presente en toda la escolaridad, pero es hacia el final donde toma más presencia y se esperan los aprendizajes más profundos.
Considerando la diversidad cultural y su impacto en la IA, ¿cómo influyeron las diferencias culturales en los resultados que genera la inteligencia artificial? ¿Es posible que la IA refuerce ciertos sesgos culturales o estereotipos? ¿Qué creen en la Fundación Sadosky?
Respuesta Fundación Sadosky:De la misma manera que los modelos de IA para la selección de personal reproducen un sesgo de género cuando se entrenan con datos de una industria marcada por la brecha de género, la IA generativa producirá contenido “a la manera de” aquello que está presente en los conjuntos de datos de entrenamiento. Preguntarse acerca de qué contienen esos conjuntos se vuelve fundamental para hipotetizar qué tipo de contenidos producirán los sistemas de IA generativos basados en ellos. Esta información es difícil de obtener para las herramientas comerciales (como ChatGPT o Dall-E), pero sus desarrolladores reconocen en diversas entrevistas que se trata de información que fue obtenida “de internet”.
Aun cuando este planteo es bastante impreciso, ya establece una brecha enorme: el contenido generado por el tercio de la población mundial que no tiene acceso a internet no es parte del insumo de estos sistemas de IA, haciendo que sus voces, sus ideas y su mirada estén ausentes de las nuevas producciones digitales. A grandes rasgos, el contenido predominante en internet está en inglés y fue producido por varones caucásicos, de clase media, jóvenes, de zonas urbanas y de los países centrales.
Si tomamos Wikipedia como un indicador del conocimiento libremente accesible en línea, sabemos que solo el 20% del mundo (principalmente editores hombres, blancos de Norteamérica y Europa) editan el 80% de la Wikipedia actualmente y estimamos que solo una persona de cada diez de quienes editan se reconoce como mujer. (…) el 84% de los artículos de Wikipedia se preocupan por Europa y Norteamérica y que los artículos sobre el Sur global están mayormente escritos desde el Norte global, haciendo que aun cuando el contenido está presente permanezcan representaciones sesgadas.
Por lo tanto, una vez más, al igual que la aplicación basada en IA que seleccionaba curriculums reforzaba una hegemonía histórica en el mundo laboral de las empresas de tecnología al preferir siempre a los varones, los sistemas de IA generativa refuerzan la hegemonía cultural de los contenidos disponibles en internet.
Este sesgo también puede ser advertido en los modelos de lenguaje, por ejemplo, en los modos “de hablar” (cómo se estructuran los textos y las oraciones o cuáles palabras se eligen y en qué dialecto de un idioma), en los valores que se desprenden de los textos (qué palabras aparecen como positivas y cuáles descalificadas) y en las interpretaciones que se priorizan de esos textos (por ejemplo, qué se selecciona como relevante cuando se hace un resumen).
No solamente los estereotipos y las desigualdades incorporadas por los modelos a partir de las mayorías estadísticas en los conjuntos de entrenamiento permean al contenido generado. También, para aquellas poblaciones que aparecen marginalmente representadas en los datos (por las razones antes mencionadas), la inferencia probabilística del modelo será necesariamente peor y, por lo tanto, más pobre su desempeño.
En definitiva, una de las grandes limitaciones de la IA generativa es la diversidad. Los sistemas de IA generativa construidos con datos de internet no pueden sino replicar y amplificar la cultura dominante, que es la de quienes acceden a esa herramienta.
Por estas razones, el contenido generado es fuertemente homogéneo y ajeno para buena parte de la población mundial.
Estas tecnologías (tal y como son producidas en la actualidad) dejan de lado culturas enteras y sus formas de concebir el mundo. Este es otro argumento para relativizar su éxito en clave de democratización, para discutir la ventaja que tendría su capacidad de reemplazar a las personas en todas sus tareas y para alentar la construcción de estas tecnologías desde el hemisferio sur.
Artículo publicado originalmente en 27 Ago 2024
