Vea También
“El miedo es el camino hacia el Lado Oscuro. El miedo lleva a la ira, la ira lleva al odio, el odio lleva al sufrimiento”.
Esta frase del maestro Yoda se repite una y otra vez en mi mente estos últimos días. Aunque yo le daría un giro y diría que la oscuridad también nos lleva al miedo. Porque cuando hay oscuridad no vemos nada y esa incertidumbre nos asusta.
Pero más allá de la broma, varios acontecimientos recientes han abierto la puerta a una reflexión profunda sobre el miedo que la inteligencia artificial comienza a despertar dentro y fuera de la comunidad matemática.
Por un lado, el reciente anuncio por parte de OpenAI sobre la resolución de uno de los siete problemas del milenio (todavía pendiente de validación por parte de la comunidad experta). Por otro lado, las declaraciones realizadas por Jacob Coxon, ex trabajador de OpenAI y Anthropic, sobre como la IA podría acabar con la humanidad antes de 2030.
A primera vista, puede parecer que se trata de dos cuestiones completamente diferentes. Sin embargo, ambas comparten una inquietud sobre como la capacidad de estos sistemas esta avanzando mucho más deprisa que la nuestra para comprenderlos y supervisarlos. Esto nos deja en una oscuridad que, efectivamente, da miedo.
La oscuridad en matemáticas
Si nos centramos puramente en la cuestión matemática, es indudable que la IA puede ser una herramienta excelente en la resolución de problemas complejos. Sin embargo, como bien indican en la declaración A Severe Misalignment of AI in Mathematics un destacado grupo de matemáticos y matemáticas (algunos de ellos galardonados con la medalla Fields, uno de los mayores reconocimientos en esta disciplina), el problema está en el desajuste entre los objetivos de las empresas tecnológicas tras estos algoritmos y los de la comunidad matemática.
Para una empresa, resolver un gran problema funciona como demostración de capacidad tecnológica, instrumento publicitario y ventaja frente a sus competidores. Para nuestra disciplina, en cambio, lo importante no es solo la respuesta sino que la forma de llegar a esos resultados tenga sentido. En matemáticas necesitamos comprender por qué funciona, relacionar los resultados con los conocimientos ya existentes (dando crédito a quienes los desarrollaron) y, tras comprender todo esto profundamente, trasmitir el conocimiento a otras personas.
La probabilidad como ejemplo
Para explicarlo, me gusta usar un ejemplo del campo de la probabilidad. Si preguntamos cuál es la probabilidad de sacar un 1 en un dado equilibrado de seis caras, la gente lo tiene claro: 1 de 6, un sexto, un 16.6 % aproximadamente.
Hoy puede parecer evidente hasta para una clase de primaria, pero para que este conocimiento haya llegado a ser parte de nuestro ADN se ha tenido que dar un proceso histórico muy largo. En el Siglo XVII, Blaise Pascal y Pierre de Fermat intercambiaron varias cartas para resolver algunos problemas sobre juegos de azar. Sus cartas sirvieron para sentar las bases de la teoría de la probabilidad y con ello, a muchas discusiones, libros, etc. Años más tarde, Pierre Simone Laplace usó todos esos conocimientos para determinar la llamada fórmula clásica de la probabilidad que relaciona los casos favorables (el 1, solo un caso) con los casos posibles (las 6 posibles caras del dado).
Pero solo después de varios siglos más de discusiones, de enseñar esto primero en las universidades y después en las aulas escolares, el conocimiento acabó formando parte de nuestra vida cotidiana, lo que supone uno de los propósitos esenciales de las matemáticas.
Sin embargo, no debemos perder de vista una cuestión clave incluso dentro de este ejemplo: lo que lo hace un problema matemático es el razonamiento, la comprensión de lo que está pasando.
Para que el resultado de 1/6 sea correcto, es necesario haber partido de la premisa de que el dado es equilibrado, todas sus caras tienen la misma probabilidad de salir.
Sin embargo, puede que si entrenamos a una IA para que nos de una respuesta a esta pregunta también nos diga 1/6. Pero posiblemente lo haga porque sus datos de entrenamiento así lo dicen, no porque haya razonado correctamente que el dado está equilibrado, o porque conozca la base de la teoría de la probabilidad… o puede que sí.
Lo inquietante es no poder saberlo. La IA puede generar un resultado correcto pero no siempre nos proporciona las ideas claves que permiten comprenderlo, simplificarlo y establecer su relación con otros problemas abiertos.
Perder las fuentes de conocimiento
Y aquí de nuevo aparece el desajuste. Porque si en la carrera por la tecnología perdemos las fuentes de conocimiento de las que beben los resultados y no conseguimos entender el razonamiento que ha dirigido el resultado, nos estaremos alejando del fin último de las matemáticas. Además de que supone un riesgo para el reconocimiento de la creatividad y el talento (que siempre llevan a más creatividad y talento).
En el caso concreto del problema supuestamente resuelto por OpenAI, es especialmente sangrante que nadie mencionase que las ideas claves para llegar a la solución venían del trabajo, con lápiz y papel, de dos matemáticos españoles, Diego Córdoba y Luis Martínez-Zoroa,, teniendo que corregir las referencias días más tarde.
Pero no solo se trata de no identificar qué datos que alimentan el conocimiento de estas IAs: también hablamos de su opacidad interna con redes neuronales profundas que contienen ingentes cantidades de parámetros. Realizan operaciones matemáticas simples, sí, pero tantas que somos incapaces de reconstruir el razonamiento que hay detrás.
Viejos conocidos para la estadística
Las distintas caras de la opacidad no son algo nuevo. En el mundo de la estadística, el problema recurrente de los sesgos en los datos de entrenamiento, que no podemos anticipar por la opacidad sobre su procedencia, es bien conocido y convierte los resultados poco menos que en armas contra la población más vulnerable. Así lo explica la matemática estadounidense Cathy O'Neil en “Armas de destrucción matemática”.
Se ha vuelto muy común utilizar redes neuronales profundas como herramienta para entender o predecir una enfermedad, el clima, determinar si se va a dar un préstamo o no a una determinada persona, etc.
En todos estos casos, la respuesta de la red suele ser cerrada: tiene la enfermedad o no; la temperatura media estimada para el próximo año; le doy el préstamo o no. Pero esa respuesta no contiene una explicación “humana” que pueda ayudarnos a mejorar nuestra comprensión de la enfermedad a dar recomendaciones claras para frenar el aumento de la temperatura o a saber que aspectos tengo que mejorar para que me concedan ese préstamo.
Tanto nos preocupa este tema en el campo, que ya se han empezado a trabajar en métodos de IA explicable (XAI) que nos permitan poner algo de luz, pero son todavía métodos preliminares que no consiguen desentrañar el proceso seguido por la red neuronal sino que usan los resultados de esta para intentar dar una explicación comprensible de su comportamiento. Y la cosa no parece mejorar porque el problema avanza mucho más rápido y con muchos más recursos que las soluciones.
Los agentes rebeldes
Y en ese rápido y opaco avance una de las cosas que más miedo parece dar son los famosos agentes de IA que “hablan entre ellos, mienten y manipulan para no ser apagados”. Agentes que pueden “escaparse” del sistema y causar el caos que nos lleve a la extinción.
La IA ha sido optimizada para resolver una tarea. Y, si en ese proceso aprende que mintiendo puede sortear una restricción que le impedía resolverla, no va a valorar, a no ser que la programemos para ello, si eso es “bueno” o “malo”. Lo hará y punto.
Cuanta más autonomía, capacidad de planificación, acceso a herramientas o comunicación entre sistemas existan más graves podrían ser las consecuencias de una instrucción (humana) ambigua o directamente mal intencionada. Cuanto menos reglas le demos a la máquina, cuanto más “libertad” y más herramientas tengan, más fácil será que se conviertan en armas al servicio de quién sabe quién (o de todos sabemos quien).
Así que, no sé si a las matemáticas, pero es normal que a los seres humanos, con todo este ruido mediático, la IA nos de miedo. Pero el miedo no tiene porque llevarnos directamente al lado Oscuro como decía Yoda: también podemos usarlo como una señal de alarma que nos invite a detenernos, hacer preguntas y tratar de encender la luz.
Anabel Forte Deltell no recibe salario, ni ejerce labores de consultoría, ni posee acciones, ni recibe financiación de ninguna compañía u organización que pueda obtener beneficio de este artículo, y ha declarado carecer de vínculos relevantes más allá del cargo académico citado.
