En el año de 2013, el profesor de Stanford Clifford Nass se enfrentó a una revuelta estudiantil. Los estudiantes de Nass afirmaron que aquellos en una sección de su curso de interfaz tecnológica recibieron calificaciones más altas en el examen final que sus análogos en otra. Desafortunadamente, tenían razón; 2 profesores asistentes diferentes habían calificado los exámenes de las 2 secciones diferentes y 1 había sido más indulgente que el otro. Los estudiantes con respuestas equivalentes terminaron con calificaciones diferentes. A lo que Nass, científico informático, reconoció la injusticia y procedió a crear una solución técnica; un modelo estadístico simple para ajustar las puntuaciones, donde los estudiantes obtenían un cierto aumento porcentual en su nota final cuando los calificaba un asistente técnico conocido por otorgar calificaciones ese porcentaje más bajo que el promedio. Nass procedió a enviar correos electrónicos a la clase con una explicación completa de su algoritmo. Para ser exactos, llegaron más quejas, algunas incluso más enojadas que antes. ¿Dónde se había equivocado? A continuación, presentamos todos los detalles al respecto y explicaremos todo acerca de la transparencia de los algoritmos.
Transparencia de los algoritmos
Es crucial señalar que las empresas y los gobiernos dependen cada vez más de algoritmos para tomar decisiones que afectan la vida y los medios de subsistencia de las personas, desde la aprobación de préstamos hasta incluso, el reclutamiento, sentencias legales y las admisiones universitarias. Asimismo se están delegando decisiones menos vitales a las máquinas, de los resultados de búsqueda en Internet a las recomendaciones de productos, las coincidencias de citas y así mismo, el contenido que aparece en nuestras redes sociales. En respuesta, muchos son los expertos que han pedido normas y regulaciones que hagan transparente el funcionamiento interno de estos algoritmos. Pero, como deja claro la experiencia de Nass, la transparencia puede llegar a resultar contraproducente si no se implementa con cuidado. Pero, favorablemente, existe un camino inteligente a seguir.
Transparencia y Confianza
2 años después de las protestas en la clase de Nass, René Kizilcec, un joven estudiante de doctorado de Stanford que había trabajado con Nass, decidió llevar a cabo un estudio para analizar los efectos de la transparencia en las calificaciones sobre la confianza de los estudiantes. Usó la plataforma de cursos masivos abiertos en línea (MOOC), Coursera que, como muchos MOOC, utiliza la calificación de pares para gestionar un volumen asombrosamente alto de exámenes. El trabajo está hecho, sin embargo, la calificación entre pares exacerba el problema del sesgo de calificación, debido a que involucra a un gran número de calificadores con diferentes personalidades y tendencias.
Es de resaltar que, en el estudio de Kizilcec, 103 estudiantes presentaron ensayos para que los calificaran sus pares y obtuvieron 2 tipos de valoración: una que representaba al promedio de sus pares y una “calculada” que era producto de un algoritmo que ajustaba el sesgo. A algunos estudiantes se les indicó: “Tu calificación calculada es X, que es la que recibiste de tus compañeros”. A otros por ejemplo, se les suministró mayor transparencia; de hecho, un párrafo completo explicaba cómo se había calculado, por qué se habían hecho ajustes (para tener en cuenta el “sesgo y precisión” de los compañeros) y nombraba el tipo de algoritmo usado (“un algoritmo de maximización de expectativas”). Posteriormente, se solicitó a ambos grupos que calificaran su confianza en el proceso.
Además se preguntó a los estudiantes qué calificación pensaban que obtendrían, y resultó que los niveles de confianza en aquellos estudiantes cuyas valoraciones reales alcanzaron o superaron esa estimación no se vieron afectados por la transparencia. Sin embargo, las personas cuyas expectativas fueron quebrantadas (estudiantes que recibieron puntuaciones más bajas de las que esperaban) confiaron más en el algoritmo cuando obtuvieron más explicaciones de cómo funcionaba. Lo cierto es que, resultó interesante por 2 motivos: confirmó una tendencia humana a aplicar un mayor escrutinio a la información cuando se violan las expectativas. Y así mismo, demostró que la desconfianza que podría acompañar a los resultados negativos o decepcionantes tiene la capacidad de aliviarse si las personas creen que el proceso subyacente es justo.
Pero, cabe hacerse la pregunta; ¿cómo conciliamos este descubrimiento con la experiencia de Nass? De hecho, Kizilcec había probado 3 niveles de transparencia: bajo y medio, pero también alto, donde los estudiantes recibían no sólo un párrafo que explicaba el proceso de calificación, sino además, las puntuaciones brutas de sus compañeros y cómo el algoritmo ajustaba con precisión cada una de ellas para lograr llegar a una nota final. Es donde los resultados se tornaron más interesantes. En el experimento, mientras que la transparencia media aumentó significativamente la confianza, la alta se deterioró por completo, hasta el punto en que los niveles de confianza fueron iguales o inferiores a los de los estudiantes que experimentaron una transparencia baja.
Ahora bien, ¿qué se llevarán las empresas de este experimento? Sugiere que la transparencia técnica (revelar el código fuente, así como las entradas y las salidas del algoritmo) tiene la capacidad de poder generar confianza en muchas situaciones. Pero, la mayoría de los algoritmos del mundo actual son creados y administrados por empresas con fines de lucro, y muchas empresas consideran sus algoritmos como maneras muy valiosas de propiedad intelectual que deben permanecer en una “caja negra”. Es de acotar que, algunos legisladores han propuesto un compromiso, sugiriendo que el código fuente se revele a los reguladores o auditores en caso de un problema grave, y este juez testificará a los consumidores que el proceso es realmente justo.
Es de resaltar que, este enfoque sencillamente traslada la carga de la creencia del propio algoritmo a los reguladores. Esta puede ser una solución aceptable en muchos ámbitos: por ejemplo, pocos de comprendemos completamente los mercados financieros, por lo que confiamos en que la SIC asumirá la supervisión. Sin embargo, en un mundo donde las decisiones grandes y pequeñas, personales y sociales, se entregan a algoritmos, esto se vuelve menos aceptable.
Ahora bien, vale la pena señalar que, otro problema con la transparencia técnica es que concibe que los algoritmos sean vulnerables a los juegos. Si un instructor publica el código fuente completo de un algoritmo que califica los ensayos de los estudiantes, resulta fácil para los estudiantes explotar las lagunas en el código: tal vez, por ejemplo, el algoritmo busque evidencia de que los estudiantes han llevado a cabo una investigación buscando frases como “según a la investigación publicada”. Posteriormente, un estudiante podría usar deliberadamente este lenguaje al comienzo de cada párrafo de su ensayo.
Pero, no cabe duda de que, el mayor problema es que la Inteligencia Artificial moderna está haciendo que el código fuente (transparente o no) sea menos relevante en comparación con otros factores del funcionamiento algorítmico. Concretamente, los algoritmos de aprendizaje automático (y los algoritmos de aprendizaje profundo en particular) generalmente se basan en solo unos pocos cientos de líneas de código. La lógica del algoritmo se aprende especialmente a partir de datos de entrenamiento y pocas veces se refleja en su código fuente. Es decir, algunos de los algoritmos de mejor rendimiento actuales suelen ser los más opacos. Una alta transparencia podría implicar entender montones y montones de datos, y luego solo poder adivinar qué lecciones ha aprendido el algoritmo de ellos.
Lo que quiere decir que, aquí es donde el trabajo de Kizilcec se vuelve relevante: una forma de aceptar, en vez de desesperarse, la impenetrabilidad del aprendizaje profundo. Su trabajo deja en evidencia que los usuarios no confiarán en los modelos de caja negra pero, no necesitan, ni siquiera quieren, niveles considerablemente altos de transparencia. Eso quiere decir que las empresas responsables no necesitan preocuparse por qué porcentaje de código fuente revelar o cómo ayudar a los usuarios a “leer” conjuntos de datos masivos. Por el contrario, deberían trabajar para brindar información básica sobre los factores que impulsan las decisiones algorítmicas.
IA explicable (xAI) podría ser útil
Vale la pena destacar que, una de las secciones más importantes del innovador Reglamento General de Protección de Datos (GDPR) de la Unión Europea se centra en el derecho a explicaciones. Esencialmente, exige que los usuarios tengan la capacidad de poder exigir los datos detrás de las decisiones algorítmicas tomadas por ellos, incluso en sistemas de recomendación, sistemas de riesgo de crédito y seguros, así como programas publicitarios y redes sociales. Al hacerlo, aborda el “ocultamiento intencional” por parte de las corporaciones. Pero no aborda los desafíos técnicos asociados con la transparencia en los algoritmos modernos. En este caso, un movimiento denominado “IA explicable” (xAI) podría resultar útil.
Los sistemas xAI funcionan analizando diversas entradas utilizadas por un algoritmo de toma de decisiones, midiendo el impacto de cada una de las entradas individualmente y en grupos, y finalmente informando el conjunto de entradas que tuvieron el mayor impacto en la decisión final.
Es de acotar que, según estudios, lograr este nivel de transparencia está dentro de las capacidades de los métodos estadísticos y de aprendizaje automático actuales. Este tipo de análisis podría ayudar a los ingenieros a solucionar el problema de la caja negra: el problema de que ellos mismos no siempre saben qué motiva las decisiones de sus algoritmos de aprendizaje automático. Identifica relaciones entre insumos y resultados, así como también detecta posibles sesgos y proporciona rutas para solucionar problemas.
Ante todo esto es válido hacerse la pregunta; ¿alcanzaría también, para los usuarios, ese punto óptimo de transparencia? Para responder a ellos es necesario mencionar que, es demasiado pronto para saberlo. Mientras tanto, vale la pena recordar que generar confianza en el aprendizaje automático y el análisis demandará un sistema de relaciones en el que los reguladores, por ejemplo, obtengan altos niveles de transparencia y los usuarios acepten niveles medios. Ambas partes son importantes!
