Investigadores del MIT desarrollaron una nueva técnica que logra identificar y al mismo tiempo, eliminar puntos específicos en un conjunto de datos de entrenamiento que contribuyen más a las fallas de un modelo en subgrupos minoritarios. Al eliminar muchos menos puntos de datos que otros enfoques, esta técnica consigue mantener la precisión general del modelo al tiempo que mejora su rendimiento con respecto a los grupos subrepresentados.
Además de esto, la técnica tiene la capacidad de poder identificar fuentes ocultas de sesgo en un conjunto de datos de entrenamiento que carece de etiquetas. Cabe aclarar que los datos sin etiquetar son mucho más frecuentes que los etiquetados para muchas aplicaciones.
Entre tanto, este método también podría combinarse con otros enfoques para poder mejorar la imparcialidad de los modelos de aprendizaje automático implementados en situaciones de alto riesgo. Por ejemplo, algún día podría llegar a ayudar a garantizar que los pacientes subrepresentados no sean diagnosticados erradamente debido a un modelo de Inteligencia Artificial (IA) sesgado. A continuación, le comentaremos todo acerca de cómo reducir los vicios de la IA mejorando su precisión.
La precisión, un aspecto vital
“Muchos otros algoritmos que intentan abordar este problema asumen que cada punto de datos importa tanto como cualquier otro punto de datos. En este artículo, demostramos que esa suposición no es cierta. Hay puntos específicos en nuestro conjunto de datos que contribuyen a este sesgo, y podemos encontrar esos puntos de datos, eliminarlos y obtener un mejor rendimiento”, señala Kimia Hamidieh, estudiante de posgrado en ingeniería eléctrica y ciencias de la computación (EECS) en el MIT y coautora principal de un artículo sobre esta técnica.
Vale la pena destacar que, escribió el artículo con los coautores principales; Saachi Jain y su compañero estudiante de posgrado en EECS Kristian Georgiev; Andrew Ilyas MEng, becario Stein en la Universidad de Stanford; y así mismo, los autores principales Marzyeh Ghassemi, quien es profesora asociada en EECS y miembro del Instituto de Ciencias de la Ingeniería Médica y el Laboratorio de Sistemas de Información y Decisión, y Aleksander Madry, profesor de Sistemas de Diseño de Cadencia en el MIT. Según se ha podido conocer, la investigación se presentará en la Conferencia sobre Sistemas de Procesamiento de Información Neural.
La eliminación de malos ejemplos
Frecuentemente, los modelos de aprendizaje automático se entrenan utilizando monumentales conjuntos de datos recopilados de cuantiosas fuentes en Internet. Estos conjuntos de datos son demasiado grandes para ser seleccionados escrupulosamente a mano, por lo que tienen la posibilidad de contener malos ejemplos que perjudican el rendimiento del modelo.
Cabe aclarar que, los científicos también saben que algunos puntos de datos afectan el rendimiento de un modelo en ciertas tareas posteriores más que otros.
Los investigadores del MIT combinaron estas 2 ideas en un enfoque que identifica y también elimina estos puntos de datos problemáticos. Buscan resolver un problema conocido como error del peor grupo, que ocurre cuando un modelo posee un rendimiento inferior al esperado en subgrupos minoritarios en un conjunto de datos de entrenamiento.
La nueva técnica de los investigadores se basa en un trabajo previo en el que introdujeron un método, denominado “TRAK”, que identifica los ejemplos de entrenamiento más importantes para un resultado de modelo específico.
Es de resaltar que para esta nueva técnica, toman las predicciones incorrectas que el modelo hizo sobre los subgrupos minoritarios y usan TRAK para identificar qué ejemplos de entrenamiento contribuyeron más a esa predicción incorrecta.
“Al agregar esta información a través de predicciones de prueba incorrectas de la manera correcta, podemos encontrar las partes específicas del entrenamiento que están reduciendo la precisión general del peor grupo”, explica Ilyas.
Posteriormente, eliminan esas muestras específicas y vuelven a entrenar el modelo con los datos restantes.
Dado que tener más datos generalmente produce un mejor rendimiento general, eliminar únicamente las muestras que impulsan las fallas del peor grupo mantiene la precisión general del modelo al tiempo que mejora su rendimiento en los subgrupos minoritarios.
Un enfoque más accesible
Ahora bien, en 3 conjuntos de datos de aprendizaje automático, su método superó a múltiples técnicas. En un caso, optimizó la precisión del peor grupo al tiempo que eliminaba cerca de 20.000 muestras de entrenamiento menos que un método de equilibrio de datos convencional. Su técnica del mismo modo, logró una mayor precisión que los métodos que requieren llevar a cabo cambios en el funcionamiento interno de un modelo.
Es inherente señalar que debido a que el método MIT implica cambiar un conjunto de datos, sería más fácil de usar para un profesional y se puede aplicar a muchos tipos de modelos.
De la misma manera, se puede usar cuando se desconoce el sesgo porque los subgrupos en un conjunto de datos de entrenamiento no están etiquetados. Al identificar los puntos de datos que más contribuyen a una característica que el modelo está aprendiendo, tienen la capacidad de poder comprender las variables que está utilizando para hacer una predicción.
“Esta es una herramienta que cualquiera puede usar cuando está entrenando un modelo de aprendizaje automático. Pueden mirar esos puntos de datos y ver si están alineados con la capacidad que están tratando de enseñarle al modelo”, comenta Hamidieh.
El uso de la técnica para detectar el sesgo de subgrupos desconocidos requeriría intuición sobre qué grupos buscar, por lo que los investigadores esperan validarla y así mismo, explorarla más a fondo a través de futuros estudios humanos.
Según se pudo conocer, también quieren mejorar el rendimiento y la fiabilidad de su técnica y del mismo modo, garantizar que el método sea accesible y fácil de usar para los profesionales que algún día podrían implementarlo en entornos del mundo real.
“Cuando tienes herramientas que te permiten mirar críticamente los datos y determinar qué puntos de datos conducirán a sesgos u otros comportamientos indeseables, te da un primer paso hacia la construcción de modelos que serán más justos y más fiables”, señala Ilyas.
