La Prueba de Acceso a la Educación Superior (PAES) se ha convertido en un desafío no solo para los estudiantes chilenos, sino también para las inteligencias artificiales (IA). Recientemente, de la mano de Puntaje Nacional, el preuniversitario gratuito más grande de Chile, las IA más avanzadas del mundo, GPT-4 de OpenAI y Claude 2 de Anthropic, rindieron la prueba de invierno de PAES. Los resultados han sido notables.
El desafío de la PAES para las IA
La PAES es una prueba de admisión que evalúa las habilidades de los estudiantes en distintas disciplinas relevantes para los estudios universitarios. En este experimento, las IA rindieron las pruebas en Competencia Matemática 1 (M1) y Competencia Lectora.
Para llevar a cabo este desafío, se prepararon los PDF liberados por el DEMRE de la prueba de invierno que tomaron los estudiantes en junio de 2021. Un reto fue que las pruebas incluyen imágenes, y ni GPT-4 ni Claude 2 pueden procesar imágenes en este momento. Estas se hicieron accesibles para las IA a través de otros modelos de inteligencias artificiales que son multimodales, es decir, que pueden leer imágenes. Dos de estos modelos son Bing, de Microsoft, y Bard, de Google. Con estas herramientas, se prepararon textos alternativos de las imágenes, como las que se usan para poblaciones con dificultades visuales.
Los resultados de las IA en la PAES fueron sorprendentes. En la prueba de Competencia Lectora, Claude 2 respondió correctamente 56 de las 60 preguntas, mientras que GPT-4 respondió correctamente 53. La conversión de puntuación del clavijero dejó a Claude 2 con un puntaje de 910 y a GPT-4 con 850.
Para la prueba de Competencia Matemática 1, se añadió una tercera IA, GPT-4 con Code Interpreter, una versión de GPT-4 que permite ejecutar código Python para analizar datos, crear gráficos y resolver problemas matemáticos, entre otras funciones. Claude 2 obtuvo un puntaje de 778, GPT-4 un puntaje de 886 y GPT-4 con Code Interpreter impresionó con un puntaje de 926.
.png&w=3840&q=75)
