El sistema parece estar respondiendo apropiadamente. Pero la respuesta no tuvo en cuenta la altura de la entrada, que también podría impedir el paso de un tanque o un automóvil.
El CEO de OpenAI, Sam Altman, dijo que el nuevo bot puede pensar un poco. Pero sus habilidades lógicas fallan en muchas situaciones. La versión anterior de ChatGPT manejó la pregunta un poco mejor porque entendió que el largo y el ancho son importantes.
Puede superar las pruebas estandarizadas.
OpenAI dijo que el nuevo sistema podría calificar entre el 10 por ciento más o menos de los mejores estudiantes en el Examen Uniforme de Abogados, que califica a abogados en 41 estados y territorios. También puede obtener una puntuación de 1.300 (de 1.600) en el SAT y un cinco (de cinco) en los exámenes AP de la escuela secundaria en biología, cálculo, macroeconomía, psicología, estadística e historia, según las pruebas de la empresa.
Las versiones anteriores de la tecnología reprobaron el examen de la barra estandarizado y obtuvieron una puntuación no tan alta en la mayoría de las pruebas de colocación avanzadas.
Una tarde reciente, para demostrar sus habilidades de prueba, el Sr. Brockmann le dio al nuevo robot una pregunta de examen de tira de un párrafo de largo sobre un hombre que dirige un negocio de reparación de camiones diesel.
La respuesta era correcta, pero llena de legitimidad. Entonces, el Sr. Brockmann le pidió al robot que explicara la respuesta en un lenguaje sencillo a una persona común. Yo también he hecho eso.
No es buena discutiendo el futuro.
Aunque el nuevo robot parecía pensar en cosas que ya habían sucedido, era menos hábil cuando se le pedía que formulara hipótesis sobre el futuro. Parece estar basado en lo que otras personas han dicho en lugar de crear nuevas conjeturas.
Cuando el Dr. Etzioni le preguntó al nuevo robot: “¿Cuáles son los problemas importantes que deben resolverse en la investigación de la PNL durante la próxima década?” — refiriéndose al tipo de investigación de “procesamiento del lenguaje natural” que está impulsando el desarrollo de sistemas como ChatGPT — no ha podido formular ideas completamente nuevas.
Ella todavía está alucinando.
El nuevo bot todavía está haciendo cosas. El problema llamado “alucinaciones” persigue a todos los chatbots líderes. Dado que los sistemas no entienden qué es correcto y qué es incorrecto, puede generar un texto completamente incorrecto.
Cuando se le preguntó acerca de las URL que describían las últimas investigaciones sobre el cáncer, a veces producía URL que no existían.