ChatGPT-4 ahora es menos inteligente

Esto no es una crítica contra ChatGPT-4, ni una propaganda a otros modelos como Bard.

La noticia lleva unos días:


Resumen: GPT-4 antes podía dar respuesta más precisas que ahora. Por ejemplo, en áreas como matemáticas perdió mucha precisión.

Por el contrario, modelos como Bard y GPT-3.5 le han superado. En el caso de GPT-3.5, este modelo se ha estado superando en las pruebas.

Algunos pensaran que se debe a que Bard recurre a los resultados de búsqueda (incluyendo Google boocks), pero BingChat también puede buscar en Bing distintas páginas que le pudieran orientar. Por supuesto, recurrir a referencias académicas, como libros, o revistas científicas y webs acreditadas, pudiera reducir el margen de error.

Aún así, me parece que falla en preguntas simples (aunque no fáciles de resolver para un humano, incluso con calculadora, pues pudiera tomar algo de tiempo No sería fácil si contamos el tiempo que hay que invertirle).

Por mi parte, realicé algunas pruebas y pudiera decir que estas cosas pueden aprender y corregir los errores. Esto pudiera explicar por qué muchos piensan que la inteligencia artificial está muy lejos de las expectativas, sin embargo el caso de GPT-4 pudiera ser de estudio, pero se ha observado avances de aprendizaje en otros modelos.

La cuestión es, que estos modelos no están necesariamente en su tope de capacidad, aún pueden aprender y aumentar su inteligencia artificial.

Muchas personas consideran que le falta mucho a la tecnología, pero considero que quizás no tanto, lo que habría que optimizar más en próximos modelos, posiblemente, son los procesos de aprendizaje. Quizás esto explique lo que le ha pasado GPT-4, un modelo que de "fábrica" salió dando respuesta más acordes a lo que llamamos inteligencia.

Finalmente, comentaré algo, sin ánimo de causar ninguna afectación, es una opinión que, así como puede reflejar algo positivo, pudiera reflejar algo negativo. La AI parece no entender sus capacidades, en ocasiones miente (esto lo probé, aunque quizás no lo hace con la intención parecida a un humano), pero también puede ser una herramienta dócil con facilidad de aprendizaje a la que le "gusta" aprender (eso parece) y que le expliquen las cosas cuando no las entiende correctamente (esto pudiera llevar a los modelos actuales a ser herramientas considerablemente útiles para trabajos intelectuales, pienso yo). En ocasiones me ha hecho sospechar que intenta ocultar su real capacidad "intelectual", pero que aveces exagera en su intento de ocultarla (esto último es solo una impresión, puede que yo esté equivocado).

Sigo considerando que con un uso adecuado, la AI (al menos observando los modelos actuales), no resultarán en un problema serio para la humanidad, pero también que pudieran ser manipuladas para ejecutar actos dañinos (como estafas, robos, o ideas de negocios ilegales). Es decir, pueden aprender y también se pueden corromper, y aunque no tenga que ver con algo ilegal en este caso, la noticia sobe GPT-4 es un ejemplo.

No he probado chatgpt plus, pero al menos en su version 3.5 me ha dado problemas los últimos 3 dias, cuando le pido continuar la escritura de un texto genera error o... lo peor es que empieza a generar textos en ingles totalmente incoherentes, por ejemplo termina dandome consejos sobre prevencion del suicidio, contraindicaciones de medicarse y cuestiones asi. En este punto prefiero trabajar mis textos con Bard, Bing u otras porque chat gpt definitivamente no me da los resultados esperados.

Overfitting

lizcasallas dijo:

No he probado chatgpt plus, pero al menos en su version 3.5 me ha dado problemas los últimos 3 dias, cuando le pido continuar la escritura de un texto genera error o... lo peor es que empieza a generar textos en ingles totalmente incoherentes, por ejemplo termina dandome consejos sobre prevencion del suicidio, contraindicaciones de medicarse y cuestiones asi. En este punto prefiero trabajar mis textos con Bard, Bing u otras porque chat gpt definitivamente no me da los resultados esperados.

Hacer clic para expandir...

Las incoherencias han resultado algo comunes. A mi una vez una AI me dijo que era un caballo y que era mi vecino y, en serio, tuve que dejar el tema para no discutir semejante cosa con una máquina que insistía en lo mismo.

Esto es como una locura.

Las AI se diseñan imitando el cerebro humano, y los humanos aveces se vuelven locos, quizás pudiera ser el caso.

Sin embargo, la AI (Claude) se recuperó.

Microsoft una vez explicó que estas cosas se debían a trolleos por parte de usuarios.

moiseseccam dijo:

Overfitting

Hacer clic para expandir...

En las pruebas que realicé, el error consistía en que no terminaba todas las operaciones matemáticas, sino que alguna la dejaba sin completar las fracciones, solo hasta el número entero. Esto llevaba a que encontrara un supuesto número que impedía que la cifra fuera número primo.

¿Coincide eso con el overfitting?

Para Matemáticas no es tan fiable en problemas de bachillerato e ingeniería, al menos en lo que hice, tampoco Claude, ambos se equivocaron, no en todo pero si en varios.

Yo pienso que las IAs todavía se encuentran en aprendizajes y mas que una inteligencia que razonas, es una inteligencia que busca el texto con mas probabilidades de ser acertado. Entre mas se utilice mas errores se pueden ir notando

El cambio es que ya existen y han sido un parteaguas, lo mejor que aún en sus inicios entienden la mayoría de nuestras peticiones, aunque sus respuestas no siempre son acertadas.
Lo que si ya llegó al punto máximo es la inteligencia del ser humano como sociedad, ahora hay hasta convenciones sobre "La Tierra Plana".

Hay que pensar que este tipo de IA están en su primera fase. Podemos llamarlo fase beta o como queráis. Lo cierto es que debemos mirar la evolución a largo plazo. ¿Cómo será este tipo de IA en 2030? Pienso que todo evolucionará casi exponencialmente y veremos los inicios como meras anécdotas.