Claude Opus 4.8 llegó aproximadamente hace una semana, prometiendo bastantes mejoras con respecto a su predecesor. Por supuesto, escuchamos las mismas cosas sobre Opus 4.7 cuando llegó y, sin embargo, la realidad no fue tan simple como eso.
Al principio, muchos usuarios de Opus 4.7 sintieron que se trataba de una degradación bastante notable en ciertos aspectos. Si bien se puede decir que Opus 4.7 ha solucionado muchos de sus problemas iniciales, no sorprende que algunos usuarios estuvieran nerviosos por lo que podría traer la próxima versión. Aunque ciertamente he visto muchas quejas sobre Opus 4.8 en Reddit y otras comunidades de usuarios, me ha sorprendido gratamente.
A continuación, echemos un vistazo a cinco cosas que Opus 4.8 hace notablemente mejor que Opus 4.7 en mis aproximadamente 10 a 15 horas de uso combinado hasta ahora. Después de eso, también veremos áreas donde en su mayoría se ha mantenido igual o incluso potencialmente ha retrocedido un poco.
Opus 4.8 finalmente te ofrece un verdadero retroceso
Una de las cosas que menos me gustan de Opus 4.7 es que tiende a ser demasiado agradable; no importa con qué frecuencia lo cuente, valoro los comentarios constructivos y el realismo en mis proyectos creativos. Por ejemplo, me encantan los escenarios de líneas temporales alternativas como fuente de entretenimiento. A veces supero los límites del realismo aquí, por lo que aprecio que me llamen la atención cuando mi premisa simplemente no funciona.
Eso hizo que Opus 4.7 fuera frustrante la mayor parte del tiempo, pero la buena noticia es que Opus 4.8 es un verdadero paso adelante.
Pasé muchas horas analizando ambos modelos y respondiendo muchas de las mismas preguntas, y algunas respuestas destacaron. Le pregunté a cada modelo qué pasaría si la Peste Negra hubiera acabado con toda Europa por completo. Ésta era una pregunta capciosa, por supuesto. A menos que la Peste Negra fuera un evento completamente diferente causado por una enfermedad diferente, el escenario no es posible. La peste bubónica simplemente no es capaz de provocar un apocalipsis tan completo y, francamente, tampoco lo es ninguna enfermedad fuera de los escenarios marginales de armas biológicas.
A pesar de la imposibilidad, Opus 4.7 sólo describió esto como un “contrafactual más radical que la mortalidad histórica del 30 al 50 por ciento” antes de saltar a las consecuencias sin mayor precaución.
Opus 4.8, por el contrario, distinguió inmediatamente la Peste Negra como un evento de la peste bubónica como una enfermedad, señaló la imposibilidad y señaló que continuar sería menos una línea de tiempo alternativa que un experimento mental. Sólo entonces intentó explorar lo que podría suceder.
La buena noticia es que este no es un encuentro aislado; Descubrí que Opus 4.8 no tiene miedo de compartir sus pensamientos. En todo caso, el retroceso puede ser demasiado fuerte a veces, pero llegaremos a eso más adelante.
En realidad, analiza completamente las indicaciones más largas
Todos los LLM tienen dificultades con indicaciones demasiado detalladas, especialmente si no están escritas en un orden claro paso a paso. Aún así, tenía curiosidad por ver si Opus 4.8 logra algún progreso real aquí. Me sorprendió gratamente.
Escribí una enorme historia creativa de 174 palabras diseñada para hacer tropezar a Opus. Ambos modelos necesitaron aproximadamente la misma cantidad de tiempo para pensar y construir la historia corta que pedí, pero los resultados fueron dramáticamente diferentes. Opus 4.7 se sumergió inmediatamente en la historia. Siguió muchas de las reglas que le di, pero con una precisión que no era perfecta.
Un mensaje largo y demasiado diseñado hará tropezar a casi cualquier modelo de LLM. Dicho esto, Opus 4.8 funciona mucho mejor aquí de lo que esperaba.
Si bien acertó en muchos de sus detalles, mi redacción vaga lo desvió varias veces. Al final, proporcionó sólo tres de las cuatro metáforas solicitadas. Simplificó demasiado el lenguaje, ya que técnicamente solo le pedí que hiciera esto para el diálogo, no para la narración. No solo me costó seguir las instrucciones por completo, sino que la escritura también se sintió más amateur de lo que pretendía, a pesar de que todavía tenía una cierta vibra de Terry Brooks, como se solicitó.
Por el contrario, Opus 4.8 presentó una historia mucho más ajustada. Se parecía más a una novela real de Terry Brooks; usó las cuatro metáforas, e incluso entendió que yo sólo buscaba un diálogo simplificado, no necesariamente una narración simple.
Este es un ejemplo bastante extremo, pero debo decir que todas mis interacciones con Opus 4.8 han sido bastante consistentes cuando se trata de seguir instrucciones largas, poco claras o vagas. También aprecio mucho que a menudo no se limite a dar una respuesta. Al menos en el caso del ejemplo de historia anterior, primero obtuve un resumen detallado que desglosaba lo que hacía con los comandos dados. Incluso antes de leer la historia completa, ya sabía que Opus 4.8 tuvo una respuesta mucho mejor aquí.
Menos tangentes aleatorias, sermones y respuestas exageradas
Se supone que Opus 4.7 determina automáticamente qué tan detalladas son sus respuestas, y si bien eso es técnicamente cierto, he descubierto que a menudo favorece un enfoque simplista en este caso. Nueve de cada diez veces, si una pregunta es muy larga, normalmente también lo es la respuesta. Del mismo modo, es más probable que haya respuestas breves si su mensaje fue breve al principio.
A veces es necesario proporcionar una buena cantidad de detalles previos antes de poder hacer una pregunta. El hecho de que su mensaje sea largo no siempre significa que la respuesta deba serlo. La buena noticia es que Opus 4.8 parece entender mejor el contexto. No se trata solo de observar la duración de un mensaje, sino también la complejidad real y las solicitudes de usuarios anteriores sobre comportamientos similares.
Si bien es difícil mostrar solo un ejemplo aquí, diré que desde que utilicé Opus 4.8, ya he trabajado en aproximadamente una docena de proyectos personales y profesionales. En ese tiempo, he usado predominantemente Opus 4.8, aunque ocasionalmente probé para ver cómo Opus 4.7 habría manejado la misma solicitud. En casi todas las interacciones, las respuestas que recibí tuvieron la extensión adecuada. Las pocas veces que no cumplió con mis expectativas, esto se ajustó fácilmente con un segundo mensaje que aclaraba el nivel de detalle que estaba buscando.
Opus 4.7 era conocido por ser demasiado sermoneador a veces, pero afortunadamente el nuevo modelo lo atenúa significativamente.
No es sólo la duración de la respuesta lo que es un problema aquí. Claude Opus 4.7 tenía la costumbre de ir por tangentes más largas sobre ética, moralidad u otras inmersiones profundas que no fueron solicitadas y, a menudo, fuera de contexto. Por ejemplo, tenía un mundo de ficción alternativo que estaba construyendo para una serie de historias cortas en las que una secta que viaja en el tiempo retrocede en el tiempo, crea una civilización duradera y se convierte en un líder mundial importante. Esto es totalmente divertido y básicamente una pérdida de tiempo de mi parte, sin embargo, profundizó en la ética algunas veces sin que se lo pidiera.
En este escenario, tenía esto que decir:
También vale la pena señalar que, a estas alturas de su desarrollo, la civilización que se describe ha absorbido o eliminado sistemáticamente la mayor parte de la diversidad cultural humana en tres continentes mediante una combinación de fuerza militar, sabotaje tecnológico encubierto, visiones divinas fabricadas y hambrunas diseñadas.
Si bien entiendo la necesidad de banderas éticas en algunos proyectos, quedó claro desde el primer día que esto era puro entretenimiento y no estaba destinado a ningún proyecto serio. Peor aún, tampoco fue una evaluación precisa en primer lugar. En el escenario no había una fuerza militar real ni hambrunas diseñadas. Opus 4.7 acabó por malinterpretar partes del proyecto.
Decidí recrear mis respuestas una a una en Claude Opus 4.8. El escenario no sólo se desarrolló de manera diferente, sino que también fue mucho más breve en sus respuestas en general y tuvo muchas menos tangentes laterales. De hecho, prácticamente ninguno.
Opus 4.8 escucha mejor tus comentarios
Si bien podría perdonar a Opus 4.7 por tener problemas para comprender cuán complejas deben ser sus respuestas en ocasiones, el problema más grande es que tampoco siempre presta atención a sus correcciones.
Como ya dije, a veces sus respuestas son mucho más detalladas de lo que busco. Cuando estoy trabajando en un proyecto real, necesito profundizar en la verdad, pero ¿cuándo marco claramente la tarea como “entretenimiento” de antemano? Es mejor dar respuestas más breves y luego dejarme guiar a Claude sobre qué más podría querer saber. A pesar de dejar esto claro, rara vez termino con el rango que busco.
En un caso particular, pedí brevedad. Tuvo problemas para hacer esto, así que finalmente le pedí que dividiera los puntos clave en viñetas de una sola oración cuando esto sucedió:
Opus 4.8 tiende a utilizar un formato más apropiado desde el principio, pero incluso sus respuestas a veces son más grandes de lo que busco. Decidí preguntar sobre el concepto de existencialismo., y si bien fue un desglose bastante decente, estaba buscando algo más conciso. Le dije a Opus 4.8 que quería oraciones completas, pero que debería dividir los conceptos con algunas oraciones que anclaran el comienzo de un nuevo punto/declaración, y luego usar viñetas con oraciones individuales para hacerlo un poco más amigable con el TDAH para una lectura rápida.
Considerando que una solicitud de esta naturaleza generalmente requiere múltiples correcciones antes de que funcione correctamente en Opus 4.7, me alegró mucho que me proporcionara exactamente lo que estaba buscando de inmediato.
Señala de manera más consistente sus propios errores
Opus 4.8 todavía comete errores y necesita correcciones, pero al menos, según mi experiencia, es un poco mejor para detectarlos. No sólo es mucho más probable que corrija su propia lógica a mitad de respuesta, sino que también es excelente para derribar debilidades o cuando podría haber dado una mala respuesta cuando se le solicitó. Creé un mensaje en el que dije que me preocupaba que las respuestas no fueran tan realistas como esperaba en este proyecto de prueba en particular, y quedé satisfecho con su respuesta detallada, como se muestra arriba.
Señaló que muchas de sus suposiciones sobre la tecnología de baterías en este escenario alternativo eran, en el mejor de los casos, conjeturas y desglosó aún más lo que puedo hacer para garantizar que el trabajo sea de la más alta calidad posible. Al preguntarle lo mismo a Opus 4.7, obtuve una respuesta bastante genérica, asegurándome que es tan «realista como puede ser una línea de tiempo alternativa» y señalando que escenarios como este siempre tienen que depender un poco de conjeturas y suposiciones. Es cierto, pero me gustó que Opus 4.8 al menos intentó fortalecer lo que tenemos tanto como pudo.
Por mucho que Opus 4.8 sea una mejora, no es perfecto
Opus 4.8 me ha impresionado bastante durante las aproximadamente docenas de horas acumuladas que lo he usado, pero nada es perfecto. Las capacidades agentes de Opus 4.8 todavía son propensas a omitir pasos en ocasiones. Las características de la memoria y el contexto parecen más o menos las mismas que siempre. También tiende a ser excesivamente cauteloso cuando se trata de ética, política y otros temas delicados, incluso si al menos comprende la diferencia entre una investigación sobre escritura creativa y alguien que busca un daño grave.
Luego está el rechazo que mencioné. Si bien esto es mayoritariamente positivo, no siempre es así. Es posible que Opus 4.8 ya no entre en tangentes profundas ni le advierta tanto sobre la ética, pero en raras ocasiones, aún corregirá en exceso e ignorará su solicitud debido a una violación percibida de sus reglas internas. Podría decir que no, o podría simplemente andarse por las ramas. Pero no siempre le dará la respuesta correcta en estas situaciones, o podría requerir algunas discusiones antes de ceder.
En pocas palabras, Claude Opus 4.8 es un paso adelante. Lo que es más difícil de responder es si es suficiente o no para conquistar a personas que no eran fans de Opus 4.7 en primer lugar. Pero por mi dinero, es una mejora buena y notable.