Los usuarios dicen que Géminis comienza a olvidar mucho antes de lo debido

Google tiene varios planes de IA pagos que ofrecen mayores límites de uso de Gemini, acceso a modelos más avanzados y almacenamiento en la nube. Los planes Pro y Ultra también ofrecen una ventana de contexto de token ampliada (o una «memoria» más larga). Sin embargo, un par de usuarios han destacado una enorme brecha aparente entre las afirmaciones de Google y la ventana de contexto real de Gemini.

Google dice en su material promocional que los planes Gemini en Pro y Ultra ofrecen una ventana de contexto ampliada de hasta un millón de tokens. La empresa dice que esto significa que puede procesar hasta 1.500 páginas de texto o 30.000 líneas de código. Vea las capturas de pantalla a continuación.

Ahora, el usuario de X @Soso_fun_yt afirma que esta ventana contextual es engañosa para los usuarios del chat:

Si bien el backend puede ingerir con éxito un archivo estático masivo inicialmente en el primer mensaje, la memoria conversacional activa (la ventana de contexto dinámico/caché KV para el chat) parece tener un cuello de botella severo, cayendo significativamente a un límite de 16k~. (O 25-30 mensajes en promedio)

Como resultado, el modelo sufre rápidamente de amnesia exactamente en la misma sesión de chat, olvidándose por completo de instrucciones, bloques de código o restricciones anteriores.

En otras palabras, los servidores de Gemini pueden manejar hasta un millón de tokens de contexto, pero el chatbot no puede analizarlos por usted en una sesión sin comenzar a olvidar partes anteriores de la conversación. Los Redditors también plantearon este problema el mes pasado, aunque algunos usuarios notaron que la plataforma AI Studio ofrecía la ventana de contexto correcta.

Entonces, ¿Google está engañando a los usuarios con esta afirmación? Ciertamente parece que la compañía podría ser mucho más transparente sobre la diferencia entre la ventana de contexto general del modelo y la ventana de contexto del chat. Es un poco como si su ISP ofreciera una línea de 1 Gbps en su sitio web, pero no revelara de manera destacada las velocidades de carga de 50 Mbps.

Google ofrece detalles sobre tokens de entrada y salida en un sitio web de soporte para desarrolladores. El sitio informa que muchos modelos producen aproximadamente 65.000 tokens. Sin embargo, no está claro si esta cifra sólo se aplica a los desarrolladores o si también se aplica al chat de Gemini.

Le preguntamos a Google sobre la discrepancia entre la ventana de contexto del token y la ventana de chat. También le preguntamos a la compañía si planea ofrecer información más destacada sobre el contexto de la ventana de chat. Actualizaremos nuestro artículo tan pronto como la empresa tenga respuestas para nosotros.