NVIDIA lanza una función estilo ChatGPT para tarjetas GeForce RTX

NVIDIA lanza una función estilo ChatGPT para tarjetas GeForce RTX

NVIDIA lanzó este martes (13) la herramienta “Chat With RTX”, que crea un chatbot local estilo ChatGPT para sistemas con tarjetas GeForce RTX 3000 o superiores. Aún en la fase de demostración técnica, “Chat With RTX” está disponible para descargar y es una de las primeras herramientas de chatbot local lanzadas para el consumidor doméstico.

La iniciativa sigue la propuesta de RTX Remix y NVIDIA TensorRT de implementar soluciones de software gratuitas (y en algunos casos de código abierto) para desbloquear el potencial de IA local de todos los productos con núcleos Tensor. La medida sugiere además que NVIDIA se centra en lanzar cada vez más soluciones de IA locales como respuesta a la estrategia de mercado adoptada por Intel con procesadores Intel Core Ultra con NPU y aceleradores de IA integrados.

ChatGPT local en tarjetas GeForce RTX 3000

En general, soluciones online como Gemini (antes Bard), de Google, Copilot, de Microsoft y el propio ChatGPT utilizan modelos abiertos con datos disponibles en internet para crear interacciones con los usuarios. El problema es que las respuestas tienden a ser muy genéricas y requieren varias iteraciones para encontrar la respuesta más adecuada.

Inicialmente, los mayores beneficiarios de "Chat With RTX" serán los creadores de contenido y los profesionales independientes. Un YouTuber podría, por ejemplo, buscar en qué momento de un vídeo habló de su personaje gratuito favorito. Genshin para crear cortes puntuales, pero los enlaces deben ingresarse manualmente.

Al probar la herramienta, fue posible insertar carpetas enteras con archivos de texto para crear una base de datos unificada. Al formular la pregunta, incluso en portugués, la plataforma busca información entre documentos en extensiones DOC/DOCX, TXT y PDF, y genera respuestas en inglés.

En el caso de los vídeos, sigue siendo necesario introducir la dirección del vídeo en YouTube y no es posible utilizar una biblioteca local. Sin embargo, esto todavía es una demostración de la versión 0.2 y es probable que la funcionalidad se introduzca en el futuro, lo que le permitirá crear asistentes virtuales completamente personalizados.

Sin embargo, el mayor problema con la nueva función es que es extremadamente pesada, con más de 35 GB de descargas (que deben descomprimirse antes de la instalación) y requiere al menos una tarjeta gráfica GeForce RTX 3000. Es necesario descargar LLM modelos por separado, ya que “Chat With RTX” ya incluye los modelos reducidos de Mistral, Llama 2, TensorRT-LLM y la herramienta Recovery Augmented Generation (RAG), para optimizar las respuestas con los datos de los usuarios.

Subir