Nvidia ha lanzado recientemente una versión inicial de Chat with RTX, una aplicación de demostración que le permite ejecutar un chatbot de Inteligencia Artificial personal en su PC. Tiene la capacidad de poder alimentarlo con videos de YouTube y sus propios documentos para crear resúmenes y obtener respuestas relevantes basadas en sus propios datos. Todo se ejecuta localmente en una PC y todo lo que necesita es una GPU RTX serie 30 o 40 con al menos 8 GB de VRAM. ¡Más detalles sobre el chat de Nvidia RTX a continuación!
Lo más destacado sobre el chat de Nvidia RTX
Vale la pena señalar que el Chat con RTX, aunque es un poco tosca la App, se puede apreciar que es una parte valiosa de la investigación de datos para periodistas o para cualquier persona que necesite analizar una colección de documentos.
El chat con RTX tiene la capacidad de poder manejar videos de YouTube, por lo que simplemente puede ingresar una URL y le permite buscar transcripciones de menciones concretas o resumir un video completo.
A menudo resulta abrumador buscar documentos a gran velocidad pero, Chat RTX, ayuda a consultarlos casi instantáneamente en su PC. Así mismo, también hay que acotar que, hasta donde se conoce, es bastante útil para escanear archivos PDF y verificar datos. Además de todo esto, las respuestas también son casi instantáneas, sin el retraso que habitualmente se ve cuando se utilizan los chatbots ChatGPT o Copilot basados en la nube, por ejemplo.
Pero, como todo tiene “un pero”… el gran inconveniente de Chat with RTX es que realmente parece una demostración inicial para desarrolladores. Chat with RTX básicamente instala un servidor web y una instancia de Python en su PC, que posteriormente aprovecha los modelos Mistral o Llama 2 para consultar los datos que le suministra. Luego usa los núcleos Tensor de Nvidia en una GPU RTX para acelerar sus consultas.
La aplicación tiene un tamaño de casi 40 GB y la instancia de Python ocupa cerca de 3 GB de RAM de los 64 GB disponibles en un sistema por ejemplo. Una vez que se está ejecutando, accede a Chat with RTX desde un navegador, mientras se ejecuta un símbolo del sistema en segundo plano que muestra lo que se está procesando y los códigos de error.
Nvidia no brinda esto como una aplicación pulida que todos los propietarios de RTX deban descargar e instalar de inmediato. Hay una serie de problemas y limitaciones conocidos, incluido el hecho de que la atribución de la fuente no siempre es precisa.
Cabe destacar que, el chat con RTX tampoco recuerda el contexto, por lo que las preguntas de seguimiento no pueden basarse en el contexto de una pregunta anterior. También crea archivos JSON dentro de las carpetas que le solicita que indexe, por lo que no se recomendaría usar esto en toda la carpeta Documentos en Windows.
La demo es capaz de ilustrar la promesa de lo que un chatbot de Inteligencia Artificial puede hacer localmente en su PC en el futuro, especialmente si no quiere tener que suscribirse a algo como por ejemplo: Copilot Pro o incluso, el popular ChatGPT Plus solo para analizar sus archivos personales.
