Desde el trascendental lanzamiento de ChatGPT, el mundo de la informática ha estado esperando un chatbot de IA local que pueda funcionar sin conexión a la nube. Nvidia ahora tiene una respuesta con Chat with RTX, que es un chatbot de IA local que le permite aprovechar un modelo de IA para hojear sus datos sin conexión.
En esta guía, le mostraremos cómo configurar y usar Chat con RTX. Esto es sólo una demostración, así que espere algunos errores mientras trabaja con la herramienta. Pero es de esperar que abra la puerta a más chatbots de IA locales y otras herramientas de IA locales.
Cómo descargar Chat con RTX
El primer paso es descargar y configurar Chat con RTX, lo cual en realidad es un poco más complicado de lo que cabría esperar. Todo lo que necesita hacer es ejecutar un instalador, pero el instalador es propenso a fallar y deberá cumplir con algunos requisitos mínimos del sistema.
Necesita una GPU RTX serie 40 o 30 con al menos 8 GB de VRAM, junto con 16 GB de RAM del sistema, 100 GB de espacio en disco y Windows 11.
Paso 1: Descargue el instalador de Chat con RTX del sitio web de Nvidia. Esta carpeta comprimida tiene 35 GB, por lo que la descarga puede tardar un poco.
Paso 2: Una vez que haya terminado de descargarse, haga clic derecho en la carpeta y seleccione Extraer todo.
Jacob Roach / Tendencias digitales
Paso 3: En la carpeta, encontrará un par de archivos y carpetas. Elegir configuración.exe y recorra el instalador.
Etapa 4: Antes de que comience la instalación, el instalador le preguntará dónde desea almacenar Chat con RTX. Asegúrese de tener al menos 100 GB de espacio en disco en la ubicación que seleccione, ya que Chat with RTX en realidad descarga los modelos de IA.
Jacob Roach / Tendencias digitales
Paso 5: El instalador puede tardar más de 45 minutos en completarse, así que no se preocupe si ve que se cuelga brevemente. También puede ralentizar su PC, especialmente mientras configura los modelos de IA, por lo que recomendamos alejarse un momento mientras finaliza la instalación.
Paso 6: La instalación puede fallar. Si es así, simplemente vuelva a ejecutar el instalador y elija la misma ubicación para los datos que antes. El instalador continuará donde lo dejó.
Paso 7: Una vez que finalice el instalador, obtendrá un acceso directo para Chatear con RTX en su escritorio y la aplicación se abrirá en una ventana del navegador.
Cómo utilizar Chat con RTX con tus datos
El gran atractivo de Chat with RTX es que puedes usar tus propios datos. Utiliza algo llamado generación de recuperación aumentada, o RAG, para hojear documentos y brindarle respuestas basadas en esos documentos. En lugar de responder cualquier pregunta, Chat with RTX es bueno para responder preguntas específicas sobre un conjunto particular de datos.
Nvidia incluye algunos datos de muestra para que puedas probar la herramienta, pero debes agregar tus propios datos para desbloquear todo el potencial de Chat con RTX.
Paso 1: Crea una carpeta donde almacenarás tu conjunto de datos. Anota la ubicación, ya que tendrás que apuntar Chat with RTX hacia esa carpeta. Actualmente, Chat with RTX admite archivos .txt, .pdf y .doc.
Paso 2: Abra Chat con RTX y seleccione el ícono del lápiz en el Conjunto de datos sección.
Jacob Roach / Tendencias digitales
Paso 3: Navegue hasta la carpeta donde almacenó sus datos y selecciónela.
Etapa 4: En Chat con RTX, seleccione el icono de actualización en el Conjunto de datos sección. Esto regenerará el modelo basado en los nuevos datos. Querrá actualizar el modelo cada vez que agregue nuevos datos a la carpeta o seleccione un conjunto de datos diferente.
Jacob Roach / Tendencias digitales
Paso 5: Con sus datos agregados, seleccione el modelo que desea usar en la sección Modelo de IA. El chat con RTX incluye Llama 2 y Mistral, siendo este último el predeterminado. Experimente con ambos, pero para los nuevos usuarios, Mistral es lo mejor.
Paso 6: A partir de ahí, puedes empezar a hacer preguntas. Nvidia señala que Chat with RTX no tiene en cuenta el contexto, por lo que las respuestas anteriores no influyen en las respuestas futuras. Además, las preguntas específicas generalmente darán mejores resultados que las preguntas generales. Finalmente, Nvidia señala que Chat with RTX a veces hará referencia a datos incorrectos al brindar una respuesta, así que téngalo en cuenta.
Paso 7: Si Chat with RTX deja de funcionar y un reinicio no soluciona el problema, Nvidia dice que puedes eliminar el archivo preferencias.json para resolver el problema. Este se encuentra en C:Users\AppDataLocalNVIDIAChatWithRTXRAGtrt-llm-rag-windows-mainconfigpreferences.json.
Cómo usar Chat con RTX con YouTube
Además de tus propios datos, puedes utilizar Chat con RTX con vídeos de YouTube. El modelo de IA se basa en la transcripción de un vídeo de YouTube, por lo que existen algunas limitaciones naturales.
Primero, el modelo de IA no ve nada que no esté incluido en la transcripción. No puedes preguntar, por ejemplo, cómo se ve alguien en un vídeo. Además, las transcripciones de YouTube no siempre son perfectas. En videos con transcripciones desordenadas, es posible que no obtengas las respuestas que deseas.
Paso 1: Abra Chat con RTX y en el Conjunto de datos sección, seleccione el menú desplegable y elija YouTube.
Paso 2: En el campo a continuación, pegue un enlace a un video o lista de reproducción de YouTube. Junto a este campo, encontrará un número que indica la cantidad máxima de transcripciones que desea descargar.
Jacob Roach / Tendencias digitales
Paso 3: Seleccione el botón de descarga junto a este campo y espere hasta que las transcripciones hayan terminado de descargarse. Cuando terminen, haga clic en el botón Actualizar.
Etapa 4: Una vez realizada la transcripción, podrás chatear como lo hiciste con tus propios datos. Las preguntas específicas son mejores que las generales y, si estás conversando sobre varios videos, Chat with RTX puede obtener la referencia incorrecta si tu pregunta es demasiado general.
Paso 5: Si desea conversar sobre un nuevo conjunto de videos, deberá eliminar manualmente las transcripciones antiguas. Encontrarás un botón para abrir una ventana del Explorador junto al botón de actualización. Dirígete allí y elimina las transcripciones si quieres conversar sobre otros videos.
Recomendaciones de los editores
2024-02-17 16:00:44
1708186944
#Cómo #utilizar #nuevo #chat #Nvidia #con #bot #RTX
