Nvidia har föreslagit ett verktyg för att anpassa en konversationsassistent som drivs av generativ artificiell intelligens (AI) som körs lokalt på en Windows-dator med grafik i GeForce RTX 30-serien. Chatta med RTX är ett verktyg som ger möjligheterna med generativ AI till en lokal miljö för att anpassa innehållet i en ”chatbot”. Den använder tekniken Recall Augmented Generation (RAG) för att förbättra noggrannheten och tillförlitligheten hos AI-modeller, men också Nvidias programvara TensorRT-LLM och NVIDIA RTX-acceleration.
Med den kan du skapa en personlig ”chatbot” för frågor i ett konversationsformat, som Copilot, Gemini eller ChatGPT. Den stöder olika textformat och du kan till och med infoga YouTube-videowebbadresser för kontextuella frågor. ”Chatboten” är designad för användning i Windows 10- eller 11-datorer som uppfyller minimiegenskaperna, till exempel att ha en GPU GeForce RTX de la Serie 30 och 8 GB videorandom access memory (VRAM). Lokalt exekvering gynnar integritet eftersom användare, genom att inte vara beroende av molntjänster, kan ”behandla känslig data på en lokal dator utan att behöva dela dem med en tredje part eller ha en internetanslutning”, förklarar Nvidia i sin nyhetsblogg.
