ข่าว NVIDIA เปิดตัว Chat with RTX แช็ทบ็อท AI แบบโลคัล รันบน GeForce RTX ในเครื่องพีซี

[News]

NVIDIA เปิดตัว Chat with RTX เป็นไคลเอนต์สำหรับรันแช็ทบ็อท Generative AI บนเครื่องพีซีของเราเอง ไม่ต้องพึ่งพาเซิร์ฟเวอร์ภายนอก

Chat with RTX เป็นแพลตฟอร์มที่ใช้รันโมเดลภาษาโอเพนซอร์ส (ตอนนี้รองรับ Llama 2 และ Mistral สองตัว) มารันบน Tensor Core ของจีพียู GeForce RTX ซีรีส์ 30 ขึ้นไป (เบื้องหลังของมันคือ TensorRT-LLM และ RAG on Windows) ตอนนี้ยังรองรับเฉพาะบนพีซีวินโดวส์เท่านั้น

จุดเด่นของ Chat with RTX คือทั้งตัวโมเดล LLM และตัวข้อมูลที่ให้โมเดลอ่านจะอยู่ในเครื่องพีซีเท่านั้น เช่น อ่านจากไฟล์ txt, pdf, doc/docx, xml ในเครื่องเฉพาะโฟลเดอร์ที่กำหนด ป้องกันข้อมูลรั่วไหล แต่ในอีกทางก็ยังสามารถอ้างอิงข้อมูลบนอินเทอร์เน็ต (เช่น ให้ AI ชมวิดีโอบน YouTube ที่ระบุ) ได้เช่นกัน

NVIDIA บอกว่า Chat with RTX มีสถานะเป็น tech demo และยังไม่ระบุว่าจะผลักดันต่อในระยะยาวหรือไม่ แต่อย่างน้อยก็เป็นตัวอย่างให้เห็นว่า แช็ทบ็อท AI ที่รันแบบโลคัลนั้นสามารถทำได้แล้ว

ที่มา - NVIDIA

Topics:
NVIDIA
Chat Bot
Artificial Intelligence
GeForce

อ่านต่อ...