Để sử dụng Chat with RTX, người dùng cần có một chiếc PC trang bị card đồ hoạ rời RTX 30 hoặc 40-series cùng ít nhất 8GB VRAM, hệ điều hành Windows 10 hoặc 11 và trình điều khiển GPU Nvidia mới nhất. Việc cài đặt Chat with RTX sẽ khá phức tạp với những người dùng không chuyên khi phiên bản ứng dụng này giống như một bản thử nghiệm. Để cài đặt, ứng dụng sẽ tải xuống một máy chủ web và phiên bản Python trên PC. Sau đó tận dụng các mô hình Mistral hoặc Llama 2 để truy vấn dữ liệu người dùng cung cấp. Đồng thời, ứng dụng sẽ sử dụng lõi Tensor của Nvidia trên GPU RTX để tăng tốc độ xử lý.

Theo trang tin công nghệ The Verge, Chat with RTX có thể xử lý nhiều tác vụ với các định dạng khác nhau bao gồm: văn bản, các tệp PDF, doc/docx, XML. Chatbot của Nvidia có thể quét các xử lý dữ liệu của các tệp PDF giống với Copilot của Microsoft nhưng với tốc độ phản hồi nhanh và cho ra các thông tin chính xác hơn. Ngoài ra, người dùng cũng có thể tóm tắt nội dung của video Youtube bằng cách cung cấp cho chatbot này đường link của video đó.

Cũng theo công bố từ Nivida, Chat with RTX là một bước tiến mới trong công nghệ chatbot AI, đem đến nhiều tính năng vượt trội so với các chatbot AI thông thường, bao gồm:

- Xử lý cục bộ mà không cần internet: Chat with RTX hạy trực tiếp trên PC Windows RTX mà không cần kết nối với internet, giúp tăng cường bảo mật và quyền riêng tư dữ liệu bằng cách lưu trữ trên thiết bị, không cần sử dụng dịch vụ đám mây.

- Hiệu suất xử lý cao: Chat with RTX tận dụng sức mạnh xử lý của GPU NVIDIA RTX để xử lý dữ liệu nhanh chóng, mang đến phản hồi tức thì. Hiệu suất xử lý được nâng cao lên đến 5 lần với TensorRT-LLM và phần mềm tăng tốc AI của NVIDIA.

- Xử lý nhiều tác vụ với các định dạng khác nhau: Hỗ trợ nhiều định dạng tệp phổ biến như văn bản, PDF, doc/docx và XML, truy vấn nội dung từ danh sách phát YouTube một cách dễ dàng.

Chat with RTX hiện đang trong giai đoạn phát triển, do vậy, chatbot này vẫn gặp phải một số vấn đề khi xử lý với một lượng dữ liệu lớn và khả năng ghi nhớ ngữ cảnh còn hạn chế.