2024年1月13日,英伟达公司发布了一个可以免费下载,并且在个人电脑上使用的AI工具:Chat With RTX
该工具的发布,让每个PC用户都有机会基于个人电脑使用AI而不是必须联网才能使用AI。这对于广大情报分析师来说绝对是一个极大的利好。
世界各地每天有数百万人使用聊天机器人,都是基于云服务器提供的支持。现在,这些英伟达提供的突破性的工具Chat With RTX将支持在Windows PC 实现本地、快速、自定义的生成 AI。
Chat with RTX是一个技术演示,现已支持免费下载,可让用户使用自己的内容个性化聊天机器人,前提是您的电脑安装的是NVIDIA GeForce RTX 30 系列 GPU或更高版本(具有至少 8GB 视频随机存取存储器或 VRAM)加速。
Chat with RTX下载地址:
https://www.nvidia.com/en-us/ai-on-rtx/chat-with-rtx-generative-ai/
Chat with RTX 使用检索增强生成(RAG)、NVIDIA TensorRT-LLM软件和 NVIDIA RTX 加速,为本地 GeForce 支持的 Windows PC 带来生成式 AI 功能。用户可以快速、轻松地将 PC 上的本地文件作为数据集连接到 Mistral 或 Llama 2 等开源大型语言模型,从而能够快速查询上下文相关的答案。
用户只需键入查询即可,而无需搜索笔记或保存的内容。Chat with RTX 将扫描用户指向的本地文件并提供带有上下文的答案。
该工具支持各种文件格式,包括.txt、.pdf、.doc/.docx 和.xml。将应用程序指向包含这些文件的文件夹,该工具将在几秒钟内将它们加载到其库中。
用户还可以包含来自 YouTube 视频和播放列表的信息。将视频 URL 添加到 Chat with RTX 允许用户将这些知识集成到他们的聊天机器人中以进行上下文查询。例如,根据最喜欢的视频的内容询问旅行建议,或根据顶级教育资源获取快速教程和操作方法。
由于Chat with RTX在Windows RTX pc和工作站上本地运行,因此提供的结果很快-并且用户的数据保留在设备上。与依赖基于云的LLM服务不同,Chat with RTX让用户在本地PC上处理敏感数据,而无需与第三方共享或连接互联网。
注意1:除了具有至少8GB VRAM的GeForce RTX 30系列GPU或更高版本外,Chat with RTX需要Windows 10或11以及最新的NVIDIA GPU驱动程序535.11 或更高版本。内存至少16G。
注意2: Chat with RTX 中存在一个问题,当用户选择不同的安装目录时,该问题会导致安装失败。目前,用户应使用默认安装目录(“C:\Users\<用户名>\AppData\Local\NVIDIA\ChatWithRTX”)。
注意3: Chat with RTX显示了使用RTX gpu加速llm的潜力。该应用程序是由TensorRT-LLM RAG开发人员参考项目构建的,可在GitHub上获得。开发人员可以使用参考项目开发和部署他们自己的基于rag的RTX应用程序,由TensorRT-LLM加速。
GitHub链接地址:
https://github.com/NVIDIA/trt-llm-rag-windows
点击下面阅读原文可直接进入Chat With RTX下载