AnythingLLM – 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天
2024-8-29 17:2:2 Author: www.appinn.com(查看原文) 阅读量:11 收藏

Home

AI

AnythingLLM – 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天

AnythingLLM 是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端,支持 Windows、macOS、Linux,支持自选模型,也可以从软件内下载模型。它还支持嵌入模型、语音、转录,最重要的是可以实现完全离线,不依托任何云服务。@Appinn

AnythingLLM - 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天

在《LM Studio – 有电脑就能用,傻瓜、一站式部署本地大语言模型|然后,像 ChatGPT 那样提问》中,@路人甲乙丙 留言回复称:

这款其实不算傻瓜,AnythingLLM 才是,多平台,单文件安装。模型下载内部选,集成了 Ollama,支持中文界面。

Ollama 官网推荐的 Win 平台下全都试了,论便利首选 AnythingLLM,可 Github 或官网下载,全免费。


AnythingLLM

与 LM Studio 类似,AnythingLLM 也是一款适合在自己电脑里部署 LLM 的工具,但功能更丰富一些,比如在 AnythingLLM 的嵌入首选项中,你可以选择 LM Studio 作为嵌入引擎提供商。

只需要在 LM Studio 打开 Server,AnythingLLM 就会自动识别:

AnythingLLM - 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天 1

对了,我在 AnythingLLM 中,导入了之前测试 LM Studio 的时候下载的模型。很方便。

来看一下开发者提供的视频:

安装之后,AnythingLLM 回来一波对话,给你介绍如何使用:

AnythingLLM - 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天 2

设置模型

你需要为 AnythingLLM 设置模型,包括首选模型、向量数据库、嵌入模型、语音、转录模型。

默认情况下,AnythingLLM 自带了模型,不过也可以根据需要自己下载模型:

AnythingLLM - 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天 3

上图中 Official Models 里就有很多模型,下载速度还有点快,也是很奇怪。

在工作区中,可以上传文件,这样这些文件就变成了你的向量数据库,相当于对着文档提问。

但青小蛙使用内置的模型测试,发现似乎效果很不好,答非所问,也不知道它在想什么。

AnythingLLM - 真·一键运行本地 LLM 大语言模型|全离线操作:与文档聊天、与 AI 聊天 4

还是说,模型选择有问题。

青小蛙觉得,对比在线大语言模型,即开即问、上传文档直接问,本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 AnythingLLM 已经把安装门槛降低到了0,但是模型的选择使用是个很大的槛,就看各位是否愿意继续深入研究了。

获取


原文:https://www.appinn.com/anythingllm/


文章来源: https://www.appinn.com/anythingllm/
如有侵权请联系:admin#unsafe.sh