AnythingLLM 是一款可以在本地电脑一件运行 LLM 大语言模型的跨平台桌面客户端,支持 Windows、macOS、Linux,支持自选模型,也可以从软件内下载模型。它还支持嵌入模型、语音、转录,最重要的是可以实现完全离线,不依托任何云服务。@Appinn
在《LM Studio – 有电脑就能用,傻瓜、一站式部署本地大语言模型|然后,像 ChatGPT 那样提问》中,@路人甲乙丙 留言回复称:
这款其实不算傻瓜,AnythingLLM 才是,多平台,单文件安装。模型下载内部选,集成了 Ollama,支持中文界面。
Ollama 官网推荐的 Win 平台下全都试了,论便利首选 AnythingLLM,可 Github 或官网下载,全免费。
AnythingLLM
与 LM Studio 类似,AnythingLLM 也是一款适合在自己电脑里部署 LLM 的工具,但功能更丰富一些,比如在 AnythingLLM 的嵌入首选项中,你可以选择 LM Studio 作为嵌入引擎提供商。
只需要在 LM Studio 打开 Server,AnythingLLM 就会自动识别:
对了,我在 AnythingLLM 中,导入了之前测试 LM Studio 的时候下载的模型。很方便。
来看一下开发者提供的视频:
安装之后,AnythingLLM 回来一波对话,给你介绍如何使用:
设置模型
你需要为 AnythingLLM 设置模型,包括首选模型、向量数据库、嵌入模型、语音、转录模型。
默认情况下,AnythingLLM 自带了模型,不过也可以根据需要自己下载模型:
上图中 Official Models 里就有很多模型,下载速度还有点快,也是很奇怪。
在工作区中,可以上传文件,这样这些文件就变成了你的向量数据库,相当于对着文档提问。
但青小蛙使用内置的模型测试,发现似乎效果很不好,答非所问,也不知道它在想什么。
还是说,模型选择有问题。
青小蛙觉得,对比在线大语言模型,即开即问、上传文档直接问,本地的大语言模型在使用门槛上存在至少有1个小时的入门学习时间。虽然 AnythingLLM 已经把安装门槛降低到了0,但是模型的选择使用是个很大的槛,就看各位是否愿意继续深入研究了。
获取
原文:https://www.appinn.com/anythingllm/