易于使用的模型管理应用 Ollama 发布了 Windows 预览版,Windows 用户可以在本地创建和运行大模型。目前该版本只支持英伟达的 GPU,需要 CPU 支持 AVX 和 AVX2 等指令集。开发者表示对 AMD GPU 的支持还在开发之中,如果用户有能力可以直接从源码去构建支持 AMD GPU 的版本。
https://ollama.com/blog/windows-preview
https://github.com/ollama/ollama/blob/main/docs/development.md#linux-rocm-amd