Ollama是一个强大且易于使用的本地大模型推理框架，专为简化和优化大型语言模型（LLMs）在本地环境中的部署、管理和推理工作流而设计。我们可以将Ollama视为大模型推理框架的后端服务。
安装Ollama的方式有两种，分别是Docker安装和脚本手动安装。无论选择哪种方式，都可分为无GPU版本和GPU版本，以满足不同用户的需求。
Open WebUI是一个开源的用户界面工具，用于运行和管理大语言模型以及其他人工智能功能。它的主要目标是简化人工智能模型的本地部署和操作，让用户能够轻松地通过浏览器界面与各种AI模型进行交互。
在使用Ollama和Open WebUI时，有几个重要的参数需要注意。HF_ENDPOINT是模型的下载社区Hugging-Face的国内镜像，而OLLAMA_BASE_URL则是上一步部署的Ollama后端服务的基础地址。
通过访问地址“localhost:3000”，可以查看镜像和容器。还可以访问Ollama的GitHub页面（/ollama/ollama）以获取更多详细信息，以及访问Open WebUI的文档页面（docs./getting-started/quick-start/）以快速入门。
关于千问大模型的微调，可以参考CSDN上的这篇文章（blog./m0_73365120/article/details/141872756）。新手册记录中提供了关于如何微调千问大模型的详细步骤和指南，有助于用户更好地应用这一强大的工具。