除夕深度求索产品问世,Win本地化部署初尝。本文仅用作自己在学习路上遇到问题、解决问题方面的记录。如被提供给同样在此方面遇到问题的同学参考,不胜荣幸。若文中有出现纰漏不够严谨之处,望海涵。意见之处,不吝赐教。
产品安装
Download栏目 根据OS 确定产品支持类型
下载完成,执行exe文件,默认安装是在系统盘下。可通过调整环境变量调整文件存储路径。注:在未启动OLLAMA的情况下进行更改,如已经启动可重启OLLAMA。
更改存储路径
系统设置》关于》高级系统设置
系统级变量 key:OLLAMA_MODELS value:需要存储的路径
启动
可按需拉取 不同的语言模型,性能较差用1.5b,一般用7b,也可根据实际需要选择。推荐r1或者qwen2。
执行命令:ollama run deepseek-r1:7b
拉取成功后即可在命令行直接进行QA问答。
UI界面
如果需要可视化界面控制大模型,较为主流的两种工具如:chatBox、OI(Open webUI)。前者开箱即用,后者需要些许计算机基础。后者更贴合Ollama产品环境。
ChatBox
网页版和本地下载均可
配置
使用
Open WebUI
Q/A
Q1:本地Ollama无法被其他产品如ChatBox访问到
A1:环境变量 配置开放Host及跨域问题
续…
v1.5.2