How to uses Ollama API to load local LLM (如何使用Ollama API插件来加载本地大语言模型)

How to uses Ollama API to load local LLM (如何使用Ollama API插件来加载本地大语言模型)

Download and Install Ollama, Run "Ollama app.exe"(下载并运行Ollama app)

视频教程： https://www.bilibili.com/video/BV1Hx4y1t7x4/


首先到Ollama主页( ollama.com/download )下载安装Windows版本的Ollama，安装完毕启动"Ollama app.exe"，即可在屏幕右下角的托盘图标中看到Ollama的白色羊驼托盘图标


First, go to the Ollama homepage ( ollama.com/download ) to download and install the Windows version of Ollama. After installation, start the "Ollama app. exe" and you will see Ollama's white alpaca tray icon in the tray icon in the bottom right corner of the screen

Subscribe to the Ollama API and test （订阅Ollama API并测试连接）

在数字伙伴主界面左下角点击"聊天"按钮，然后切换到“聊天服务”页面，点击顶部的 + 加号按钮，订阅下载 “Ollama API”聊天服务插件，等待其下载完毕



在左侧聊天服务列表中选中 Ollama API，右侧就会出现相应的设置界面，点击测试按钮来测试Ollama是否正常安装启动了

Download and Select LLM to Chat (下载和选择大语言模型，即可开始聊天)

点击“下载模型”按钮来从Ollama的模型库下载想要的本地大语言模型。
ps: 需要输入模型名称才能下载，可以打开Ollama的模型库网站来找到想要下载的模型名称 ( ollama.com/library ) ，推荐使用通义千文2(qwen2)的1.5b或者7b模型，生成回复速度快，低配置电脑也能流畅运行


请耐心等待模型下载完毕，模型文件一般都比较大(例如 通义千问1.5b大约1GB)，需要等待比较长的下载时间
ps：目前版本可以尝试在任务管理器的网络监测中查看到下载速度


可以直接使用命令行界面用Ollama来直接下载模型( 命令行中使用 ollama pull qwen2:1.5b 即可下载 )，这样可以实时查看下载进度。


模型下载完毕后，点击更新模型列表，即可查看到当前Ollama中已经存在啊模型名称，选择需要的模型名称，即可开始聊天了

[scott_sunyu]

最好用Ollama本地生成一个自己的NSFW模型，加一层layer，破除模型的SFW限制

[LetItBe]

这可玩性一下子就上来了。听讲24GB显存+64G内存甚至能本地玩70B的模型？
我甚至在Github上看到了一个更黑的黑科技： https://github.com/lyogavin/Anima/tree/main/air_llm