使用ollama部署本地大模型,并实现HTTP流式输出

xiguapihenpi · 发表于 2024-11-7 16:10:12

本帖最后由 a370266652 于 2024-11-7 17:15 编辑

1.进入ollama官网后下载对应的系统版本,我下载的是Windows版下载 1.png

2.下载完成后运行安装程序,直接点install安装,等待安装完成
3.安装完成后会弹出一个命令提示框或者按WIN+R运行CMD
4.输入 ollama run llama3.2 拉取llama3.2 3b大模型,拉取完后就可以在命令框对话了
下载 2.png

5.大模型有很多可以根据自己需要拉取,个人觉得这4个大模型还可以,电脑配置好的也可以拉Llama 3.1:70b qwen2.5:72b这种参数多的大模型

6.写了两个调用API的简单例子给大家,一个易语言的,一个HTML

屏幕录制024-11-0760131.gif

Html文件用HP-Socket开个简单的HTTP服务就可以用了.

模块论坛都可以下到,使用了
HP-Socket https://bbs.125.la/forum.php?mod=viewthread&tid=14726883
zyJson https://bbs.125.la/forum.php?mod=viewthread&tid=14719783
精易模块

附件在下面

fujian.zip (369.2 KB, 下载次数: 127, 售价: 3 枚精币)

xinfeidainxun · 发表于 2025-2-8 16:19:08

好像不能用啊怎么回事

dancige · 发表于 2025-2-5 19:37:37

精币不够怎么办

千狐 · 发表于 2025-2-5 17:39:41

开源精神必须支持~

q127 · 发表于 2025-1-28 17:22:18

大佬有没有api流输出形式

qiangzi · 发表于 2025-1-27 23:23:48

没币了下载不离开

qiangzi · 发表于 2025-1-27 23:02:29

红红火火恍恍惚惚

qiangzi · 发表于 2025-1-27 22:44:31

维持！哈哈哈哈哈哈哈哈哈哈哈哈

qiangzi · 发表于 2025-1-27 22:43:52

5快啊！！！！！！！

qiangzi · 发表于 2025-1-27 22:38:44

好贵啊！！！！！！！！！！！！！

		自动登录	找回密码
密码			注册

[易语言纯源码] 使用ollama部署本地大模型,并实现HTTP流式输出