使用ollama部署本地大模型,并实现HTTP流式输出

xiguapihenpi · 发表于 2024-11-7 16:10:12

本帖最后由 a370266652 于 2024-11-7 17:15 编辑

1.进入ollama官网后下载对应的系统版本,我下载的是Windows版下载 1.png

2.下载完成后运行安装程序,直接点install安装,等待安装完成
3.安装完成后会弹出一个命令提示框或者按WIN+R运行CMD
4.输入 ollama run llama3.2 拉取llama3.2 3b大模型,拉取完后就可以在命令框对话了
下载 2.png

5.大模型有很多可以根据自己需要拉取,个人觉得这4个大模型还可以,电脑配置好的也可以拉Llama 3.1:70b qwen2.5:72b这种参数多的大模型

6.写了两个调用API的简单例子给大家,一个易语言的,一个HTML

屏幕录制024-11-0760131.gif

Html文件用HP-Socket开个简单的HTTP服务就可以用了.

模块论坛都可以下到,使用了
HP-Socket https://bbs.125.la/forum.php?mod=viewthread&tid=14726883
zyJson https://bbs.125.la/forum.php?mod=viewthread&tid=14719783
精易模块

附件在下面

fujian.zip (369.2 KB, 下载次数: 42, 售价: 3 枚精币)

胖子葛格 · 发表于昨天 08:47

感谢大神分享~！

abnerll · 发表于 3 天前

感谢分享

光影魔术 · 发表于 2024-11-11 17:26:44

感谢分享源码

pnf · 发表于 2024-11-9 10:00:01

支持开源~！感谢分享

豆豆灰常开心 · 发表于 2024-11-9 06:19:09

感谢分享，很给力！~

查过 · 发表于 2024-11-9 06:14:49

感谢您对论坛的支持！

zhangbiao · 发表于 2024-11-8 22:56:01

感谢分享

fusiyon · 发表于 2024-11-8 14:43:30

666666666666666

138LLC · 发表于 2024-11-8 12:25:29

666666666666666

		自动登录	找回密码
密码			注册

[易语言纯源码] 使用ollama部署本地大模型,并实现HTTP流式输出