有玩RWKV的朋友吗

airaz

josStorer/RWKV-Runner: A RWKV management and startup tool, full automation, only 8MB. And provides an interface compatible with the OpenAI API. RWKV is a large language model that is fully open source and available for commercial use. (github.com)



以下代码是  梦° 的

.版本 2
.支持库 e2ee

.程序集 程序集1

.子程序 _启动子程序, 整数型, , 本子程序在程序启动后最先执行

功能_OpenAi聊天 ()

返回 (0)  ' 可以根据您的需要返回任意数值

.子程序 功能_OpenAi聊天
.参数 OpenaiKey, 文本型, 可空
.参数 提问内容, 文本型, 可空
.局部变量 HTTP_请求, 网站客户Duan
.局部变量 HTTP_网址, 文本型
.局部变量 HTTP_返回, 文本型
.局部变量 HTTP_数据, 存取键值表
.局部变量 HTTP_解析, 存取键值表
.局部变量 消息列表, 存取列表

HTTP_网址 ＝ “http://127.0.0.1:8000/chat/completions”
HTTP_请求.置请求头 (“Content-Type”, “application/json”)
HTTP_请求.置请求头 (“Authorization”, “Bearer ” ＋ “123”)
HTTP_请求.置请求头 (“User-Agent”, “Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/38.0.2125.122 Safari/537.36 SE 2.X MetaSr 1.0”)

' //管理设定，
消息列表.添加键值表 (创建键值表 (“role”, “system”, “content”, “You are a helpful assistant that translates Chinese to English”))

' //用户提问，
' 消息列表.添加键值表 (创建键值表 (“role”, “user”, “content”, “在干什么”))

' //上下文示例
消息列表.添加键值表 (创建键值表 (“role”, “assistant”, “content”, “今天下雨”))
消息列表.添加键值表 (创建键值表 (“role”, “user”, “content”, 创建文本 (“今天下雨”, “你带伞了吗”)))

HTTP_数据.创建 (“model”, “./models/rwkv_v5.2_7B_role_play_16k.pth”, “messages”, 消息列表)
HTTP_请求.执行POST (HTTP_网址, HTTP_数据.到JSON (假, 真, , , ), HTTP_返回, 真, )
HTTP_解析.从JSON载入 (HTTP_返回, , , )
输出调试 (HTTP_解析.取文本 (“//choices[1].message.content”))

airaz

ljqzxw 发表于 2024-10-15 20:17
带带，rwkv只能用exe启动吗，可以用python启动吗，我用python命令在服务器启动，外部无法访问到，用自带的e ...

他是 openapi 你没有显卡吧

ljqzxw

带带，rwkv只能用exe启动吗，可以用python启动吗，我用python命令在服务器启动，外部无法访问到，用自带的exe启动可以。但是exe启动太卡了