【ChatGPT研究】自回归语言模型的易语言实现方法

叮小当 · 发表于 2023-4-10 15:20:30

本帖最后由叮小当于 2023-4-10 16:42 编辑

QQ截图20230410144511.jpg

最近chatgpt爆火，想必用过的小伙伴都大呼神奇，我也同感，也感觉到作为一个程序员对这一行前景的担忧。

今天突然很想搞清楚chatgpt到底是怎么实现的，就去研究了自回归语言模型。代码也是chatgpt 教给我的，我转译成了易语言，方便大家理解。
自回归语言模型（Autoregressive LM, AR）是一种根据上文或者下文内容预测下一个可能跟随的单词的语言模型。例如，通过“LM is a typical task in natural language ____”预测单词“processing”
了解更多：https://zhuanlan.zhihu.com/p/378514578

最终的目的是抛砖引玉，希望有大佬可以搞一个易语言chatgpt模型出来！

代码很简单，有丰富的注释可供学习！
代码中调用了两个模块，一个是分词模块，有能力的可以删了模块自己写。
同时调用了我自己的模块，主要用了哈希表和取随机数，也可以自行删掉，用自己的。

更强的版本正在编写中：包含了损失函数，优化器随机梯度下降SGD，迭代训练并计算损失和梯度，向前传播和反向传播神经模型

源码下载【包含分词库】：https://rtb4.lanzouw.com/iqfFU0sl8u1e

不含分词库的附件下载（注意：附件下载的，请先用分词模块测试.e 源码中界面 “重置词库” 按钮功能，生成新的词库）

自回归语言模型eCode.rar (2.84 MB, 下载次数: 153)

wanerhejj · 发表于 2024-6-1 18:04:12

下载学习

199605109 · 发表于 2023-9-7 09:11:43

感谢发布原创作品，精易因你更精彩！

c勇往直前 · 发表于 2023-9-7 09:04:37

支持支持支持支持支持

k18556 · 发表于 2023-6-7 00:56:32

xxxxxxxxxxxxxxx

当明月 · 发表于 2023-5-31 05:23:34

sn123zyc · 发表于 2023-5-15 14:19:38

感谢发布原创作品，精易因你更精彩！

无极 · 发表于 2023-5-5 03:07:12

ChatGptChatGpt

hefuqiangqiang · 发表于 2023-4-19 00:37:44

开源精神必须支持~ 学习一下

8554036 · 发表于 2023-4-18 13:35:02

这东东怎么玩来的呀。

两度 · 发表于 2023-4-17 20:06:33

000000000000000000000

		自动登录	找回密码
密码			注册

[易源码分享] 【ChatGPT研究】自回归语言模型的易语言实现方法

评分

本帖被以下淘专辑推荐: