【ChatGPT研究】自回归语言模型-RNN神经网络模型v2

叮小当 · 发表于 2023-4-12 16:55:24

本帖最后由叮小当于 2023-4-12 17:27 编辑

QQ截图20230412163109.jpg

接上一篇：【ChatGPT研究】自回归语言模型的易语言实现方法_精易论坛 (125.la)

这次更新的模型是传统RNN自回归语言模型，使用了向量矩阵算法，以及正向扩散和反向传播神经网络，随机梯度下降算法。

由于本次引入了向量矩阵复杂算法，在没有cuda加持下，cpu训练耗时较久

我本身也是刚研究这方面的新手，代码都是手工翻译自c#，对里面的复杂算法和向量传递，一知半解。

至于出来的效果，我也不好评价，可能也跟我只训练了两步有关，或者训练素材太少，又或者本身算法有问题，具体的还得高手们自行分析了。

最终的目的是抛砖引玉，希望有大佬可以搞一个易语言chatgpt模型出来供大家学习，以及理解神经网络模型！
当然我知道，易语言想做大模型，不支持64位和cuda肯定是办不到的，但不妨碍只会易语言的同学对神经网络模型的学习和理解。

这一版的代码比较复杂，但仍然有丰富的注释可供学习！
代码中调用了两个模块，一个是分词模块，有能力的可以删了模块自己写。
同时调用了我自己的模块，主要用了哈希表和取随机数，也可以自行删掉，用自己的。

有一些问题：
1.训练词典越大，训练时间越久
2.学习率越低，学习效果越好
3.训练次数也跟最终效果有很大影响，但不是越多越好，容易过拟合
4.由于易语言双精度小数位数只有6位，会极大影响模型最终效果

有能力的朋友可以自行修改，如果你做出了更好的，记得给我帖子留个言，好让我跟着学习观摩

源码下载【包含分词库】：https://rtb4.lanzouw.com/iVkF10ssvr2h

不含分词库的源码附件下载：

自回归语言模型eCode_V2.rar (745.01 KB, 下载次数: 121)

zxf834580866 · 发表于 2024-6-28 14:53:11

有没有gpu训练的版本

DMS千 · 发表于 2024-6-15 22:29:46

666666666666666

wanerhejj · 发表于 2024-6-1 17:49:44

下载来学习

abiao · 发表于 2024-3-14 15:43:37

就你这份想法就值得点赞

xudaweia · 发表于 2024-2-22 21:22:50

看看...........

51ok · 发表于 2023-6-16 14:41:43

这个训练文档，文件格式是什么样的，是随便写?

王小鑫xxx · 发表于 2023-6-6 21:13:05

thank you very much!

Likrain · 发表于 2023-5-22 23:59:57

膜拜大佬，学习了

sn123zyc · 发表于 2023-5-15 14:21:28

感谢发布原创作品，精易因你更精彩！

叮小当 · 发表于 2023-4-24 01:29:40

fxhhxf1996 发表于 2023-4-23 14:35
黑月的模块求分享，网上找不到模块

压缩包里有

		自动登录	找回密码
密码			注册

[易源码分享] 【ChatGPT研究】自回归语言模型-RNN神经网络模型v2

评分

本帖被以下淘专辑推荐:

浏览过的版块