[simdjson] x [易语言] 目前最快的 JSON 解析

镇坛道德标杆 · 发表于 2019-3-3 15:22:30

本帖最后由镇坛道德标杆于 2019-3-3 19:33 编辑

之前发了个粗糙的版本, https://bbs.125.la/thread-14322774-1-1.html

今天更新一下, 解决之前贴子中提到的一些问题:

1. 封装了几个自定义的函数, 例如 move_to_root, array_get_length, array_move_to_index, 这样可以少调用一些 X64Call;

2. 简单实现了对于类似 [0].A.B[0].C 的路径的解析取值.

接下来说一下遇到的问题和一些体验:

1. 我构造的测试数据大小是大约是 96MB, 在我的机器上可以正常解析, 再大一些(例如 128MB)会崩溃, 崩溃位于 ParsedJson.allocateCapacity , 琢磨了下没琢磨明白 (温馨提示: 真要是这种大小级别了还是建议各位用 SAX 方式);

2. 除了上面这点, 还有个已知的比较隐蔽 BUG, 貌似是 print_ 这个函数的锅: 静态编译之后, 在 demo 中如果 print_ 递归打印了一个 Object 例如 [0], 再点击解析就会在 iterator_free 崩溃. 如果只是取值就不崩溃.

3. 这个库会拷贝数据, 在针对过长的数据的时候这不是好做法, 感觉这个库更像是科研性质, 和那些千锤百炼的老牌库相比, 目前可能只有速度占优势了;

4. 机器或者其它方面的限制, 我用易语言跑不出宣传文章中的千兆字节每秒, 不过几百 MB/s 还是有的;

5. 由于解析的时候它会拷贝数据, 我不清楚有没有可能会产生 64-bit 的内存地址, 暂时就是指针到文本当 32-bit 用, 但心里很没底, 希望 eWOW64Ext 作者有空可以帮忙看一下... @shier2817 谢谢!

6. 库用的是 10.0.17134.0 版本的 SDK /MT 编译的, 但已经无法支持 WindowXP, 低版本的 SDK 编译不过去, 对这些指令不熟悉所以没有去探究原因(也许就是不支持, 详情请翻阅 MSDN);

7. 关于编译模式: 用 MinSizeRel 生成的话, 会导致 double 取值异常, 具体原因未深究, 所以默认使用了 Release . 我将会在附件中附上三种编译模式生成的文件供各位研究: RelWithDebInfo, MinSizeRel, Release;

8. 我对于 WOW64Ext 方面的知识不了解, 所以无法保证代码的稳定性, 抛砖引玉, 所以如果你希望封装完整的模块和工具, 可以进群与我交流.

交流QQ群: 547525064

附件解压密码: 321

用到的模块:

1. 感谢 eWOW64Ext : https://bbs.125.la/thread-14322538-1-1.html

2. Jβec : https://bbs.125.la/thread-14069145-1-1.html

[new]simdjson.zip (890.98 KB, 下载次数: 564)

果心豆腐酱 · 发表于 2023-6-26 11:24:49

运行不了啊

八八就发 · 发表于 2023-4-29 00:27:44

支持一下了

指路仙人 · 发表于 2022-11-27 07:38:46

好喜欢你的头像，我借用一下用作玩游戏的头像。谢谢

i165 · 发表于 2022-10-16 15:57:23

群已经塞满了

aadada · 发表于 2022-8-20 16:58:04

现在不是有yyjson了嘛你这个如何

1678895471 · 发表于 2022-5-16 17:00:06

可以，速度很快

长得丑活得久 · 发表于 2021-7-27 18:35:46

嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻嘻

ywlin163 · 发表于 2021-3-11 10:14:18

支持开源~！感谢分享

ywlin163 · 发表于 2021-3-11 10:14:04

支持开源~！感谢分享

凉忆亦凉心 · 发表于 2021-1-6 00:52:14

谢谢大佬分享支持支持

		自动登录	找回密码
密码			注册

[易源码分享] [simdjson] x [易语言] 目前最快的 JSON 解析

评分

本帖被以下淘专辑推荐: