多线程网页访问内存占用问题

镜之空 · 发表于 2021-8-9 12:19:36

一个老问题了
用鱼刺多线程的线程池ex
搞网页访问，发现内存占用越来越多，看网上说是内存泄露
就换了curl，发现curl也会有这个问题，是不是没有释放内存或者其它？
已经排除多线程问题，因为屏蔽网页访问内存占用就很稳定

问题:
1.是我写curl没有释放内存吗，如果是可以给一个推荐的已经封装好的curl模块吗？
2.如果没有，可否推荐一个能正常释放内存的网页访问?
（目前已经测试:网页访问对象，网页访问S，网页访问，CURL均有此类问题）

MIKAZE3 · 发表于 2021-8-9 12:19:37

尝试使用内存池去管理内存占用，多线程访问占用内存是肯定的，鱼刺的线程池模块不是有个内存_整理（）指令吗？尝试使用这个指令试试，也可以试试限制线程数。

850536360 · 发表于 2021-8-9 12:33:41

为什么不找找自己的问题

镜之空 · 发表于 2021-8-9 12:36:13

850536360 发表于 2021-8-9 12:33
为什么不找找自己的问题

找过了啊，各种排查，包括多线程等等各种东西，最终就是锁定在网页访问上，甚至邀请很多朋友一起调试都是这个问题

北冥 · 发表于 2021-8-9 12:36:25

为什么不找找自己的问题

夜的静night · 发表于 2021-8-9 12:37:55

网页访问对象多线程没有发现泄露可能是线程过多导致导致

镜之空 · 发表于 2021-8-9 12:40:24

夜的静night 发表于 2021-8-9 12:37
网页访问对象多线程没有发现泄露可能是线程过多导致导致

调试过，屏蔽多线程中的网页访问，就发现内存占用稳定了，想不通啊...

遗失的眼泪 · 发表于 2021-8-9 13:21:42

你获取到的网页内容是保存到全局变量里？用那个鱼刺多线程模块不可能出现内存增加的说法，毕竟那个框架完善度很高了

镜之空 · 发表于 2021-8-9 13:24:28

遗失的眼泪发表于 2021-8-9 13:21
你获取到的网页内容是保存到全局变量里？用那个鱼刺多线程模块不可能出现内存增加的说法，毕竟那个框架完 ...

对啊，所以说是网页访问问题，我内容是保存在局部变量里的，最近被这个问题折腾的
软件天天崩溃，都提示内存不足

		自动登录	找回密码
密码			注册

[已解决] 多线程网页访问内存占用问题

最佳答案

评分

点评