开启辅助访问 切换到宽版

精易论坛

 找回密码
 注册

QQ登录

只需一步,快速开始

用微信号发送消息登录论坛

新人指南 邀请好友注册 - 我关注人的新帖 教你赚取精币 - 每日签到


求职/招聘- 论坛接单- 开发者大厅

论坛版规 总版规 - 建议/投诉 - 应聘版主 - 精华帖总集 积分说明 - 禁言标准 - 有奖举报

查看: 30630|回复: 23
收起左侧

[C#源码] 【海量数据处理工具V1.6】挑战性能极限1亿数据处理

[复制链接]
结帖率:50% (3/6)
发表于 2016-6-22 00:56:47 | 显示全部楼层 |阅读模式   广东省*
本帖最后由 宇智波·佐助 于 2016-6-22 09:48 编辑

不接受小白提问! 实在是没空啊...

这个软件是之前的一位客户定制...好东西不想私藏着..  原客户如果不想公布可联系我收回此贴

QQ截图20160621232015.jpg QQ截图20160621232024.jpg QQ截图20160621232015.jpg
有没有吹牛B? 试了才知道. 吹牛B客户怎么会验收呢?



  测试结果:7000W 用了30分钟左右(非去重复,去重复可能更快).两次1亿2000W 用了多久..忘记了..我现在也没哪么多数据测了

  关于速度问题,这里声明下:  有的小白电脑硬盘太慢,软件是从文件中一行行读到内存中算的,固态硬盘最少会快一倍, 所以你大数据处理最少得有个8G以上内存,,软件不占CPU 但占内存..


吐槽:精易论坛天天302 500  搞啥鬼
链接: http://pan.baidu.com/s/1eS6XwyQ 密码: yc86下载:http://urlxf.qq.com/?JbE7Jbq





  关于原理: 只能告诉你几个关键词:分区,分块,比对...判断文件大行.计算时间..要不要分块..要不要一次性读完..  这些我就说了


关于开源..不行


关于下载..fuk 精易上传302啊. 只能百度网盘了




点评

文本处理功能较多,效率测试后才知道   四川省成都市  发表于 2016-6-22 01:13

签到天数: 1 天

发表于 2024-2-17 20:57:22 | 显示全部楼层   欧洲地区
嗯还是比较可以的,当前时间.net 8 的速度的话最快,单位可以缩小到秒
回复 支持 反对

使用道具 举报

结帖率:0% (0/5)

签到天数: 3 天

发表于 2024-1-16 11:51:39 | 显示全部楼层   河南省焦作市
下载了不能运行
回复 支持 反对

使用道具 举报

结帖率:36% (4/11)
发表于 2022-2-24 10:57:34 | 显示全部楼层   广西壮族自治区南宁市
66666666666666666666666666666666666666
回复 支持 反对

使用道具 举报

结帖率:36% (4/11)
发表于 2022-2-24 10:57:15 | 显示全部楼层   广西壮族自治区南宁市
666666666666666666666666666666666666666
回复 支持 反对

使用道具 举报

结帖率:36% (4/11)
发表于 2022-2-24 10:56:53 | 显示全部楼层   广西壮族自治区南宁市
66666666666666666666666666666666666666
回复 支持 反对

使用道具 举报

结帖率:36% (4/11)
发表于 2022-2-24 10:56:38 | 显示全部楼层   广西壮族自治区南宁市
66666666666666666666666666666666666
回复 支持 反对

使用道具 举报

结帖率:36% (4/11)
发表于 2022-2-24 10:56:24 | 显示全部楼层   广西壮族自治区南宁市
666666666666666666666666666666666666
回复 支持 反对

使用道具 举报

结帖率:36% (4/11)
发表于 2022-2-24 10:55:26 | 显示全部楼层   广西壮族自治区南宁市
66666666666666666666666666666666
回复 支持 反对

使用道具 举报

结帖率:50% (3/6)
 楼主| 发表于 2017-4-16 14:13:42 | 显示全部楼层   四川省泸州市
whx0910 发表于 2017-4-16 13:43
没B用 我又个去重复的 1亿数据 10秒搞定

你牛逼,你能把一个1亿的数据十秒导入,我花10W给你买,
回复 支持 反对

使用道具 举报

您需要登录后才可以回帖 登录 | 注册

本版积分规则 致发广告者

发布主题 收藏帖子 返回列表

sitemap| 易语言源码| 易语言教程| 易语言论坛| 易语言模块| 手机版| 广告投放| 精易论坛
拒绝任何人以任何形式在本论坛发表与中华人民共和国法律相抵触的言论,本站内容均为会员发表,并不代表精易立场!
论坛帖子内容仅用于技术交流学习和研究的目的,严禁用于非法目的,否则造成一切后果自负!如帖子内容侵害到你的权益,请联系我们!
防范网络诈骗,远离网络犯罪 违法和不良信息举报电话0663-3422125,QQ: 793400750,邮箱:wp@125.la
Powered by Discuz! X3.4 揭阳市揭东区精易科技有限公司 ( 粤ICP备12094385号-1) 粤公网安备 44522102000125 增值电信业务经营许可证 粤B2-20192173

快速回复 返回顶部 返回列表