【原创】两种文件分割方法（无乱码）

zl2017 · 发表于 2018-5-27 14:54:52

最近在弄文本处理工具
昨天晚上在研究文件分割技术，我知道至少有两种方法
第一种方法：按行分割这个写起来很简单，
但是缺点是分割的文本缺乏连续性，而且分割后的大小偏差很大
第二种方法：按字节集分割，开始我以为也很简单结果分割出来，有些就出现乱码
参考搜索了论坛和其他网上开源的资源都是简单分割没有考虑乱码问题
开始我是考虑在分割点附近取6字节，组合后判断该处字符是否为汉字，结果仍然不稳定时不时出现乱码
上午突然想到一个巧妙的方法就是倒取最后出现的单字节字符（0-127）这样分割既能保证连续性，又能防止乱码
这里把两种方法分享出来，供大家参考一下

test文件分割.zip (22.13 KB, 下载次数: 151)

zl2017 · 发表于 2018-5-27 17:25:03

.版本 2

.如果真 (倒取位置 (b [i]) ≠ 0)
b [i] ＝取字节集左边 (a, 倒取位置 (b [i]))
.如果真结束

加个判断这样适用范围更大

反客为主 · 发表于 2018-5-27 18:05:21

占前排，，，，

xshn · 发表于 2018-5-27 19:36:47

感谢分享，很实用的

maxthon · 发表于 2018-5-27 20:13:27

哈哈，支持一下了

wlzyk118 · 发表于 2018-5-27 22:15:03

感谢分享

蒲公半岛 · 发表于 2018-5-30 15:36:04

学习一下学习一下

eworm · 发表于 2018-6-7 15:34:33

大文本分割不了

HeraLess · 发表于 2018-6-27 09:56:43

学习了，学习分享

178826559 · 发表于 2018-9-19 01:49:24

其实，我想说的是有一个命令叫到全角，然后取字符分割。鄙人陋见让楼主见笑了。

		自动登录	找回密码
密码			注册

[易语言纯源码] 【原创】两种文件分割方法（无乱码）

点评

评分