再次推荐一下汇编_取文本是否为UTF8.速度快.用的人多

jr21066 · 发表于 2018-10-19 20:46:02

没有出现更好的办法前.这个可能还是很实用的了

子程序名	返回值类型	公开	备注
汇编_是否UTF8	逻辑型
参数名	类型	参考	可空	数组	备注
参_内容	字节集

置入代码 ({ 86, 87, 83, 139, 69, 8, 139, 24, 139, 75, 4, 139, 48, 131, 198, 8, 139, 67, 8, 37, 255, 255, 255, 0, 61, 191, 187, 239, 0, 116, 101, 172, 138, 224, 60, 127, 118, 88, 192, 232, 6, 60, 6, 117, 19, 172, 80, 192, 232, 6, 60, 2, 117, 74, 88, 192, 232, 7, 60, 0, 116, 70, 235, 62, 138, 196, 192, 232, 4, 60, 14, 117, 18, 172, 192, 232, 6, 60, 2, 117, 47, 172, 192, 232, 6, 60, 2, 117, 39, 235, 41, 138, 196, 192, 232, 3, 60, 30, 117, 28, 172, 192, 232, 6, 60, 2, 117, 20, 172, 192, 232, 6, 60, 2, 117, 12, 172, 192, 232, 6, 60, 2, 117, 4, 235, 6, 226, 159, 51, 192, 235, 3, 51, 192, 64, 91, 95, 94, 201, 194, 4, 0 })
返回 (假)
' push esi  正确的保护寄存器就是这样的,因为偷懒才用pushad这样的.唯一的好处就是编译后的字节少,这次因为要用eax带回结果,所以不能保护eax值
' push edi
' push ebx
' mov eax,[ebp+08h]
' mov ebx,[eax]
' mov ecx,[ebx+04h]
' mov esi,[eax]
' add esi,08h
' mov eax,[ebx+08h]
' and eax,00FFFFFFh
' cmp eax,00EFBBBFh  有的UTF-8文件是带文件头的,如果有文件头就不判断了.
' je Label1
' Label6:
' lodsb
' mov ah,al
' cmp al,7Fh  单字节小于127的都是ASCII码,是不用判断的
' jbe Label2
' shr al,06h
' cmp al,06h  判断位数及判定逻辑都在最后.感兴趣的同学可以参阅,是在网上搜索的.不是原创.只能解释这么多了.
' jne Label3
' lodsb
' push eax
' shr al,06h
' cmp al,02h
' jne Label4
' pop eax
' shr al,07h
' cmp al,00h
' je Label1
' jmp Label2
' Label3:
' mov al,ah
' shr al,04h
' cmp al,0Eh
' jne Label5
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' jmp Label1
' Label5:
' mov al,ah
' shr al,03h
' cmp al,1Eh
' jne Label4
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' jmp Label1
' Label2:
' loop Label6
' Label4:
' xor eax,eax  返回假
' jmp Label7
' Label1:
' xor eax,eax
' inc eax  返回真,据说清零加一也比直接给eax1要快很多....
' Label7:
' pop ebx
' pop edi
' pop esi
' leave
' retn 0004h  自己返回的要恢复堆栈,一个参数就是一个整数.占四个字节.
' 附编码说明及判定方法,来源于网络.非自创.
' 如果不符合utf-8的规范，认为是gb18030编码
' 如果有符合utf-8规范中的3字节或4字节编码的，认为是utf-8编码
' 如果有符合utf-8规范中的2字节编码的，但是不符合gb18030编码的，认为是utf-8编码
' 如果全部都是符合2字节的utf-8编码，同时也符合gb18030编码的，认为是gb18030编码
' Unicode符号范围       | UTF-8编码方式
' (十六进制)                | （二进制）
' ------------------------------+--------------------------------------------------------------
' 0000 0000-0000 007F | 0xxxxxxx
' 0000 0080-0000 07FF | 110xxxxx 10xxxxxx
' 0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
' 0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
' ---------------------------------------------------------------------------------------------

.版本 2<br />
<br />
.子程序 汇编_是否UTF8, 逻辑型, 公开<br />
.参数 参_内容, 字节集<br />
<br />
置入代码 ({ 86, 87, 83, 139, 69, 8, 139, 24, 139, 75, 4, 139, 48, 131, 198, 8, 139, 67, 8, 37, 255, 255, 255, 0, 61, 191, 187, 239, 0, 116, 101, 172, 138, 224, 60, 127, 118, 88, 192, 232, 6, 60, 6, 117, 19, 172, 80, 192, 232, 6, 60, 2, 117, 74, 88, 192, 232, 7, 60, 0, 116, 70, 235, 62, 138, 196, 192, 232, 4, 60, 14, 117, 18, 172, 192, 232, 6, 60, 2, 117, 47, 172, 192, 232, 6, 60, 2, 117, 39, 235, 41, 138, 196, 192, 232, 3, 60, 30, 117, 28, 172, 192, 232, 6, 60, 2, 117, 20, 172, 192, 232, 6, 60, 2, 117, 12, 172, 192, 232, 6, 60, 2, 117, 4, 235, 6, 226, 159, 51, 192, 235, 3, 51, 192, 64, 91, 95, 94, 201, 194, 4, 0 })<br />
返回 (假)<br />
' push esi  正确的保护寄存器就是这样的,因为偷懒才用pushad这样的.唯一的好处就是编译后的字节少,这次因为要用eax带回结果,所以不能保护eax值<br />
' push edi<br />
' push ebx<br />
' mov eax,[ebp+08h]<br />
' mov ebx,[eax]<br />
' mov ecx,[ebx+04h]<br />
' mov esi,[eax]<br />
' add esi,08h<br />
' mov eax,[ebx+08h]<br />
' and eax,00FFFFFFh<br />
' cmp eax,00EFBBBFh  有的UTF-8文件是带文件头的,如果有文件头就不判断了.<br />
' je Label1<br />
' Label6:<br />
' lodsb<br />
' mov ah,al<br />
' cmp al,7Fh  单字节小于127的都是ASCII码,是不用判断的<br />
' jbe Label2<br />
' shr al,06h<br />
' cmp al,06h  判断位数及判定逻辑都在最后.感兴趣的同学可以参阅,是在网上搜索的.不是原创.只能解释这么多了.<br />
' jne Label3<br />
' lodsb<br />
' push eax<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' pop eax<br />
' shr al,07h<br />
' cmp al,00h<br />
' je Label1<br />
' jmp Label2<br />
' Label3:<br />
' mov al,ah<br />
' shr al,04h<br />
' cmp al,0Eh<br />
' jne Label5<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' jmp Label1<br />
' Label5:<br />
' mov al,ah<br />
' shr al,03h<br />
' cmp al,1Eh<br />
' jne Label4<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' jmp Label1<br />
' Label2:<br />
' loop Label6<br />
' Label4:<br />
' xor eax,eax  返回假<br />
' jmp Label7<br />
' Label1:<br />
' xor eax,eax<br />
' inc eax  返回真,据说清零加一也比直接给eax1要快很多....<br />
' Label7:<br />
' pop ebx<br />
' pop edi<br />
' pop esi<br />
' leave<br />
' retn 0004h  自己返回的要恢复堆栈,一个参数就是一个整数.占四个字节.<br />
<br />
' 附编码说明及判定方法,来源于网络.非自创.<br />
' 如果不符合utf-8的规范，认为是gb18030编码<br />
' 如果有符合utf-8规范中的3字节或4字节编码的，认为是utf-8编码<br />
' 如果有符合utf-8规范中的2字节编码的，但是不符合gb18030编码的，认为是utf-8编码<br />
' 如果全部都是符合2字节的utf-8编码，同时也符合gb18030编码的，认为是gb18030编码<br />
' Unicode符号范围        |   UTF-8编码方式<br />
' (十六进制)                 |   （二进制）<br />
' ------------------------------+--------------------------------------------------------------<br />
' 0000 0000-0000 007F | 0xxxxxxx<br />
' 0000 0080-0000 07FF | 110xxxxx 10xxxxxx<br />
' 0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx<br />
' 0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx<br />
' ---------------------------------------------------------------------------------------------

jr21066 · 发表于 2018-10-20 07:21:01

hellohexiang 发表于 2018-10-19 23:22
多线程中会崩溃

没有在多线程中试.原来多线程里要保存所有寄存器才行...
已经修改了

置入代码 ({ 96, 139, 69, 8, 139, 24, 139, 75, 4, 139, 48, 131, 198, 8, 139, 67, 8, 37, 255, 255, 255, 0, 61, 191, 187, 239, 0, 116, 101, 172, 136, 196, 60, 127, 118, 88, 192, 232, 6, 60, 6, 117, 19, 172, 80, 192, 232, 6, 60, 2, 117, 74, 88, 192, 232, 7, 60, 0, 116, 70, 235, 62, 136, 224, 192, 232, 4, 60, 14, 117, 18, 172, 192, 232, 6, 60, 2, 117, 47, 172, 192, 232, 6, 60, 2, 117, 39, 235, 41, 136, 224, 192, 232, 3, 60, 30, 117, 28, 172, 192, 232, 6, 60, 2, 117, 20, 172, 192, 232, 6, 60, 2, 117, 12, 172, 192, 232, 6, 60, 2, 117, 4, 235, 6, 226, 159, 49, 192, 235, 3, 49, 192, 64, 97, 201, 194, 4, 0 })

jr21066 · 发表于 2018-10-20 09:30:48

今天的帖子发的好失败.回了这么多不说.还丢了参数.
这个.这个才是好的.

子程序名	返回值类型	公开	备注
汇编_是否UTF8	逻辑型
参数名	类型	参考	可空	数组	备注
参_内容	字节集

变量名	类型	静态	数组	备注
局_返回值	逻辑型

置入代码 ({ 96, 139, 69, 8, 139, 24, 139, 75, 4, 139, 48, 131, 198, 8, 139, 67, 8, 37, 255, 255, 255, 0, 61, 191, 187, 239, 0, 116, 101, 172, 136, 196, 60, 127, 118, 88, 192, 232, 6, 60, 6, 117, 19, 172, 80, 192, 232, 6, 60, 2, 117, 74, 88, 192, 232, 7, 60, 0, 116, 70, 235, 62, 136, 224, 192, 232, 4, 60, 14, 117, 18, 172, 192, 232, 6, 60, 2, 117, 47, 172, 192, 232, 6, 60, 2, 117, 39, 235, 41, 136, 224, 192, 232, 3, 60, 30, 117, 28, 172, 192, 232, 6, 60, 2, 117, 20, 172, 192, 232, 6, 60, 2, 117, 12, 172, 192, 232, 6, 60, 2, 117, 4, 235, 6, 226, 159, 49, 192, 235, 3, 49, 192, 64, 137, 69, 252, 97 })
返回 (局_返回值)
' push esi  正确的保护寄存器就是这样的,因为偷懒才用pushad这样的.唯一的好处就是编译后的字节少,这次因为要用eax带回结果,所以不能保护eax值
' push edi
' push ebx
' mov eax,[ebp+08h]
' mov ebx,[eax]
' mov ecx,[ebx+04h]
' mov esi,[eax]
' add esi,08h
' mov eax,[ebx+08h]
' and eax,00FFFFFFh
' cmp eax,00EFBBBFh  有的UTF-8文件是带文件头的,如果有文件头就不判断了.
' je Label1
' Label6:
' lodsb
' mov ah,al
' cmp al,7Fh  单字节小于127的都是ASCII码,是不用判断的
' jbe Label2
' shr al,06h
' cmp al,06h  判断位数及判定逻辑都在最后.感兴趣的同学可以参阅,是在网上搜索的.不是原创.只能解释这么多了.
' jne Label3
' lodsb
' push eax
' shr al,06h
' cmp al,02h
' jne Label4
' pop eax
' shr al,07h
' cmp al,00h
' je Label1
' jmp Label2
' Label3:
' mov al,ah
' shr al,04h
' cmp al,0Eh
' jne Label5
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' jmp Label1
' Label5:
' mov al,ah
' shr al,03h
' cmp al,1Eh
' jne Label4
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' lodsb
' shr al,06h
' cmp al,02h
' jne Label4
' jmp Label1
' Label2:
' loop Label6
' Label4:
' xor eax,eax  返回假
' jmp Label7
' Label1:
' xor eax,eax
' inc eax  返回真,据说清零加一也比直接给eax1要快很多....
' Label7:
' pop ebx
' pop edi
' pop esi
' leave
' retn 0004h  自己返回的要恢复堆栈,一个参数就是一个整数.占四个字节.
' 附编码说明及判定方法,来源于网络.非自创.
' 如果不符合utf-8的规范，认为是gb18030编码
' 如果有符合utf-8规范中的3字节或4字节编码的，认为是utf-8编码
' 如果有符合utf-8规范中的2字节编码的，但是不符合gb18030编码的，认为是utf-8编码
' 如果全部都是符合2字节的utf-8编码，同时也符合gb18030编码的，认为是gb18030编码
' Unicode符号范围       | UTF-8编码方式
' (十六进制)                | （二进制）
' ------------------------------+--------------------------------------------------------------
' 0000 0000-0000 007F | 0xxxxxxx
' 0000 0080-0000 07FF | 110xxxxx 10xxxxxx
' 0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx
' 0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx
' ---------------------------------------------------------------------------------------------

.版本 2<br />
<br />
.子程序 汇编_是否UTF8, 逻辑型, 公开<br />
.参数 参_内容, 字节集<br />
.局部变量 局_返回值, 逻辑型<br />
<br />
置入代码 ({ 96, 139, 69, 8, 139, 24, 139, 75, 4, 139, 48, 131, 198, 8, 139, 67, 8, 37, 255, 255, 255, 0, 61, 191, 187, 239, 0, 116, 101, 172, 136, 196, 60, 127, 118, 88, 192, 232, 6, 60, 6, 117, 19, 172, 80, 192, 232, 6, 60, 2, 117, 74, 88, 192, 232, 7, 60, 0, 116, 70, 235, 62, 136, 224, 192, 232, 4, 60, 14, 117, 18, 172, 192, 232, 6, 60, 2, 117, 47, 172, 192, 232, 6, 60, 2, 117, 39, 235, 41, 136, 224, 192, 232, 3, 60, 30, 117, 28, 172, 192, 232, 6, 60, 2, 117, 20, 172, 192, 232, 6, 60, 2, 117, 12, 172, 192, 232, 6, 60, 2, 117, 4, 235, 6, 226, 159, 49, 192, 235, 3, 49, 192, 64, 137, 69, 252, 97 })<br />
返回 (局_返回值)<br />
' push esi  正确的保护寄存器就是这样的,因为偷懒才用pushad这样的.唯一的好处就是编译后的字节少,这次因为要用eax带回结果,所以不能保护eax值<br />
' push edi<br />
' push ebx<br />
' mov eax,[ebp+08h]<br />
' mov ebx,[eax]<br />
' mov ecx,[ebx+04h]<br />
' mov esi,[eax]<br />
' add esi,08h<br />
' mov eax,[ebx+08h]<br />
' and eax,00FFFFFFh<br />
' cmp eax,00EFBBBFh  有的UTF-8文件是带文件头的,如果有文件头就不判断了.<br />
' je Label1<br />
' Label6:<br />
' lodsb<br />
' mov ah,al<br />
' cmp al,7Fh  单字节小于127的都是ASCII码,是不用判断的<br />
' jbe Label2<br />
' shr al,06h<br />
' cmp al,06h  判断位数及判定逻辑都在最后.感兴趣的同学可以参阅,是在网上搜索的.不是原创.只能解释这么多了.<br />
' jne Label3<br />
' lodsb<br />
' push eax<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' pop eax<br />
' shr al,07h<br />
' cmp al,00h<br />
' je Label1<br />
' jmp Label2<br />
' Label3:<br />
' mov al,ah<br />
' shr al,04h<br />
' cmp al,0Eh<br />
' jne Label5<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' jmp Label1<br />
' Label5:<br />
' mov al,ah<br />
' shr al,03h<br />
' cmp al,1Eh<br />
' jne Label4<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' lodsb<br />
' shr al,06h<br />
' cmp al,02h<br />
' jne Label4<br />
' jmp Label1<br />
' Label2:<br />
' loop Label6<br />
' Label4:<br />
' xor eax,eax  返回假<br />
' jmp Label7<br />
' Label1:<br />
' xor eax,eax<br />
' inc eax  返回真,据说清零加一也比直接给eax1要快很多....<br />
' Label7:<br />
' pop ebx<br />
' pop edi<br />
' pop esi<br />
' leave<br />
' retn 0004h  自己返回的要恢复堆栈,一个参数就是一个整数.占四个字节.<br />
' 附编码说明及判定方法,来源于网络.非自创.<br />
' 如果不符合utf-8的规范，认为是gb18030编码<br />
' 如果有符合utf-8规范中的3字节或4字节编码的，认为是utf-8编码<br />
' 如果有符合utf-8规范中的2字节编码的，但是不符合gb18030编码的，认为是utf-8编码<br />
' 如果全部都是符合2字节的utf-8编码，同时也符合gb18030编码的，认为是gb18030编码<br />
' Unicode符号范围        |   UTF-8编码方式<br />
' (十六进制)                 |   （二进制）<br />
' ------------------------------+--------------------------------------------------------------<br />
' 0000 0000-0000 007F | 0xxxxxxx<br />
' 0000 0080-0000 07FF | 110xxxxx 10xxxxxx<br />
' 0000 0800-0000 FFFF | 1110xxxx 10xxxxxx 10xxxxxx<br />
' 0001 0000-0010 FFFF | 11110xxx 10xxxxxx 10xxxxxx 10xxxxxx<br />
' ---------------------------------------------------------------------------------------------

simon99173 · 发表于 2023-11-10 22:05:43

感谢汇编大佬分享,经反复测试非常可靠,只有18楼的这个最稳定,感谢感谢!!!

2442295093 · 发表于 2020-3-3 00:14:50

如果传递进口字节集软件会崩溃，找了好多天才找到这个原因

120853530 · 发表于 2018-11-21 13:54:59

#在这里快速回复#学习学习，谢谢作者无私

徐喵喵推广 · 发表于 2018-10-26 15:45:33

学习了学习了

jr21066 · 发表于 2018-10-25 10:52:26

飞翔软件开发发表于 2018-10-25 10:06
我低哥，到底哪个是修复好的，没问题的？我都蒙蔽了~！

网有问题呀.那天
18 楼.是18楼.

飞翔软件开发 · 发表于 2018-10-25 10:06:23

我低哥，到底哪个是修复好的，没问题的？

我都蒙蔽了~！

易推 · 发表于 2018-10-25 09:58:46

6666666666666666666666666666666666666666666666666666666666666

feifeifeila · 发表于 2018-10-21 23:18:18

汇编好厉害呀

		自动登录	找回密码
密码			注册

[已回应] 再次推荐一下汇编_取文本是否为UTF8.速度快.用的人多

评分

本帖被以下淘专辑推荐:

点评

评分