如何自动检测一个文件的编码是utf8还是utf8-无BOM还是ansi？

決不放棄

如何自动检测一个文件的编码是utf8还是utf8-无BOM还是ansi？
只检测这3中编码就行，找不到思路.

小牛大大

決不放棄 发表于 2017-7-23 17:21
notepad++是怎么判断的？

notepad++也是闷的，没头的就看做是ansi

蘇中二少

那就先用这3种解码
然后判断

xiaoerzi

要是网页的话 他会返回协yi头 告诉浏览器是什么编码  浏览器就会自动解码         

he953820195

先用三种都解码，
数据保存下来，
在，寻找文本在里面多匹配一些
文字或者数字不久可以了吗
解码错误不都是乱码的
就找不出来文字的
e就是不知到这么麻烦  ，会不会占用太多资源

何必太在意

把数据先到字节集，然后取字节集前面三个，再到文本，有特证码的，比如UTF-8的是\xEF\xBB\xBF

小牛大大

ANSI                {49,50,51,49,50,51,49,50,51,49,50,51,13,10,196,227,186,195,196,227,186,195,196,227,186,195}
UTF-8无bom        {49,50,51,49,50,51,49,50,51,49,50,51,13,10,228,189,160,229,165,189,228,189,160,229,165,189,228,189,160,229,165,189}
UTF-8                {239,187,191,49,50,51,49,50,51,49,50,51,49,50,51,13,10,228,189,160,229,165,189,228,189,160,229,165,189,228,189,160,229,165,189}
原文                123123123你好你好你好

从上面对比得出utf-8 与utf-8的区别只有开头的{239,187,191}.  ANSI与utf-8数字是没有区别的  但中文就不一样了 ansi中{196,227}就代表一个汉字  而utf-8中{228,189,160}代表一个汉字

決不放棄

蘇中二少 发表于 2017-7-22 21:40
那就先用这3种解码
然后判断

如何判断？文件内容是完全不确定的

決不放棄

小牛大大 发表于 2017-7-22 22:24
ANSI                {49,50,51,49,50,51,49,50,51,49,50,51,13,10,196,227,186,195,196,227,186,195,196,227,186,195}
U ...

那在文件内容完全不确定的情况下，怎么判断是ANSI还是utf8无bom？

決不放棄

he953820195 发表于 2017-7-22 21:44
先用三种都解码，
数据保存下来，
在，寻找文本在里面多匹配一些

文件内容是完全不确定的