理解和解决Python2中的编码问题

03/31/2019 Python编程 0条评论 阅读次数 85

前言

经常处理一些文本,处理英文语料没什么问题,但是到了中文这儿就让人抓狂了,稍微不注意就会窜出各种乱码错误,平时出现几个小错误试试调调也能过去,但是对于编码这个问题还是畏惧,这几天好好整理了一下python的编码问题,感谢万能的Google和万能的StackOverflow,算是解决了我当前对编码问题的一些困惑

编码的前世今生

从unicode说去

在计算机中,所有的东西都是以字节形式储存的,但是字节对于我们来说是没有具体意义的,因此我们需要把二进制字节转换成人们能够理解的字符。最早的是使用ASCII码将字符对应到二进制字节上,如下图

给定一个ASCII码65(十六进制41),我们知道它对应的是字符A,但是ASCII码仅仅能够表示有限的字符,于是ISO Latin1 或者8859-1,比ASCII码多拓展了96个字符,之后也有一些字符集进行了更多的拓展,但是世界范围内的字符是很多的,东亚的中日韩还有俄文等字符也需要对应的编码方式,这个时候Unicode的编码方式出来了,Unicode的想法是统一天下编码方式,Unicode涵盖了上数以千计的字符码点方法,而且Unicode留有还有很多未码点空间,所以Unicode能完全满足现在和之后若干年的人类编码需求。Unicode是一个以’U+’字符开头,后面跟着4位或者5位或者6位十六进制数字,下图展示了6种字符的Unicode码点方式:

那么接下来的问题就是如何把Unicode码点映射到二进制字节上,常用的码点映射方式有UTF-16、UTF-32,UTF-8。下图是UTF-8映射的一个实例:

可以看出,单字节的ASCII码字符仍然映射的是单字节,而且ASCII编码方式是UTF-8的子集。

理解python2的encode和decode

python的str和Unicode类型

python2的编码解码方式和python3不一样,这里暂且先表述python2 中的encode和decode。
在python2中,有两种不同的字符串数据类型,一种是 “str”对象,存储着字节,如果在字符串前使用一个’u’的前缀,表示的是这个字符的Unicode码点:

其中第一个是“str”另一个是“unicode”,这是不一样的,这点需要尤其注意,这两种都可以叫string,但是有时不一样的东西 这点会在之后介绍两者的区别。

python的encode和decode

首先明白一件事情,之前说过Unicode将所有的字符都对应上了相应的码点,而UTF-8或者ASCII码不过是对应从Unicode到字节的映射方式,既然有映射方式,那么就有映射方向。我们把从Unicode到字节码(byte string)称之为encode,把从字节码(byte string)到Unicode码称之为decode
看个小例子:

这个例子中,s表示的是byte string,其长度有6个字节,将该byte string decode到s_decode,显然,s_decode是一个unicode字符串,其长度变成了2,也就是两个Unicode码点,然后我将s_decode这个Unicode string再次encode到byte string,可以看到这个字节的十六进制编码方式。

python2 的encode和decode errors解析

python2经常出现的错误就是,decode和encode的error问题,来具体看一下。
接着上面的例子:

将s_decode这个Unicode码点使用ascii码的编码方式映射到字节码的时候,出现了问题,问题报错也很显然,ascii码不能讲这个Unicode码点映射到字节上,造成这种原因很简单,ascii码并没有对汉字进行编码,所有这个肯定是有问题的

接着看下面的例子:

将s 使用ascii编码方式,将其代表的字节码decode到Unicode码,出现了问题,问题也很显然,ASCII码不包含汉字的映射关系

python2 的encode和decode errors处理

既然有错误,自然有解决的办法,看下面的例子

这个例子中,是上一节的encode错误,我们在其后面的参数加上了’replace’这个选项,然后就没有报错,取而代之的是问号

这里例子中,参数改成了’ignore’,这个的意思是忽略编码错误,所以结果是个空字符
这些处理方法同样适用于decode 的错误解决

当然这并不是最好的解决方法,这些只是防止一些不能编码的问题出现造成程序的exception,所以在编写程序的时候,特别是使用python2处理中文的时候,还是得小心翼翼的写,说多了都是泪。

python2的潜在的编码转换

Python2默认的编码解码方式是ascii码这点需要牢记于心,接下来看几个潜在的编码转换方式:

上面这个例子中,s_decode是Unicode字符,ss是字节字符(byte string),两者相加最后的结果仍然是Unicode字符,这个例子中,处理过程其实是这样的:首先将ss按照ascii码decode到unicode字符,然后再将两个Unicode字符拼起来。之所以是按照ascii方式decode,就是因为python2默认的编码方式是ascii。这就造成了一些问题,我们看下面例子:

很显然,在先把s这个byte_string转换成Unicode的过程中,系统使用了ascii编码来decode,然而s这个字节码并不能按照ascii编码来decode,原因也是因为s表示的是汉字的字节码。

有没有好的解决方案呢,当然有:

这个代码将Python的编码默认编码方式由ascii码换成了utf-8,编码,因此s_decode+s这个就不像上面一样报错了。

另外说一点,print可以直接将unicode和byte string打印出来,这点我还有点疑惑

理解python2的文件读写编码问题

上面说了这么多,基本上都是在命令行里进行的,但是平时我们写的最多的还是文件的读写,而文件的读写中文的乱码问题也是让python2变得很让人沮丧的一件事,好好写程序的心情全让这些乱七八糟玩意儿破坏了,有时候也想,如果全世界都是用中文或者英文一种语言多好,没有该死的编码问题。
吐槽就到这儿,还得看看具体的问题:

Python程序开头写#coding=utf-8的作用

Python文件编译最终还是要转换成字节码,Python程序开头写#coding=utf-8的作用其实就是把这个Python程序文件按照utf-8编码的方式映射到字节码,如果不加这个开头,程序里面的中文会按照Python默认的ascii码方式encode,这个肯定是要报错的,大家都知道,如果程序里写了中文但是没有加这个开头,那么pycharm会在一开始就报错,也是这个道理。加了这个开头之后,程序里面的字符都将会使用utf-8编码的方式被映射到字节码,也就是上一个大节里面的byte string,值得注意的是,程序中的汉字将会以utf-8的形式编码成为字节码,因此如果需要将其decode到Unicode字符,也是需要使用utf-8方式decode。
还有一个问题是,写了这个文件之后,Python的系统默认编码方式有没有变?
当然没有,在程序中,它将还是会使用ascii码来encode和decode,举个例子:
首先创建个test.py

该文件内容为:

我们执行该文件:

会发现,仍然出现了这个问题,所以说这个开头并没有改变Python的系统编码方式,如果想改变,还是按照之前说的,加上sys.setdefaultencoding()这个方法。
将test.py的内容改为:

执行结果为:

由此可见Python默认仍然是使用ascii码方式来编码解码的

Python2读文件的编码问题

先来看Python2的读文件的问题,英文就不说了,怎么弄都是对的,主要说说中文文件的读写。
创建一个文件test.txt

内容为:

我们使用最简单的读文件方式:

显然f.read()读出来的是字节码,然后和上文一样,这个结果都能print.
下面换一种方法读文件:

上面这段代码使用了codesc这个包,并给出了编码方式为utf-8,注意python2的open()方法里面没有encoding这个参数,python3才有,千万不要搞混了。可以看出,这次f.read()读出的是Unicode码。这两种不同的形式可以会在后面有不用的结果。

首先看下使用open遇到的问题
看下面的例子:
创建一个test.py文件:

执行得到:

错误原因当然很明显。还是ascii编码问题。

然后看使用codecs遇到的问题:
修改test.py为:

执行test.py文件:

遇到的问题来了,原因是因为split()方法中的这个’国’是从Unicode码经过encode(‘utf-8’)得来的字节码,而s读的是Unicode码,自然这个会报错,修改test.py为:

执行结果为:

这次执行成功!

由此可见在文件读写过程中,时刻要保持高度警惕,清醒的知道什么是byte string 什么又是Unicode类型,这点在编写程序的时候要牢记在心。

Python2写文件的编码问题

和上面对应的,使用f=open()这个方法打开待写文件时,使用f.write()或者f.writelines()切记把文本encode转换成字节形式,使用codecs.open()这个方法打开文件,codesc.write()需要写入的是unicode字符。

其他

今天碰到个问题,我觉得可以写下,就是Python2将list中的unicode转换成中文显示,方法如下,感谢作者muge:的解答

结语

今天系统梳理了一下python2那坑爹的编码问题,吃了多次亏也算是久病成医了,其实关键就是一点铭记于心,Python2的字符串有两种类型:byte string 和unicode string,这才是解决python2的编码问题的关键所在。于北京,25/2/2017

发表评论