也谈 Python 与 Unicode

编译器/解释器对源代码中字符常量的处理方式

(以下内容针对 python2)

前面说的纯文本文件是不包含 meta 信息的, 几乎所有编程语言的源代码文件都是纯文本文件, .py 文件当然也不例外, 连 vim 这样的专业编辑器都没法知道源文件的编码格式, python 解释器肯定也是不知道的, 所以 python 也是选用了一种默认的编码方式来解释 .py 源文件, 与编辑器程序不同的是, python 默认认为源文件是 ascii 编码的, 因为程序代码一般都是英文字符嘛, 所以你如果写了这么一个 python 源文件:

					#!/usr/bin/env python
					a
					=
					'你好, 世界'
					print a
				

并保存为 utf8 格式, 然后执行, 会发生下面的错误:

					$ ls
					test.py
					$ python test.py
					File
					"test.py"
					, line
					3
					SyntaxError:
					Non-ASCII character
					'\xe4'
					in
					file test.py on line
					3
					, but no encoding declared; see
					http:
					/
					/python.org/dev
					/peps/pep
					-
					0263
					/
					for
					details
				

这就是因为 python 解释器按照 ascii 的编码方式解读源文件, 结果突然读到一个字节 xe4 发现这个字节并不在 ascii 范围内, 与就报错退出了. 这个过程和 vim 其实是类似的, 只不过 vim 不会报错退出, 而是 “将错就错”, 把乱码呈现给我们.

那么如何解决这个问题呢? 很简单, 上面错误信息里已经给出了, 让我们参考 pep0263 就好了. 看过 pep0263 之后我们就知道了, 原来 python 是采用了在源文件中写明文件格式的办法, 所以我们只要在 shell-bang 下面一行加上如下内容就行了:

					#!/usr/bin/env python
					# -*- coding: utf-8 -*-
					a
					=
					'你好, 世界'
					print a
				

然后再执行就能够正确输出 “你好, 世界” 了.

误区

经过上文, 我们应该知道要在程序源代码中使用 utf8 字符, 首先源文件顶部得有这么一行了: # -*- coding: utf-8 -* , 否则解释器直接报错.

然后看这么一个问题, 当我们写下这么一段程序时:

					#!/usr/bin/env python
					# -*- coding: utf-8 -*-
					a =
					'你好, 世界'
					b =
					u' => hello, world'
					print
					a + b
				

我们会得到这么一个错误:

					Traceback (most recent
					call
					last
					):
					File
					"test.py"
					, line
					6
					,
					in
					<
					module
					>
					print a + b
					UnicodeDecodeError:
					'ascii'
					codec can
					't decode byte 0xe4 in position 0: ordinal not in range(128)
				

这个错误是由于没有分清 “unicode 对象” 和 “包含 unicode 序列的 str 对象” 的区别导致的. 前面我们说了, 在 python 中, str 和 unicode 都是 basestring 的子类, str 对象就相当于 C 语言的字符串类型, unicode 则相当于 C 语言中的宽字符序列.

在上面的代码中, 虽然 a 的值是 ‘你好, 世界’, 但是 a 实际上是 str 对象, ‘你好, 世界’ 之所以能够显示出来, 是因为源文件格式是 utf8 而且编辑器和 X 服务程序也都支持 utf8 字符集. 但是变量 a 中存储的实际上是 ‘xe4xbdxa0xe5xa5xbd, xe4xb8x96xe7x95x8c’ (使用 a.encode(‘string_escape’) 或者 a.encode(‘hex_codec’) 方法查看).

由于 b 是 unicode 类型而 a 是 str 类型, 而 python 又是强类型, 所以上面的 a + b 的时候, 所以要先对 a 做一次 decode 目的是将其转化成 unicode 对象, 然后再将它和 b 相加. 然而对 str 类型 decode 实际上是没什么意义的, decode 时所选用的 encoding 默认就是 ‘ascii’ 或者是 sys.getdefaultencoding() 的返回值, 当然这个方法的返回值默认也是 ‘ascii’. 然而采用 ‘ascii’ 去 decode a 时, 自然就会因为 a 里面包含了 xe4 这样的非 ascii 字符而导致 decode 失败报错.

Python3 的进步

python2 时代对 unicode 的支持问题一直广为诟病, str , unicode , encode , decode 等概念也是十分混乱, 在 python3 中这些概念的清晰度有了很大的提升.

比如在 python3 中 str 不再相当于 C 语言中的 char * , 而是像 C 语言的宽字符类型或者 Java 的 String 类型那样, 本身就是支持宽字符的类型. 而且增加还增加了 bytes 类型, bytes 类型这下才是相当于 C 语言的 char * 类型. 同时取消了 str 类型的 decode 方法, 以及取消了 bytes 类型的 encode 方法.

因为 decode 就是讲字节流解析成对象, encode 就是讲对象编码成字节流, 所以对 bytes 进行 encode, 和对已经表示对象的 str 进行 decode, 都是没有意义的. pyton2 时代 str 类型作为字节流类型时, 存在 str.encode(), 以及 unicode.decode 这两个方法其实都是无意义的.

End.