python实现unicode转中文及转换默认编码的方法
本文实例讲述了python实现unicode转中文及转换默认编码的方法。分享给大家供大家参考,具体如下:
一、在爬虫抓取网页信息时常需要将类似"\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8"转换为中文,实际上这是unicode的中文编码。可用以下方法转换:
1、
>>>s=u'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8' >>>prints 人生苦短,py是岸
2、
>>>s=r'\u4eba\u751f\u82e6\u77ed\uff0cpy\u662f\u5cb8' >>>s=s.decode('unicode_escape') >>>prints 人生苦短,py是岸
二、另外,在python2的字符编码问题时常会遇到“UnicodeEncodeError:'ascii'codeccan'tencodecharactersinposition0-5:ordinalnotinrange(128)”的编码错误。
而用以下方法通常可以解决:
importsys reload(sys) sys.setdefaultencoding('utf-8')
此方法是将Python2的默认编码ASCII改为utf-8。但此方法不是一劳永逸的,可能会使一些代码的行为变得怪异。
关于sys.setdefaultencoding('utf-8')的补充:
sys.setdefaultencoding('utf-8')会导致的两个大问题
简单来说这么做将会使得一些代码行为变得怪异,而这怪异还不好修复,以一个不可见的bug存在着。下面我们举两个例子。
1.编码错误
importchardet defprint_string(string): try: print(u"%s"%string) exceptUnicodeError: printu"%s"%unicode(byte_string,encoding=chardet.detect(string)['encoding']) print_string(u"þ".encode("latin-1")) importsys reload(sys) sys.setdefaultencoding('utf-8') print(key_in_dict('þ'))
输出:
$~þ $~þ
在上面的代码中,默认的ascii编码无法解码,þlatin-1编码hex表示是c3be,显然是超出了只有128个字符的ascii码集的,引发UnicodeError异常,进入异常处理。异常处理则会根据编码探测,用最可能的编码来解码,会比较靠谱地输出þ。
而一旦我们将defaultencoding设置为utf-8,因为utf-8的字符范围是完全覆盖latin-1,因此,会直接使用utf-8进行解码。c3be在utf-8中,是þ。于是我们打印出了完全不同的字符。
可能你们会说我们不会写这样的代码。如果我们写了也会做修正。但如果是第三方库这么写了呢?项目依赖的第三方库就这么bug了。如果你不依赖第三方库,那么下面这个bug,还是逃不过。
2.dictionray行为异常
假设我们要从一个dictionary里查找一个key是否存在,通常来说,有两种可行方法。
#-*-coding:utf-8-*- d={1:2,'1':'2','你好':'hello'} defkey_in_dict(key) ifkeyind: returnTrue returnFalse defkey_found_in_dict(key): for_keyind: if_key==key: returnTrue returnFalse
我们对比下改变系统默认编码前后这俩函数的输出有什么不同。
#-*-coding:utf-8-*- print(key_in_dict('你好')) print(key_found_dict('你好')) print(key_in_dict(u'你好')) print(key_found_in_dict(u'你好')) print('------utf-8------') importsys reload(sys) sys.setdefaultencoding('utf-8') print(key_in_dict('你好')) print(key_found_dict('你好')) print(key_in_dict(u'你好')) print(key_found_in_dict(u'你好'))
输出:
$~True $~True $~False $~False $~------utf-8------ $~True $~True $~False $~True
可以看到,当默认编码改了之后,两个函数的输出不再一致。
dict的in操作符将键做哈希,并比较哈希值判断是否相等。对于ascii集合内的字符来说,不管是字节字符类型还是还是unicode类型,其哈希值是一样的,如u'1'in{'1':1}会返回True,而超出ascii码集的字符,如上例中的'你好',它的字节字符类型的哈希与unicode类型的哈希是不一样的。
而==操作符则是做了一次转换,将字节字符(bytestring,上面的'你好')转换成unicode(u'你好')类型,然后对转换后的结果做比较。在ascii系统默认编码中,'你好'转换成Unicode会产生Warning:UnicodeWarning:UnicodeequalcomparisonfailedtoconvertbothargumentstoUnicode-interpretingthemasbeingunequal,因为超出码集无法转换,系统会默认其不相等。当系统编码被我们手动改为utf-8后,这个禁忌则被解除,'你好'能够顺利被转换成unicode,最后的结果就是,in和==行为不再一致。
问题的根源:Python2中的string
Python为了让其语法看上去简洁好用,做了很多tricky的事情,混淆bytestring和textstring就是其中一例。
在Python里,有三大类string类型,unicode(textstring),str(bytestring,二进制数据),basestring,是前两者的父类。
其实,在语言设计领域,一串字节(sequencesofbytes)是否应该当做字符串(string)一直是存在争议的。我们熟知的Java和C#投了反对票,而Python则站在了支持者的阵营里。其实我们在很多情况下,给文本做的操作,比如正则匹配、字符替换等,对于字节来说是用不着的。而Python认为字节就是字符,所以他们俩的操作集合是一致的。
然后进一步的,Python会在必要的情况下,尝试对字节做自动类型转换,例如,在上文中的==,或者字节和文本拼接时。如果没有一个编码(encoding),两个不同类型之间的转换是无法进行的,于是,Python需要一个默认编码。在Python2诞生的年代,ASCII是最流行的(可以这么说吧),于是Python2选择了ASCII。然而,众所周知,在需要需要转换的场景,ASCII都是没用的(128个字符,够什么吃)。
在历经这么多年吐槽后,Python3终于学乖了。默认编码是Unicode,这也就意味着,做所有需要转换的场合,都能正确并成功的转换。
最佳实践
说了这么多,如果不迁移到Python3,能怎么做呢?
有这么几个建议:
所有textstring都应该是unicode类型,而不是str,如果你在操作text,而类型却是str,那就是在制造bug。
在需要转换的时候,显式转换。从字节解码成文本,用var.decode(encoding),从文本编码成字节,用var.encode(encoding)。
从外部读取数据时,默认它是字节,然后decode成需要的文本;同样的,当需要向外部发送文本时,encode成字节再发送。
PS:这里再为大家提供几款Unicode编码转换操作相关工具供大家参考使用:
在线