Python实现全角半角字符互转的方法

2024-03-08 18:39:03 54

前言

相信对于每一个编程人员来说，在文本处理的时候，经常会遇到全角半角不一致的问题。于是需要程序能够快速的在两者之间互转。由于全角半角本身存在着映射关系，所以处理起来并不复杂。

具体规则为：

全角字符unicode编码从65281~65374（十六进制0xFF01~0xFF5E）

半角字符unicode编码从33~126（十六进制0x21~0x7E）

空格比较特殊，全角为12288（0x3000），半角为32（0x20）

而且除空格外，全角/半角按unicode编码排序在顺序上是对应的（半角+65248=全角）

所以可以直接通过用+-法来处理非空格数据，对空格单独处理。

用到的一些函数

chr()函数用一个范围在range（256）内的（就是0～255）整数作参数，返回一个对应的字符。

unichr()跟它一样，只不过返回的是Unicode字符。

ord()函数是chr()函数或unichr()函数的配对函数，它以一个字符（长度为1的字符串）作为参数，返回对应的ASCII数值，或者Unicode数值。

先来打印下映射关系：

foriinxrange(33,127):
printi,chr(i),i+65248,unichr(i+65248)

返回结果

把全角转成半角：

deffull2half(s):
n=[]
s=s.decode('utf-8')
forcharins:
num=ord(char)
ifnum==0x3000:
num=32
elif0xFF01<=num<=0xFF5E:
num-=0xfee0
num=unichr(num)
n.append(num)
return''.join(n)

把半角转成全角：

defhalf2full(s):
n=[]
s=s.decode('utf-8')
forcharins:
num=char(char)
ifnum==320:
num=0x3000
elif0x21<=num<=0x7E:
num+=0xfee0
num=unichr(num)
n.append(num)
return''.join(n)

上面的实现方式非常的简单，但是现实情况下可能并不会把所以的字符统一进行转换，比如中文文章中我们期望将所有出现的字母和数字全部转化成半角，而常见标点符号统一使用全角，上面的转化就不适合了。

解决方案，是自定义词典。

#!/usr/bin/envpython
#-*-coding:utf-8-*-

FH_SPACE=FHS=((u"",u""),)
FH_NUM=FHN=(
(u"０",u"0"),(u"１",u"1"),(u"２",u"2"),(u"３",u"3"),(u"４",u"4"),
(u"５",u"5"),(u"６",u"6"),(u"７",u"7"),(u"８",u"8"),(u"９",u"9"),
)
FH_ALPHA=FHA=(
(u"ａ",u"a"),(u"ｂ",u"b"),(u"ｃ",u"c"),(u"ｄ",u"d"),(u"ｅ",u"e"),
(u"ｆ",u"f"),(u"ｇ",u"g"),(u"ｈ",u"h"),(u"ｉ",u"i"),(u"ｊ",u"j"),
(u"ｋ",u"k"),(u"ｌ",u"l"),(u"ｍ",u"m"),(u"ｎ",u"n"),(u"ｏ",u"o"),
(u"ｐ",u"p"),(u"ｑ",u"q"),(u"ｒ",u"r"),(u"ｓ",u"s"),(u"ｔ",u"t"),
(u"ｕ",u"u"),(u"ｖ",u"v"),(u"ｗ",u"w"),(u"ｘ",u"x"),(u"ｙ",u"y"),(u"ｚ",u"z"),
(u"Ａ",u"A"),(u"Ｂ",u"B"),(u"Ｃ",u"C"),(u"Ｄ",u"D"),(u"Ｅ",u"E"),
(u"Ｆ",u"F"),(u"Ｇ",u"G"),(u"Ｈ",u"H"),(u"Ｉ",u"I"),(u"Ｊ",u"J"),
(u"Ｋ",u"K"),(u"Ｌ",u"L"),(u"Ｍ",u"M"),(u"Ｎ",u"N"),(u"Ｏ",u"O"),
(u"Ｐ",u"P"),(u"Ｑ",u"Q"),(u"Ｒ",u"R"),(u"Ｓ",u"S"),(u"Ｔ",u"T"),
(u"Ｕ",u"U"),(u"Ｖ",u"V"),(u"Ｗ",u"W"),(u"Ｘ",u"X"),(u"Ｙ",u"Y"),(u"Ｚ",u"Z"),
)
FH_PUNCTUATION=FHP=(
(u"．",u"."),(u"，",u","),(u"！",u"!"),(u"？",u"?"),(u"”",u'"'),
(u"'",u"'"),(u"‘",u"`"),(u"＠",u"@"),(u"＿",u"_"),(u"：",u":"),
(u"；",u";"),(u"＃",u"#"),(u"＄",u"$"),(u"％",u"%"),(u"＆",u"&"),
(u"（",u"("),(u"）",u")"),(u"‐",u"-"),(u"＝",u"="),(u"＊",u"*"),
(u"＋",u"+"),(u"－",u"-"),(u"／",u"/"),(u"＜",u"<"),(u"＞",u">"),
(u"［",u"["),(u"￥",u"\\"),(u"］",u"]"),(u"＾",u"^"),(u"｛",u"{"),
(u"｜",u"|"),(u"｝",u"}"),(u"～",u"~"),
)
FH_ASCII=HAC=lambda:((fr,to)formin(FH_ALPHA,FH_NUM,FH_PUNCTUATION)forfr,toinm)

HF_SPACE=HFS=((u"",u""),)
HF_NUM=HFN=lambda:((h,z)forz,hinFH_NUM)
HF_ALPHA=HFA=lambda:((h,z)forz,hinFH_ALPHA)
HF_PUNCTUATION=HFP=lambda:((h,z)forz,hinFH_PUNCTUATION)
HF_ASCII=ZAC=lambda:((h,z)forz,hinFH_ASCII())


defconvert(text,*maps,**ops):
"""全角/半角转换
args:
text:unicodestringneedtoconvert
maps:conversionmaps
skip:skipoutofcharacter.Inatupleorstring
return:convertedunicodestring
"""

if"skip"inops:
skip=ops["skip"]
ifisinstance(skip,basestring):
skip=tuple(skip)

defreplace(text,fr,to):
returntextiffrinskipelsetext.replace(fr,to)
else:
defreplace(text,fr,to):
returntext.replace(fr,to)

forminmaps:
ifcallable(m):
m=m()
elifisinstance(m,dict):
m=m.items()
forfr,toinm:
text=replace(text,fr,to)
returntext


if__name__=='__main__':
text=u"成田空港—【ＪＲ特急成田エクスプレス号・横浜行，2站】—東京—【ＪＲ新幹線はやぶさ号・新青森行,6站】—新青森—【ＪＲ特急スーパー白鳥号・函館行，4站】—函館"
printconvert(text,FH_ASCII,{u"【":u"[",u"】":u"]",u",":u"，",u".":u"。",u"?":u"？",u"!":u"！"},spit="，。？！“”")

特别注意：引号在英语体系中引号是不区分前引号和后引号。

总结

以上就是关于Python实现全角半角字符互转的方法，希望本文的内容对大家的学习或者工作能带来一定的帮助，如果有疑问大家可以留言交流。

Python实现全角半角字符互转的方法

热门推荐

随机推荐