Python 最大概率法进行汉语切分的方法

2023-09-02 21:33:04 65

要求：

1采用基于语言模型的最大概率法进行汉语切分。

2切分算法中的语言模型可以采用n-gram语言模型，要求n>1，并至少采用一种平滑方法；

代码：

废话不说，代码是最好的语言

importre
importmath

MAX_SPLITLEN=4#最大切分长度
corpus_lib=''#corpus:语料


definit_corpus_lib(path):#初始化语料库
globalcorpus_lib
withopen(path,'r',encoding='utf-8',errors='ignore')asfile:
corpus_lib=str(file.readlines())


defget_candidate_words(sen):
globalMAX_SPLITLEN
globalcorpus_lib
candidate_words=[]
forspinrange(len(sen)):
w=sen[sp]
candidate_words.append([w,sp,sp])#有些字可能不在语料库中，把它作为单个字加进去
formpinrange(1,MAX_SPLITLEN):#判断1~MAX_SPLITLEN-1这3种词中是否有候选词.
ifsp+mp1000:#为防止对长句子解析时间过长，放弃一部分精度追求效率
break
ifword[1]==0andword[2]!=len(sen)-1:#如果句子中开头的部分，还没有拼凑成整个词序列的话
no_whitespace_sen=''.join(word[0].split())
forwordincandidate_words:#word比如：['今天',1,2]，1是今在句子中的位置，2是天的位置
ifword[1]==0andword[2]!=len(sen)-1:
end=word[2]
forlater_wordincandidate_words:
iflater_word[1]==end+1:#如果later_word是当前词的后续词，那么拼接到当前词上
word_seq=[word[0]+''+later_word[0],word[1],later_word[2]]#合并
candidate_words.append(word_seq)
#print('拼出了新词：%s'%word_seq)
count+=1
candidate_words.remove(word)#遍历完后，这个开头部分短语要移除掉，不然下次遍历还会对它做无用功
print('所有结果词序列有：%s'%candidate_words)

word_segment_res_list=[]#存储分词结果序列
forsequeincandidate_words:
ifseque[1]==0andseque[2]==len(sen)-1:
word_segment_res_list.append(seque[0])
print('获得的所有分词结果是：')
print(word_segment_res_list)
returnword_segment_res_list


#P(w1,w2,...,wn)=P(w1/start)P(w2/w1)P(w3/w2).....P(Wn/Wn-1)
#下标从0开始：=P(w0/start)P(w1/w0)...P(Wn-1/Wn-2)
defcalculate_word_sequence_probability(sequence):
globalcorpus_lib
word_list=sequence.split('')
total_word_num=len(corpus_lib)
prob_total=0.0
word_start=word_list[0]
#计算第一个词出现的概率P(w1/start)=Count(w1)/total
count=len(re.findall(r'\s'+word_start+r'\s',corpus_lib))+1#加1平滑
prob_total+=math.log(count/total_word_num)
#计算P(w2/w1)P(w3/w2).....P(Wn/Wn-1)
foriinrange(len(word_list)-1):#0~n-2
prev_w=word_list[i]
later_w=word_list[i+1]
count=len(re.findall(r'\s'+prev_w+r'\s'+later_w+r'\s',corpus_lib))
count+=1#做一次加1平滑
prob_total+=math.log(count/total_word_num)
print('%s的概率是：'%sequence)
print(prob_total)
returnprob_total


defcalculate_biggest_prob(word_segm_res):
best_w_s=''
max_prob=0.0
forw_sinword_segm_res:#改进：先只计算词的数目<=0.6句子字数的，如果不行再计算全部的概率
no_whitespace_sen=''.join(w_s.split())
zi_shu=len(no_whitespace_sen)
iflen(w_s.split(''))<=zi_shu*0.6:
prob=calculate_word_sequence_probability(w_s)
ifmax_prob==0ormax_prob=20:
middle=split_middle(sen_to_segment)
left_half=sen_to_segment[0:middle+1]#左半部分
best_segm_res=calculate_biggest_prob(segment_sentence(left_half))
out_text+=best_segm_res+''
sen_to_segment=sen_to_segment[middle+1:len(sen_to_segment)]#右半部分交给后面几行处理

best_segm_res=calculate_biggest_prob(segment_sentence(sen_to_segment))
print(single_char)
sen_to_segment=''
out_text+=best_segm_res+''+single_char+''#标点两侧也用空格隔起来

#如果这行句子最后还有一些文字没有切分的话
ifsen_to_segment!='':
best_segm_res=calculate_biggest_prob(segment_sentence(sen_to_segment))
out_text+=best_segm_res+''
out_text+='\n'

withopen('D:/1佩王的文件/计算语言学基础/生成结果.txt','w')asfile:
file.write(out_text)
print(out_text)


if__name__=='__main__':
path='D:/1佩王的文件/计算语言学基础/北大(人民日报)语料库199801.txt'
init_corpus_lib(path)#初始化语料库

sentences=''
path='E:/study/1.研一的课/计算语言学基础课件/testset.txt'#读取要切分的文章
withopen(path,'r',encoding='gbk',errors='ignore')asfile:
forlineinfile.readlines():
sentences+=line

#改进：先对句子按标点符号划分成多个短句，然后对每个短句进行切分、计算概率
split_mark_and_too_long_sent(sentences)

实现思路

1、处理语料库

用的是人民日报语料库，然后为了方便把属性去掉了，只留下了词。

2、读要分词的文本，按照标点符号、数字进行分割

按标点符号、数字进行分割，确保分割结果是只有汉字的句子。如果句子过长(>=20)，则先对句子中间位置的5个字先切分一次，从5个字的切分结果的第一个空格处，把句子分成两部分，再对每一部分分别切词。标点符号、数字则按照原样输出。

3、找出所有候选词

从一个句子中找出所有的候选词。如每次取4个字，假设为abcd这四个字，得到：a\b\c\d\ab\bc\cd\abc\bcd\abcd，判断它们每个是否在语料库中，如果是的话则存为候选词。并存储下这个词在句子中的开始位置和结束位置。

4、计算出一个句子所有的切分结果

所有的候选词放到了一个python的list（即集合）中，遍历所有开始位置为0但结结束位不为0的候选词，按照词的开始位置和结束位置进行拼凑，新拼凑出的元素会加入到这个list中。当一个词和其他所有能拼凑的词拼凑完后，从list中删除这个词。当遍历结束后，集合中会有长度等于句子长度的元素，这些元素就是一个句子所有的切分结果。

4、使用2-gram模型计算出每种切分结果的概率，挑选出最大概率的句子切分结果

计算概率时使用条件概率，使用加一平滑。条件概率的公式为：P(w1,w2,…,wn)=P(w1/start)P(w2/w1)P(w3/w2)…..P(Wn/Wn-1)，利用log把乘法变成加法：logP(w1,w2,…,wn)=logP(w1/start)+logP(w2/w1)+…..+logP(Wn/Wn-1)

句子往往不是由很多个单字组成的，所以为了提高速度，我们先计算出切分后词个数<=0.6*句子字数的切分结果的概率，如果不为0则返回这个最大概率，如果为0的话，再计算>=0.6的切分结果中的最大概率。

5、将拥有最大概率的句子切分结果存到文件中

以上这篇Python最大概率法进行汉语切分的方法就是小编分享给大家的全部内容了，希望能给大家一个参考，也希望大家多多支持毛票票。

声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。

Python 最大概率法进行汉语切分的方法

热门推荐

随机推荐