Mysql实现全文检索、关键词跑分的方法实例
一、前言
今天一个同事问我，如何使用Mysql实现类似于ElasticSearch的全文检索功能，并且对检索关键词跑分？我当时脑子里立马产生了疑问？为啥不直接用es呢？简单好用还贼快。但是听他说，数据量不多，客户给的时间非常有限，根本没时间去搭建es，所以还是看一下Mysql的全文检索功能吧！
MySQL从5.7.6版本开始，MySQL就内置了ngram全文解析器，用来支持中文、日文、韩文分词。在MySQL5.7.6版本之前，全文索引只支持英文全文索引，不支持中文全文索引，需要利用分词器把中文段落预处理拆分成单词，然后存入数据库。本篇文章测试的时候，采用的Mysql5.7.6，InnoDB数据库引擎。mysql全文检索
二、全文解析器ngram
ngram就是一段文字里面连续的n个字的序列。ngram全文解析器能够对文本进行分词，每个单词是连续的n个字的序列。
例如，用ngram全文解析器对“你好世界”进行分词:
n=1:'你','好','世','界' n=2:'你好','好世','世界' n=3:'你好世','好世界' n=4:'你好世界'
MySQL中使用全局变量ngram_token_size来配置ngram中n的大小，它的取值范围是1到10，默认值是2。通常ngram_token_size设置为要查询的单词的最小字数。如果需要搜索单字，就要把ngram_token_size设置为1。在默认值是2的情况下，搜索单字是得不到任何结果的。因为中文单词最少是两个汉字，推荐使用默认值2。
咱们看一下Mysql默认的ngram_token_size大小：
showvariableslike'ngram_token_size'
ngram_token_size变量的两种设置方式：
1、启动mysqld命令时指定
mysqld--ngram_token_size=2
2、修改mysql配置文件
[mysqld] ngram_token_size=2
三、全文索引
以某文书数据为例，新建数据表t_wenshu，并且针对文书内容字段创建全文索引，导入10w条测试数据。
1、建表时创建全文索引
CREATETABLE`t_wenshu`( `province`varchar(255)DEFAULTNULL, `caseclass`varchar(255)DEFAULTNULL, `casenumber`varchar(255)DEFAULTNULL, `caseid`varchar(255)DEFAULTNULL, `types`varchar(255)DEFAULTNULL, `title`varchar(255)DEFAULTNULL, `content`longtext, `updatetime`varchar(255)DEFAULTNULL, FULLTEXTKEY`content`(`content`)WITHPARSER`ngram` )ENGINE=InnoDBDEFAULTCHARSET=utf8;
2、通过altertable方式
ALTERTABLEt_wenshuADDFULLTEXTINDEXcontent_index(content)WITHPARSERngram;
3、通过createindex方式
CREATEFULLTEXTINDEXcontent_indexONt_wenshu(content)WITHPARSERngram;
四、检索模式
自然语言检索
（INNATURALLANGUAGEMODE）自然语言模式是MySQL默认的全文检索模式。自然语言模式不能使用操作符，不能指定关键词必须出现或者必须不能出现等复杂查询。
布尔检索
（INBOOLEANMODE）剔除一半匹配行以上都有的词，例如，每行都有this这个词的话，那用this去查时，会找不到任何结果，这在记录条数特别多时很有用，原因是数据库认为把所有行都找出来是没有意义的，这时，this几乎被当作是stopword(中断词)；布尔检索模式可以使用操作符，可以支持指定关键词必须出现或者必须不能出现或者关键词的权重高还是低等复杂查询。
●INBOOLEANMODE的特色：
·不剔除50%以上符合的row。
·不自动以相关性反向排序。
·可以对没有FULLTEXTindex的字段进行搜寻，但会非常慢。
·限制最长与最短的字符串。
·套用Stopwords。●搜索语法规则：
+ 一定要有(不含有该关键词的数据条均被忽略)。
- 不可以有(排除指定关键词，含有该关键词的均被忽略)。
> 提高该条匹配数据的权重值。
< 降低该条匹配数据的权重值。
~ 将其相关性由正转负，表示拥有该字会降低相关性(但不像-将之排除)，只是排在较后面权重值降低。
* 万用字，不像其他语法放在前面，这个要接在字符串后面。
""用双引号将一段句子包起来表示要完全相符，不可拆字。
查询扩展检索
注释：（WITHQUERYEXPANSION）由于查询扩展可能带来许多非相关性的查询，谨慎使用！
五、检索查询
1）查询content中包含“盗窃罪”的记录，查询语句如下
selectcaseid,content,MATCH(content)AGAINST('盗窃罪')asscorefromt_wenshuwhereMATCH(content)AGAINST('盗窃罪'INNATURALLANGUAGEMODE)
2）查询content中包含“寻衅滋事”的记录，查询语句如下
selectcaseid,content,MATCH(content)AGAINST('寻衅滋事')asscorefromt_wenshuwhereMATCH(content)AGAINST('寻衅滋事'INNATURALLANGUAGEMODE);
3）单个汉字，查询content中包含“我”的记录，查询语句如下
selectcaseid,content,MATCH(content)AGAINST('我')asscorefromt_wenshuwhereMATCH(content)AGAINST('我'INNATURALLANGUAGEMODE);
备注：因为设置的全局变量ngram_token_size的值为2。如果想查询单个汉字，需要在配置文件my.ini中修改ngram_token_size=1，并重启mysqld服务，此处不做尝试了。
4）查询字段content中包含“危险驾驶”和“寻衅滋事”的语句如下：
selectcaseid,content,MATCH(content)AGAINST('+危险驾驶+寻衅滋事')asscorefromt_wenshuwhereMATCH(content)AGAINST('+危险驾驶+寻衅滋事'INBOOLEANMODE);
5）查询字段content中包含“危险驾驶”，但不包含“寻衅滋事”的语句如下：
selectcaseid,content,MATCH(content)AGAINST('+危险驾驶-寻衅滋事')asscorefromt_wenshuwhereMATCH(content)AGAINST('+危险驾驶-寻衅滋事'INBOOLEANMODE);
6）查询字段conent中包含“危险驾驶”或者“寻衅滋事”的语句如下：
selectcaseid,content,MATCH(content)AGAINST('危险驾驶寻衅滋事')asscorefromt_wenshuwhereMATCH(content)AGAINST('危险驾驶寻衅滋事'INBOOLEANMODE);
六、总结
1）使用Mysql全文索引之前，搞清楚各版本支持情况；
2）全文索引比like+%快N倍，但是可能存在精度问题；
3）如果需要全文索引的是大量数据，建议先添加数据，再创建索引；
4）对于中文，可以使用MySQL5.7.6之后的版本，或者Sphinx、Lucene等第三方的插件；
5）MATCH()函数使用的字段名，必须要与创建全文索引时指定的字段名一致，且只能是同一个表的字段不能跨表；
到此这篇关于Mysql实现全文检索、关键词跑分的文章就介绍到这了,更多相关Mysql全文检索、关键词跑分内容请搜索毛票票以前的文章或继续浏览下面的相关文章希望大家以后多多支持毛票票！
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。