解决正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题
某一天,监控到mongo数据库cpu使用率高了很多,查了一下,发现是下面这种语句引起的:
db.example_collection.find({ "idField": {"$regex":"123456789012345678" }, "dateField": {"$regex":"2019/10/10" }})
通常,遇到这种情况,我第一反应是缺少相关字段的索引,导致每执行一次这种语句都会全表扫描一次。
但是我用explain()语句分析了下,发现上面所涉及的两个字段idField、dateField是有索引的,并且该语句也是有使用到索引的。如下为explain()的结果:
mgset-11111111:PRIMARY>db.example_collection.find({"idField":{"$regex":"123456789012345678"},"dateField":{"$regex":"2019/10/10"}}).explain("queryPlanner") { "queryPlanner":{ "plannerVersion":1, "namespace":"example_db.example_collection", "indexFilterSet":false, "parsedQuery":{ "$and":[ { "idField":{ "$regex":"123456789012345678" } }, { "dateField":{ "$regex":"2019/10/10" } } ] }, "winningPlan":{ "stage":"FETCH", "inputStage":{ "stage":"IXSCAN", "filter":{ "$and":[ { "idField":{ "$regex":"123456789012345678" } }, { "dateField":{ "$regex":"2019/10/10" } } ] }, "keyPattern":{ "idField":1, "dateField":1 }, "indexName":"idField_1_dateField_1", "isMultiKey":false, "multiKeyPaths":{ "idField":[], "dateField":[] }, "isUnique":false, "isSparse":false, "isPartial":false, "indexVersion":2, "direction":"forward", "indexBounds":{ "idField":[ "[\"\",{})", "[/123456789012345678/,/123456789012345678/]" ], "dateField":[ "[\"\",{})", "[/2019/10/10/,/2019/10/10/]" ] } } }, "rejectedPlans":[] }, "ok":1 }
查看mongo的日志发现,这种语句执行一次就要800~900ms,的确是比较慢。除非数据库cpu核数很多,要不然只要这种语句每秒并发稍微高一点,cpu很快就被占满了。
之后搜索了下,发现有可能是正则表达式的问题。原来,虽然该语句的确是使用了索引,但是explain()语句的输出中还有一个字段"indexBounds",表示执行该语句时所需扫描的索引范围。说实话,上面那个输出中,我始终没看明白它那个索引范围。上面的语句对idField、dateField这两个字段都进行了普通的正则表达式匹配,我猜测它应该是扫描了整个索引树,所以导致索引并未实际提升该语句的查询效率。
我看了下数据库里面的数据,发现idField、dateField这两个字段完全没有必要进行正则匹配,进行普通的文本匹配就行。将正则匹配操作$regex去掉之后,再分析一下,结果是这样的:
mgset-11111111:PRIMARY>db.example_collection.find({"idField":"123456789012345678","dateField":"2019/10/10"}).explain("queryPlanner") { "queryPlanner":{ "plannerVersion":1, "namespace":"example_db.example_collection", "indexFilterSet":false, "parsedQuery":{ "$and":[ { "idField":{ "$eq":"123456789012345678" } }, { "dateField":{ "$eq":"2019/10/10" } } ] }, "winningPlan":{ "stage":"FETCH", "inputStage":{ "stage":"IXSCAN", "keyPattern":{ "idField":1, "dateField":1 }, "indexName":"idField_1_dateField_1", "isMultiKey":false, "multiKeyPaths":{ "idField":[], "dateField":[] }, "isUnique":false, "isSparse":false, "isPartial":false, "indexVersion":2, "direction":"forward", "indexBounds":{ "idField":[ "[\"123456789012345678\",\"123456789012345678\"]" ], "dateField":[ "[\"2019/10/10\",\"2019/10/10\"]" ] } } }, "rejectedPlans":[] }, "ok":1 }
可以看到,仍然使用到了索引,并且索引扫描范围是仅限于一个值的。
后来跟开发人员确认了下,该语句确实没必要使用正则匹配,就让他把正则匹配去掉了。之后就没有再出现问题了,mongo慢日志中也未再出现该语句。
总结
以上所述是小编给大家介绍的解决正则表示式匹配($regex)引起的一次mongo数据库cpu占用率高的问题,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对毛票票网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
声明:本文内容来源于网络,版权归原作者所有,内容由互联网用户自发贡献自行上传,本网站不拥有所有权,未作人工编辑处理,也不承担相关法律责任。如果您发现有涉嫌版权的内容,欢迎发送邮件至:czq8825#qq.com(发邮件时,请将#更换为@)进行举报,并提供相关证据,一经查实,本站将立刻删除涉嫌侵权内容。