MongoDB诡异问题之sh.stopBalancer卡住的解决方法
背景
Part1:写在最前
我们在使用MongoDBsharding集群时，会使用如下命令来管理启停Balancer：
>sh.stopBalancer()停止Balancer >sh.startBalancer()开启Balancer
Part2:背景
开启balancer后，客户反馈前端应用写入缓慢，查询超时。因此我们尝试关闭balancer，来避免chunk迁移对集群性能带来的影响。
但是在调用sh.stopBalancer的时候，发现却停不下来，sh.stopBalancer会处于卡住的状态：
mongos>sh.stopBalancer() Waitingforactivehosts... Waitingforthebalancerlock... assert.soonfailed,msg:Waitedtoolongforlockbalancertounlock doassert@src/mongo/shell/assert.js:18:14 assert.soon@src/mongo/shell/assert.js:202:13 sh.waitForDLock@src/mongo/shell/utils_sh.js:198:1 sh.waitForBalancerOff@src/mongo/shell/utils_sh.js:264:9 sh.waitForBalancer@src/mongo/shell/utils_sh.js:294:9 sh.stopBalancer@src/mongo/shell/utils_sh.js:161:5 @(shell):1:1 Balancerstillmaybeactive,youmustmanuallyverifythisisnotthecaseusingthe config.changelogcollection. 2018-02-11T16:28:29.753+0800 EQUERY[thread1]Error:Error: assert.soonfailed,msg:Waitedtoolongforlockbalancertounlock: sh.waitForBalancerOff@src/mongo/shell/utils_sh.js:268:15 sh.waitForBalancer@src/mongo/shell/utils_sh.js:294:9 sh.stopBalancer@src/mongo/shell/utils_sh.js:161:5 @(shell):1:1
从上述报错能够看出，是由于目前balancer正在运行导致的，
Warning:警告在3.4版本中，balancer运行在configserver的主节点上，在早期的版本中，balancer是运行在mongos上的。当balancer进程处于活动状态时，configserver副本集的主服务器通过修改config数据库的lock集合中的文档，来获取“平衡器锁”。这个“平衡器锁”只能自己主动释放。
Part3:排查方法
我们调用sh.status()命令能够看到当前balancer已经关闭了，但是running还是yes，这说明有迁移正在运行。
balancer: Currentlyenabled:no Currentlyrunning:yes
我们查看发现migrations集合下为空，说明没有集合在迁移
mongos>db.migrations.find()
我们查看locks集合下的信息，处于2状态的说明正持有锁
mongos>db.locks.find()
{"_id":"balancer","state":2,"ts":ObjectId("5a324c42329457086086da07"),"who":"ConfigServer:Balancer","process":"ConfigServer","when":ISODate("2018-01-31T08:33:43.346Z"),"why":"CSRSBalancer"}
Warning:警告
locks集合中的why列告诉我们持有锁的原因，如果有正在迁移的文档，其状态应该是2,why中的原因会显示Migratingchunk(s)incollectiondb.collationname.
从3.4版本起，balancer的状态字段将始终为值2，以防止老版本的mongos实例执行平衡操作。when字段指configserver成员成为主节点的时间。
解决办法
Part1:写在最前
sh.stopBalancer停不下来，常见的可能原因有以下几个：
- 正在做chunk迁移，必须等待chunk迁移完成后,才能够正常停止；
- 后端的server时间不同步；
- mongo客户端版本低于server端，本文就是第3种情况。mongo客户端的版本是3.2版本，configserver和mongod都是3.4版本的mongo。
Part2:解决办法
替换老版本的mongo客户端，使用3.4版本的客户端
mongos>sh.stopBalancer()
{"ok":1}
config:PRIMARY>db.version()
3.4.9-2.9
Part3:原因分析
卡住的原因是由于客户端mongo是3.2版本，而config节点是3.4版本，3.2版本的mongos在执行stopBalancer()时，stopBalancer代码假定如果balancerStop命令没有找到，那么它会使用旧版本的逻辑，等待锁被释放。从3.4版本起，Balance进程从mongos移动之configerserver的primary节点上。
总结
通过这个案例，我们能够了解到mongo客户端版本带来的问题，以及有哪些常见原因导致sh.stopBalancer停不下来。由于笔者的水平有限，编写时间也很仓促，文中难免会出现一些错误或者不准确的地方，不妥之处恳请读者批评指正。
好了，以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对毛票票的支持。
声明：本文内容来源于网络，版权归原作者所有，内容由互联网用户自发贡献自行上传，本网站不拥有所有权，未作人工编辑处理，也不承担相关法律责任。如果您发现有涉嫌版权的内容，欢迎发送邮件至：czq8825#qq.com（发邮件时，请将#更换为@）进行举报，并提供相关证据，一经查实，本站将立刻删除涉嫌侵权内容。