关于使用ptheartbeat监测MySQL主从复制延迟的方
ptheartbeat的工作原理通过使用时间戳方式在主库上更新特定表,然后在从库上读取被更新特定表里的时间戳,再与本地系统时间对比来得出其延迟。
具体流程:
1)在主库上创建一张heartbeat表,按照一定的时间频率更新该表的字段(把时间更新);监控操作运行后,heartbeat表能促使主从同步。
2)连接到从库上检查复制的时间记录,和从库的当前系统时间进行比较,得出时间的差异。
一、使用方法(主从和从库上都可以执行监控操作):
ptheartbeat〔OPTIONS〕〔DSN〕updatemonitorcheckstop注意:需要指定的参数至少有stop、update、monitor、check其中update,monitor和check是互斥的;daemonize和check也是互斥。askpass隐式输入MySQL密码charset字符集设置check检查从的延迟,检查一次就退出,除非指定了recurse会递归的检查所有的从服务器。checkreadonly如果从服务器开启了只读模式,该工具会跳过任何插入。createtable在主上创建心跳监控的表,如果该表不存在,可以自己手动建立,建议存储引擎改成memory;通过更新该表知道主从延迟的差距。CREATETABLEheartbeat(tsvarchar(26)NOTNULL,serveridintunsignedNOTNULLPRIMARYKEY,filevarchar(255)DEFAULTNULL,positionbigintunsignedDEFAULTNULL,relaymasterlogfilevarchar(255)DEFAULTNULL,execmasterlogposbigintunsignedDEFAULTNULL);heratbeat一直在更改ts和position,而ts是检查复制延迟的关键daemonize执行时,放入到后台执行useru,连接数据库的帐号databaseD,连接数据库的名称hosth,连接的数据库地址passwordp,连接数据库的密码portP,连接数据库的端口socketS,连接数据库的套接字文件file〔fileoutput。txt〕打印monitor最新的记录到指定的文件,很好的防止满屏幕全是数据。frames〔frames1m,5m,15m〕在monitor里输出的〔〕里的记录段,默认是1m,5m,15m。可以指定1个;如:frames1s,多个用逗号隔开。可用单位有秒(s)、分钟(m)、小时(h)、天(d)。interval检查、更新的间隔时间。默认是见是1s。最小的单位是0。01s,最大精度为小数点后两位,因此0。016将自动调整至0。02。log开启daemonized模式的所有ahrefhttps:www。bs178。comrizhitargetblankclassinfotextkey日志a将会被打印到制定的文件中。monitor持续监控从库的延迟情况。通过interval指定的间隔时间,打印出从库的延迟信息,通过file则可以把这些信息打印到指定的文件。masterserverid指定主库的serverid,若没有指定则该工具会连到主库上查找其serverid。printmasterserverid在monitor和check模式下,指定该参数则打印出主的serverid。recurse多级复制的检查深度。模式MSS。。。不是最后的一个从库都需要开启logslaveupdates,这样才能检查到。recursionmethod指定复制检查的方式,默认为processlist,hosts。update更新主库上的心跳表。replace使用replace代替update模式更新心跳表里的时间字段,这样的好处是不用管表里是否有行。stop停止运行该工具(daemonize),在tmp目录下创建一个ptheartbeatsentinel文件。后面想重新开启则需要把该临时文件删除,才能开启(daemonize)。table指定心跳表名,默认heartbeat。
二、演示使用ptheartbeatmasterserverid参数(主库my。cnf里配置的serverid值)a、首先添加表ptheartbeatuserrootpasswordpwdStmpmysql。sockDtestmasterserverid1createtableupdateMASTERselectfromheartbeat;tsserveridfilepositionrelaymasterlogfileexecmasterlogpos20220922T09:48:14。0030201mysqlbin。000391677136957mysqlbin。000180120b、更新主库上的heartbeat(后台运行)ptheartbeatuserrootpasswordpwdStmpmysql。sockDtestmasterserverid1update〔1〕31249c、从库上监控延迟ptheartbeatuserrootpasswordpwdStmpmysql。sockDtestmasterserverid1monitorprintmasterserverid1。00s〔0。02s,0。00s,0。00s〕1实时延迟:1分钟延迟,5分钟延迟,15分钟延迟1。00s〔0。03s,0。01s,0。00s〕11。00s〔0。05s,0。01s,0。00s〕11。00s〔0。07s,0。01s,0。00s〕11。00s〔0。08s,0。02s,0。01s〕11。00s〔0。10s,0。02s,0。01s〕11。00s〔0。12s,0。02s,0。01s〕11。00s〔0。13s,0。03s,0。01s〕1d、其他操作示例将主库上的update使用守护进程方式调度ptheartbeatuserrootpasswordpwdStmpmysql。sockDtestmasterserverid1updatedaemonize修改主库上的更新间隔为2sptheartbeatuserrootpasswordpwdStmpmysql。sockDtestmasterserverid1updatedaemonizeinterval2停止主库上的ptheartbeat守护进程ptheartbeatstopSuccessfullycreatedfiletmpptheartbeatsentinelrmrftmpptheartbeatsentinel单次查看从库上的延迟情况ptheartbeatuserrootpasswordpwdStmpmysql。sockDtestmasterserverid1check1。00使用守护进程监控从库并输出ahrefhttps:www。bs178。comrizhitargetblankclassinfotextkey日志aptheartbeatuserrootpasswordpwdStmpmysql。sockDtestmasterserverid1monitorprintmasterserveriddaemonizelogtmpslaveheart。log
三、自动化监控注意:如果想把这个输出结果加入自动化监控,那么可以使用如下命令使监控输出写到文件,然后使用脚本定期过滤文件中的最大值作为预警即可:注意log选项必须在有daemonize参数的时候才会打印到文件中,且这个文件的路径最好在tmp下,否则可能因为权限问题无法创建ptheartbeatDtesttableheartbeatmonitoruserrootpasswordpwdlogoptmasterslavedelay。logdaemonize〔rootmasterserver〕tailfoptmasterslavedelay。txt可以测试,在主库上更新数据时,从库上是否及时同步,如不同步,可以在这里看到监控的延迟数据0。00s〔0。00s,0。00s,0。00s〕0。00s〔0。00s,0。00s,0。00s〕0。00s〔0。00s,0。00s,0。00s〕0。00s〔0。00s,0。00s,0。00s〕0。00s〔0。00s,0。00s,0。00s〕0。00s〔0。00s,0。00s,0。00s〕。。。。。。。下面是编写的主从同步延迟监控脚本,就是定期过滤log文件中最大值(此脚本运行的前提是:启动更新主库heartbeat命令以及带上log的同步延迟检测命令)。如果发生延迟,发送报警。catrootcheckslavemonitor。sh!binbashcatoptmasterslavedelay。logoptmasterslavedelay。logechoeoptmasterslavedelat。logmaxtimecatoptmasterslavedelay。loggrepv39;awk{print1}sortk1nrhead1NUM(echomaxtimecutdsf1)if〔NUM0。00〕;thenechoMySQL主从同步延迟一致elseechoMysql主从数据同步有延迟TODO这里添加报警fi结合crontab,每隔一分钟检查一次mysql主从同步延迟检查binbashxrootcheckslavemonitor。shdevnull21
关闭上面在主库上执行heartbeat的守护进程方法一:可以用参数stop去关闭ptheartbeatstopSuccessfullycreatedfiletmpptheartbeatsentinel这样就把在主上开启的进程杀掉了。但是后续要继续开启后台进行的话,记住一定要先把tmpptheartbeatsentinel文件删除,否则启动不了方法二:直接kill掉进程pid(推荐这种方法)psefgrepheartbeatkill915152
最后总结:
通过ptheartbeart工具可以很好地弥补默认主从延迟的问题,但需要搞清楚该工具的原理。
重点了:默认的SecondsBehindMaster值是通过将服务器当前的时间戳与二进制日志中的事件时间戳相对比得到的,所以只有在执行事件时才能报告延迟。从库复制线程没有运行,也会报延迟。
还有一种情况:大事务,一个事务更新数据长达一个小时,最后提交。这条更新将比它实际发生时间要晚一个小时才记录到二进制日志中。当从库执行这条语句时,会临时地报告备库延迟为一个小时,执行完后又很快变成0。
以上就是今天的内容,希望读者朋友看完这篇文章后有所启发。