Zabbix的Mysql数据库内存占用高问题分析与处理

问题:1、Zabbix内存使用率高;2、MariaDB没有开启独享表空间

  • 监控发现zabbix内存占用高,且每隔一周左右的时间内存就会用满。
Zabbix的Mysql数据库内存占用高问题分析与处理
  • 登录服务器通过top命令分析内存使用情况
Zabbix的Mysql数据库内存占用高问题分析与处理
服务器一共8G内存,发现Mysql数据库占用4.5G,Mysql的内存占用量最高。
  • 通过ps aux|grep mysql查询Mysql服务状态和Mysql安装目录为/var/lib/mysql
ps aux|grep mysql
[root@instance-1p55pphp ~]# ps aux|grep mysql
mysql      936  0.0  0.0 113416  1608 ?        Ss   11:14   0:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
mysql     1183  2.5  3.4 1637644 279076 ?      Sl   11:14   0:59 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
root      5820  0.0  0.0 112816   972 pts/0    S+   11:54   0:00 grep --color=auto mysql
  • 查看Mysql的配置文件
cat /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d
  • 查看Mysql的数据库文件,发现ibdata1文件很大,有6.8G
cd /var/lib/mysql
[root@instance-1p55pphp mysql]# du -sh *
16K	aria_log.00000001
4.0K	aria_log_control
6.8G	ibdata1
5.0M	ib_logfile0
5.0M	ib_logfile1
1004K	mysql
0	mysql.sock
212K	performance_schema
2.3M	zabbix
  • ibdata1 是什么?
ibdata1是InnoDB的共有表空间,默认情况下会把表空间存放在一个文件ibdata1中,会造成这个文件越来越大.
  • ibdata1文件增大的原因有哪些?

原因1:使用InnoDB共享表空间存储数据

参数innodb_file_per_table,控制innodb引擎采用共享表空间存储还是独立表空间存储。

参数innodb_file_per_table为OFF时,innodb采用共享表空间存储。除了存储上面的内容外,新创建表的数据和索引也存放在ibdata1文件中。所以,随着表数目和数据量的增长,ibdata1文件也会逐渐增长。

参数innodb_file_per_table为ON时,innodb采用独立表空间存储。新创建表的数据和索引存放在各自的ibd文件中。ibdata1文件只存储上述内容,一般情况下,文件并不会有明显增长。

这种情况,ibdata1文件在主从间会同步增长。

原因2:UNDO LOG堆积

InnoDB为了实现MVCC多版本并发控制,通过记录更新操作的undo log和redo log来实现。而innoDB的undo log是存放在ibdata1共享表空间的。undo log堆积,是导致ibdata1文件增大的主要原因。这种ibdata1增长的情况一般发生在主库,从库采用单线程同步一般不会有明显问题。

导致undo log堆积的常见场景:

事务长期间不提交或回滚,导致undo log堆积

当事务A对一行数据进行修改时,InnoDB会把对事务A可见的旧版本数据存储一份在undo log中,如果此时又有事务B要修改这行数据,InnoDB又会把对事务B可见的旧版本数据再存储一份在undo log中,以此类推。 如果这条数据当前有N个事务要对其进行修改,那么innoDB就会存储N份历史版本的undo信息。而这些undo信息就存放在ibdata1文件中,这是导致ibdata1增大的主要原因之一。常见的情况:如load data操作;大量并发事务;旧事务长时间不提交或回滚。

为保证大事务中读请求MVCC一致性导致undo log堆积

事务中读取大量数据的SQL长时间不能提交或回滚。在事务开始到事务提交或回滚前的这段时间内,为保证MVCC读版本一致性,对事务要读取表的数据的所有修改操作产生的undo log就一直无法被purge掉造成堆积,从而导致ibdata1增大。这也是导致ibdata1增大的主要原因之一。 常见的情况,如mysqldump逻辑备份时加了–single-transaction,同时其他事务对备份的表有大量的更新操作。

解决方案

MariaDB开启独享表空间

  • 使用独享表空间,将表空间分别单独存放。MySQL开启独享表空间的参数是Innodb_file_per_table,会为每个Innodb表创建一个.ibd的文件。
  • 导出数据库中所有数据
mysqldump -u root -p --all-database > /root/all-database.dump
  • 删除数据库中数据
mysql -u root -p
MariaDB [(none)]> drop database zabbix;
  • 停止MySQL/MariaDB
systemctl stop mysqld.service     #(用于Mysql)
systemctl stop mariadb.service     #(用于MariaDB)
  • 删除ibdata1文件(移动到/tmp下)
mv /var/lib/mysql/ibdata1 /tmp
mv /var/lib/mysql/ib_logfile0 /tmp
mv /var/lib/mysql/ib_logfile1 /tmp
  • 修改my.cnf配置,增加innodb_file_per_table参数,innodb_file_per_table=1
vi /etc/my.cnf
[mysqld]
innodb_file_per_table=1
  • 启动MySQL/MariaDB
systemctl start mysqld.service     #(用于Mysql)
systemctl start mariadb.service     #(用于MariaDB)

优化MariaDB内存占用

  • 修改table_open_cache的值
vi /etc/my.cnf
在mysqld下面添加table_open_cache = 512,我这里预设的值是512,已经可以满足我服务的快速缓存访问了。如果你的表很多,或者并发很多的话,估计这个值需要调大的。
  • 修改table_open_cache的值后,mariadb所占用的内存有所下降,从优化前的4.5G,下降到3G。
Zabbix的Mysql数据库内存占用高问题分析与处理

文章来源:https://www.cnaaa.net,转载请注明出处:https://www.cnaaa.net/archives/6471

(0)
郭靖的头像郭靖
上一篇 2022年12月23日 下午5:37
下一篇 2023年1月1日 下午8:30

相关推荐

  • Smartping安装

    smartping采用脚本调用方式运行,Linux使用 ./control , Windows使用 control.cmd Linux ./control build|run|start|stop|restart|status build : 源码编译,最终构建成至 bin run : 直接启动smartping start : 以nohup(deamon)…

    2023年2月9日
    33000
  • Windows server 2008 R2 服务报错14001解决方案

    错误 14001:因为应用程序的并行配置不正确 有关详细信息 请参阅应用程序事件日志 或使用命令行 sxstrace.exe 工具 今日通过服务管理器重新启动mysql服务时发现报错14001,解决方案如下: 打开左下角服务管理器,点击功能,然后添加功能,添加 Framework 3.51全部功能,这样就可以去服务管理器中启动服务了!!!

    2022年11月22日
    39000
  • Redis删除特定前缀key的优雅实现

    Redis中没有批量删除特定前缀key的指令,但我们往往需要根据前缀来删除,那么究竟该怎么做呢?可能你一通搜索后会得到下边的答案 直接在linux下通过redis的keys命令匹配到所有的key,然后调用系统命令xargs来删除,看似非常完美,实则风险巨大 因为Redis的单线程服务模式,命令keys会阻塞正常的业务请求,如果你一次keys匹配的数量过多或者…

    2023年1月17日
    30300
  • 为Windows服务器配置虚拟内存

    为 Windows 服务器配置虚拟内存 本小节以 Windows Server 2022 为例,其他版本的 Windows 操作系统类似,可据此做参考。 1、打开服务器的控制面板。可以通过开始菜单或在搜索框内运行命令”control”来打开控制面板。 2、在控制面板中,选择”系统和安全”,然后选择”…

    2024年1月31日
    19500
  • LAMP环境下部署DiscuzQ

    一、安装Apachae yum安装Apache,并设置开机自启动 在网页浏览器输入ip地址,查看Apache是否正常 二、安装配置 MariaDB 执行以下命令,查看系统中是否已安装 MariaDB。 rpm -qa | grep -i mariadb       返回结果类似如下内容,则表示已存在 MariaDB。 &nbsp…

    2022年12月6日
    31900

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

在线咨询: QQ交谈

邮件:712342017@qq.com

工作时间:周一至周五,8:30-17:30,节假日休息

关注微信