Zabbix的Mysql数据库内存占用高问题分析与处理

问题:1、Zabbix内存使用率高;2、MariaDB没有开启独享表空间

  • 监控发现zabbix内存占用高,且每隔一周左右的时间内存就会用满。
Zabbix的Mysql数据库内存占用高问题分析与处理
  • 登录服务器通过top命令分析内存使用情况
Zabbix的Mysql数据库内存占用高问题分析与处理
服务器一共8G内存,发现Mysql数据库占用4.5G,Mysql的内存占用量最高。
  • 通过ps aux|grep mysql查询Mysql服务状态和Mysql安装目录为/var/lib/mysql
ps aux|grep mysql
[root@instance-1p55pphp ~]# ps aux|grep mysql
mysql      936  0.0  0.0 113416  1608 ?        Ss   11:14   0:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
mysql     1183  2.5  3.4 1637644 279076 ?      Sl   11:14   0:59 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
root      5820  0.0  0.0 112816   972 pts/0    S+   11:54   0:00 grep --color=auto mysql
  • 查看Mysql的配置文件
cat /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d
  • 查看Mysql的数据库文件,发现ibdata1文件很大,有6.8G
cd /var/lib/mysql
[root@instance-1p55pphp mysql]# du -sh *
16K	aria_log.00000001
4.0K	aria_log_control
6.8G	ibdata1
5.0M	ib_logfile0
5.0M	ib_logfile1
1004K	mysql
0	mysql.sock
212K	performance_schema
2.3M	zabbix
  • ibdata1 是什么?
ibdata1是InnoDB的共有表空间,默认情况下会把表空间存放在一个文件ibdata1中,会造成这个文件越来越大.
  • ibdata1文件增大的原因有哪些?

原因1:使用InnoDB共享表空间存储数据

参数innodb_file_per_table,控制innodb引擎采用共享表空间存储还是独立表空间存储。

参数innodb_file_per_table为OFF时,innodb采用共享表空间存储。除了存储上面的内容外,新创建表的数据和索引也存放在ibdata1文件中。所以,随着表数目和数据量的增长,ibdata1文件也会逐渐增长。

参数innodb_file_per_table为ON时,innodb采用独立表空间存储。新创建表的数据和索引存放在各自的ibd文件中。ibdata1文件只存储上述内容,一般情况下,文件并不会有明显增长。

这种情况,ibdata1文件在主从间会同步增长。

原因2:UNDO LOG堆积

InnoDB为了实现MVCC多版本并发控制,通过记录更新操作的undo log和redo log来实现。而innoDB的undo log是存放在ibdata1共享表空间的。undo log堆积,是导致ibdata1文件增大的主要原因。这种ibdata1增长的情况一般发生在主库,从库采用单线程同步一般不会有明显问题。

导致undo log堆积的常见场景:

事务长期间不提交或回滚,导致undo log堆积

当事务A对一行数据进行修改时,InnoDB会把对事务A可见的旧版本数据存储一份在undo log中,如果此时又有事务B要修改这行数据,InnoDB又会把对事务B可见的旧版本数据再存储一份在undo log中,以此类推。 如果这条数据当前有N个事务要对其进行修改,那么innoDB就会存储N份历史版本的undo信息。而这些undo信息就存放在ibdata1文件中,这是导致ibdata1增大的主要原因之一。常见的情况:如load data操作;大量并发事务;旧事务长时间不提交或回滚。

为保证大事务中读请求MVCC一致性导致undo log堆积

事务中读取大量数据的SQL长时间不能提交或回滚。在事务开始到事务提交或回滚前的这段时间内,为保证MVCC读版本一致性,对事务要读取表的数据的所有修改操作产生的undo log就一直无法被purge掉造成堆积,从而导致ibdata1增大。这也是导致ibdata1增大的主要原因之一。 常见的情况,如mysqldump逻辑备份时加了–single-transaction,同时其他事务对备份的表有大量的更新操作。

解决方案

MariaDB开启独享表空间

  • 使用独享表空间,将表空间分别单独存放。MySQL开启独享表空间的参数是Innodb_file_per_table,会为每个Innodb表创建一个.ibd的文件。
  • 导出数据库中所有数据
mysqldump -u root -p --all-database > /root/all-database.dump
  • 删除数据库中数据
mysql -u root -p
MariaDB [(none)]> drop database zabbix;
  • 停止MySQL/MariaDB
systemctl stop mysqld.service     #(用于Mysql)
systemctl stop mariadb.service     #(用于MariaDB)
  • 删除ibdata1文件(移动到/tmp下)
mv /var/lib/mysql/ibdata1 /tmp
mv /var/lib/mysql/ib_logfile0 /tmp
mv /var/lib/mysql/ib_logfile1 /tmp
  • 修改my.cnf配置,增加innodb_file_per_table参数,innodb_file_per_table=1
vi /etc/my.cnf
[mysqld]
innodb_file_per_table=1
  • 启动MySQL/MariaDB
systemctl start mysqld.service     #(用于Mysql)
systemctl start mariadb.service     #(用于MariaDB)

优化MariaDB内存占用

  • 修改table_open_cache的值
vi /etc/my.cnf
在mysqld下面添加table_open_cache = 512,我这里预设的值是512,已经可以满足我服务的快速缓存访问了。如果你的表很多,或者并发很多的话,估计这个值需要调大的。
  • 修改table_open_cache的值后,mariadb所占用的内存有所下降,从优化前的4.5G,下降到3G。
Zabbix的Mysql数据库内存占用高问题分析与处理

文章来源:https://www.cnaaa.net,转载请注明出处:https://www.cnaaa.net/archives/6471

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年12月23日 下午5:37
下一篇 2023年1月1日 下午8:30

相关推荐

  • 如何处理CentOS Failed to load SELinux policy

    CentOS 7在启动时,卡在进度条界面一直进不去系统,如下图所示: 我们可以通过按键盘的左右方向键,可以看到提示“Failed to load SELinux policy.”,这就是造成系统一直卡住无法正常启动的原因。 原因 是因为没有正确修改系统的selinux的配置,导致系统在启动时报selinux的错误 解决方案 第一步:先重启CentOS7操作系…

    2022年6月15日
    20300
  • Ubuntu 启用root账户并开启远程登录

    1.启用root账户 修改root用户密码,输入下方命令后,还需要输入当前普通用户的密码进行身份验证,然后修改root用户的新密码 sudo passwd root 2、开启远程登录 执行下方命令后开启root用户的远程登录 此时就能使用root账户成功登录了

    2022年6月11日
    26600
  • CentOS7系统下扩容根目录

    利用单一磁盘的剩余空间 在同一块磁盘下,有剩余空间未分配,将该空间合并到根目录中 本文以/dev/sda为例 查看磁盘分区情况 lsblk或者fdisk -l /dev/sda 可以看到 sda 总容量为30G,而 sda1和 sda2 加起来总共使用了10G,因此我们可以将剩余的容量添加到目录中 对剩余空间进行分区格式化操作 fdisk /dev/sda …

    2022年6月9日
    33700
  • SonarQube支持Gitlab授权登录

    背景 部署好SonarQube之后,由于我们内部使用的是自建的Gitlab仓库,即每个开发同学都有Gitlab账号,SonarQube我们就可以使用上Gitlab登录,这样就不需要再维护一套用户体系了。 环境: SonarQube8.9.2 社区版 GitLab Enterprise Edition 11.10.4-ee 具体配置: Gitlab 配置: 在…

    2023年1月20日
    2600
  • 如何解决Windows server系统开机自动进入修复模式而无法正常启动的问题

    相信大家都会碰到这样一个问题,Windows系统重启之后自动进入修复而不去正常启动,如下图 那么我们该如何去解决呢 第一步:根据它的选项,进入到修复模式,然后点击下一步 第二步:输入登录的账户密码,然后就会有三个系统恢复的选项,我们选择命令提示符,依次输入以下命令 然后等待出现以下信息 到此,我们重新启动系统,就可以正常进入到桌面系统了,如果你想之后的系统重…

    2022年6月13日
    48400

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

在线咨询: QQ交谈

邮件:712342017@qq.com

工作时间:周一至周五,8:30-17:30,节假日休息

关注微信