Zabbix的Mysql数据库内存占用高问题分析与处理

问题:1、Zabbix内存使用率高;2、MariaDB没有开启独享表空间

  • 监控发现zabbix内存占用高,且每隔一周左右的时间内存就会用满。
Zabbix的Mysql数据库内存占用高问题分析与处理
  • 登录服务器通过top命令分析内存使用情况
Zabbix的Mysql数据库内存占用高问题分析与处理
服务器一共8G内存,发现Mysql数据库占用4.5G,Mysql的内存占用量最高。
  • 通过ps aux|grep mysql查询Mysql服务状态和Mysql安装目录为/var/lib/mysql
ps aux|grep mysql
[root@instance-1p55pphp ~]# ps aux|grep mysql
mysql      936  0.0  0.0 113416  1608 ?        Ss   11:14   0:00 /bin/sh /usr/bin/mysqld_safe --basedir=/usr
mysql     1183  2.5  3.4 1637644 279076 ?      Sl   11:14   0:59 /usr/libexec/mysqld --basedir=/usr --datadir=/var/lib/mysql --plugin-dir=/usr/lib64/mysql/plugin --log-error=/var/log/mariadb/mariadb.log --pid-file=/var/run/mariadb/mariadb.pid --socket=/var/lib/mysql/mysql.sock
root      5820  0.0  0.0 112816   972 pts/0    S+   11:54   0:00 grep --color=auto mysql
  • 查看Mysql的配置文件
cat /etc/my.cnf
[mysqld]
datadir=/var/lib/mysql
socket=/var/lib/mysql/mysql.sock
# Disabling symbolic-links is recommended to prevent assorted security risks
symbolic-links=0
# Settings user and group are ignored when systemd is used.
# If you need to run mysqld under a different user or group,
# customize your systemd unit file for mariadb according to the
# instructions in http://fedoraproject.org/wiki/Systemd

[mysqld_safe]
log-error=/var/log/mariadb/mariadb.log
pid-file=/var/run/mariadb/mariadb.pid

#
# include all files from the config directory
#
!includedir /etc/my.cnf.d
  • 查看Mysql的数据库文件,发现ibdata1文件很大,有6.8G
cd /var/lib/mysql
[root@instance-1p55pphp mysql]# du -sh *
16K	aria_log.00000001
4.0K	aria_log_control
6.8G	ibdata1
5.0M	ib_logfile0
5.0M	ib_logfile1
1004K	mysql
0	mysql.sock
212K	performance_schema
2.3M	zabbix
  • ibdata1 是什么?
ibdata1是InnoDB的共有表空间,默认情况下会把表空间存放在一个文件ibdata1中,会造成这个文件越来越大.
  • ibdata1文件增大的原因有哪些?

原因1:使用InnoDB共享表空间存储数据

参数innodb_file_per_table,控制innodb引擎采用共享表空间存储还是独立表空间存储。

参数innodb_file_per_table为OFF时,innodb采用共享表空间存储。除了存储上面的内容外,新创建表的数据和索引也存放在ibdata1文件中。所以,随着表数目和数据量的增长,ibdata1文件也会逐渐增长。

参数innodb_file_per_table为ON时,innodb采用独立表空间存储。新创建表的数据和索引存放在各自的ibd文件中。ibdata1文件只存储上述内容,一般情况下,文件并不会有明显增长。

这种情况,ibdata1文件在主从间会同步增长。

原因2:UNDO LOG堆积

InnoDB为了实现MVCC多版本并发控制,通过记录更新操作的undo log和redo log来实现。而innoDB的undo log是存放在ibdata1共享表空间的。undo log堆积,是导致ibdata1文件增大的主要原因。这种ibdata1增长的情况一般发生在主库,从库采用单线程同步一般不会有明显问题。

导致undo log堆积的常见场景:

事务长期间不提交或回滚,导致undo log堆积

当事务A对一行数据进行修改时,InnoDB会把对事务A可见的旧版本数据存储一份在undo log中,如果此时又有事务B要修改这行数据,InnoDB又会把对事务B可见的旧版本数据再存储一份在undo log中,以此类推。 如果这条数据当前有N个事务要对其进行修改,那么innoDB就会存储N份历史版本的undo信息。而这些undo信息就存放在ibdata1文件中,这是导致ibdata1增大的主要原因之一。常见的情况:如load data操作;大量并发事务;旧事务长时间不提交或回滚。

为保证大事务中读请求MVCC一致性导致undo log堆积

事务中读取大量数据的SQL长时间不能提交或回滚。在事务开始到事务提交或回滚前的这段时间内,为保证MVCC读版本一致性,对事务要读取表的数据的所有修改操作产生的undo log就一直无法被purge掉造成堆积,从而导致ibdata1增大。这也是导致ibdata1增大的主要原因之一。 常见的情况,如mysqldump逻辑备份时加了–single-transaction,同时其他事务对备份的表有大量的更新操作。

解决方案

MariaDB开启独享表空间

  • 使用独享表空间,将表空间分别单独存放。MySQL开启独享表空间的参数是Innodb_file_per_table,会为每个Innodb表创建一个.ibd的文件。
  • 导出数据库中所有数据
mysqldump -u root -p --all-database > /root/all-database.dump
  • 删除数据库中数据
mysql -u root -p
MariaDB [(none)]> drop database zabbix;
  • 停止MySQL/MariaDB
systemctl stop mysqld.service     #(用于Mysql)
systemctl stop mariadb.service     #(用于MariaDB)
  • 删除ibdata1文件(移动到/tmp下)
mv /var/lib/mysql/ibdata1 /tmp
mv /var/lib/mysql/ib_logfile0 /tmp
mv /var/lib/mysql/ib_logfile1 /tmp
  • 修改my.cnf配置,增加innodb_file_per_table参数,innodb_file_per_table=1
vi /etc/my.cnf
[mysqld]
innodb_file_per_table=1
  • 启动MySQL/MariaDB
systemctl start mysqld.service     #(用于Mysql)
systemctl start mariadb.service     #(用于MariaDB)

优化MariaDB内存占用

  • 修改table_open_cache的值
vi /etc/my.cnf
在mysqld下面添加table_open_cache = 512,我这里预设的值是512,已经可以满足我服务的快速缓存访问了。如果你的表很多,或者并发很多的话,估计这个值需要调大的。
  • 修改table_open_cache的值后,mariadb所占用的内存有所下降,从优化前的4.5G,下降到3G。
Zabbix的Mysql数据库内存占用高问题分析与处理

文章来源:https://www.cnaaa.net,转载请注明出处:https://www.cnaaa.net/archives/6471

(0)
打赏 微信扫一扫 微信扫一扫 支付宝扫一扫 支付宝扫一扫
上一篇 2022年12月23日 下午5:37
下一篇 2023年1月1日 下午8:30

相关推荐

  • Linux系统之nethogs命令

    1.简介 NetHogs是一个小型的net top工具,不像大多数工具那样拖慢每个协议或者是每个子网的速度而是依照进程进行带宽分组。 NetHogs不需要依赖载入某个特殊的内核模块。 假如发生了网络堵塞你能够使用NetHogs立即看到哪个PID形成的这种情况。 这样就很容易找出哪个程序突然长时间占用你的带宽。 NetHogs是一个类似于Linux的top指令…

    2023年9月19日
    2100
  • Sql server windows nt 64bit 内存占用过高解决办法

    首先说明,如果单纯的就是内存不断慢慢增高,那您可以看这篇文章。配置一些sql server所占用的最大内存即可解决: 内存占用居高不下 现象:         1.重启sql服务后,sql服务以没秒100M的速度在吞噬着内存         2.用管理工具登录sql发现非常卡,很…

    2022年11月29日
    2.4K00
  • smokeping修改Ping间隔和Ping包数量

    1、复制 所有带*.dist 2、修改httpd.conf 配置文件 3、修改 /usr/local/smokeping/etc/config

    2022年11月26日
    23700
  • rsync的搭建与使用

    rsync是数据镜像备份工具。使用快速增量备份工具Remote Sync可以远程同步,支持本地复制,或者与其他SSH、rsync主机同步。 已支持跨平台,可以在Windows与Linux间进行数据同步。 Ubuntu安装 Centos安装 基本用法 rsync语法有三种,分别是本地到本地形式Local to Local,本地到远程Local to Remot…

    2022年11月19日
    19800
  • Centos7 安装GUI图形界面-VNC远程连接

    VNC需要系统安装的有桌面,如果是生产环境服务器,安装时使用的最小化安装,那么进行下面操作按章GNOME 桌面。 # 列出的组列表里有GNOME Desktop。 #安装 # 安装完成后,修改默认启动方式为图形化界面 # 如果要换回来 #然后重启系统即可 ———————&#8…

    2023年5月11日
    16600

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

在线咨询: QQ交谈

邮件:712342017@qq.com

工作时间:周一至周五,8:30-17:30,节假日休息

关注微信