小小的网络故障,带来深深的思考,运维的成败果然在于细节

早晨8点多,收到Zabbix的邮件告警,显示客户的戴尔服务器和爱快路由器掉线了,由于该客户的机房之前有过多次停电,症状当然也是如此这般,加上客户没有电话或者微信报修,就先入为主地判定为机房又停电了,因此未采取任何措施。

小小的网络故障,带来深深的思考,运维的成败果然在于细节

直到过了下班时间,客户才反馈:外网无法使用向日葵远程控制服务器。因为不止一次,也就直说了,是不是机房又没电。

客户反馈有电,照片显示服务器处于开机状态,爱快路由器也是一样。

嗯?这怎么可能,难道短暂停电后就恢复了,恢复的时候,Zabbix没有自动发邮件提醒我?

远程登录爱快,失败;登录爱快云后台查看,显示该路由器为离线状态;登录部署在云服务器里面的Zabbix,发现客户的戴尔服务器和爱快还是离线状态,并没恢复。

小小的网络故障,带来深深的思考,运维的成败果然在于细节

指导客户重启爱快,无效;难道是停电后掉配置了?客户都已经下班了,也就没有其他远程手段了,为了不影响客户第二天上班使用,于是驱车前往。

到了机房,首先把显示器接到爱快上,果然有宽带没连接上?Lan口也是已断开状态?

小小的网络故障,带来深深的思考,运维的成败果然在于细节

把键盘接上,顺手按了几下回车键,所有网卡显示为已连接,貌似没问题啊,奇怪。

既然如此,打开笔记本电脑,登录爱快路由器,准备检查问题所在;

小小的网络故障,带来深深的思考,运维的成败果然在于细节

原来是固定IP的城域网掉线了,这是爱快的默认链路,专供服务器和监控使用的,所以白天办公的时候,用户是感觉不到的,直到要远程操作服务器的时候,才发现网络有问题。路由器端口好好的,网卡的“眼睛”唰唰地眨着,于是转到机柜后面,一眼就看到某个光猫闪着红灯,好吧,电信光纤断了;

小小的网络故障,带来深深的思考,运维的成败果然在于细节

可是爱快云显示路由器处于掉线状态也太不应该了,其他几条拨号宽带不都是好好的在线么?

也许是配置不仔细吧,没有配置自动切换线路,另外几条拨号的宽带倒是都配置了,只是固定IP的城域网没配置,主要是太相信电信了,嘿嘿,现在赶紧补上吧,来都来了,是吧。

小小的网络故障,带来深深的思考,运维的成败果然在于细节

勾上“掉线自动切换”后,爱快云立刻显示路由器在线了,哪怕没有固定IP,在外网也能通过爱快云远程登录这台路由器了;

服务器上的向日葵,本以为会自动上线,结果重试了几次都无法上线,只能手动退出软件,重新开启后,才恢复连接;

先让客户这么用吧,暂时没什么大影响,只能明天早上再向电信报修线路故障了。

准备收拾东西走人,先备份一下爱快的配置吧,下次有问题的时候,能快速恢复;

小小的网络故障,带来深深的思考,运维的成败果然在于细节

反思:

1、由此看来,先入为主和经验主义的确是害了自己,接到客户报修就先把自己掘进坑里了,没有冷静、认真地分析,虽然也快速解决了问题,没影响客户使用,但是这一趟其实可以不用跑,单程40分钟,毕竟说远不远,说近也不近;

2、云端的Zabbix,配置为smnp轮询客户的设备,一旦固定IP的链路掉线,所有的监测肯定是全部失效了,如果是在服务器上安装了Zabbix agent,并且配置为主动模式,就能主动向Zabbix Server上报信息,配合爱快的“掉线自动切换”,云端的Zabbix就不会与被监测的服务器失联了,这样就很容易地判断出是固定IP的城域网掉线了。

3、不能太相信运营商,该做的配置,还得做细致做完整,免得有问题的时候,再费时费力地排查。

——笔者为网络工程师,擅长计算机网络领域,创业多年,希望把自己的经验分享给大家,觉得有用的,如有相同或者不同观点,欢迎评论。

文章来源:https://www.cnaaa.net,转载请注明出处:https://www.cnaaa.net/archives/11799

(0)
凯影的头像凯影
上一篇 2024年5月21日 下午3:33
下一篇 2024年5月22日 下午2:45

相关推荐

  • 一款好用的网络检测工具——mtr

    当客户端访问目标服务器或负载均衡,使用 ping 命令测试出现丢包或不通时,可以通过 MTR 等工具进行链路测试来判断问题来源。 mtr (My traceroute)是结合了 traceroute 命令和 ping 命令功能网络诊断工具。 mtr基本原理 网络诊断工具,例如 ping、traceroute、mtr 都使用的 “ICMP” 包来测试…

    2023年6月27日
    28500
  • 华为交换机恢复出厂设置的方法

    常用的三种恢复出厂配置的方法:长按PNP键恢复出厂配置、一键式恢复出厂配置,以及通过清空配置文件来恢复出厂配置。 1、长按PNP键恢复出厂配置 对于支持PNP键的设备,用户可通过长按(6秒以上)PNP键,使设备恢复出厂配置并自动重新启动。PNP键如下图所示。 2、一键式恢复出厂配置 在用户视图下,执行命令reset factory-configuration…

    2023年5月8日
    57600
  • 详解DNS BIND配置及原理

    简介 DNS,全称Domain Name System,是一个记录域名和IP地址互相映射的一个系统,可以将用户访问互联网中所使用的域名转换成对应的IP地址。通过域名得到对应的IP地址的过程被称为域名解析。DNS运行于UDP协议之上,使用53端口 DNS 解析过程 首先,客户端先在本地缓存查找是否有缓存域名,比如没有,客户端发送DNS请求IP地址或主机名,DN…

    2023年3月31日
    39200
  • 一分钟解决打不开网页的故障

    做IT外包N多年了,每天就是面对各种大大小小的报修,有些小事,也算值得一记,分享给各位。 本文讲述的是一个非常多见的问题——微信和QQ能正常收发消息,但是所有网页都打不开,这个问题具有一定的普遍性和高发性,所以,我也是再一次地发文讲述 客户报修给技术小伙,他当时正开车,就直接转发给我了,我一看这种问题,大概率就是DNS的问题,与其我再安排别的技术小伙,还不如…

    2024年5月17日
    8200
  • GoAccess – 实时 Apache 和 Nginx 日志分析工具

    一、使用yum方式安装goaccess1.2 操作系统环境 1.1、安装使用yum源 首先安装epel的yum源,否则系统中没有goaccess的包 1.2、安装依赖包 1.3、安装goaccess 1.4、调整goaccess配置 使用yum安装的goaccess,默认配置文件是在/etc/goaccess.conf 1.5、调整nginx.conf配置 …

    2023年9月14日
    30900

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注

在线咨询: QQ交谈

邮件:712342017@qq.com

工作时间:周一至周五,8:30-17:30,节假日休息

关注微信