前言

大家好，這里是浩道linux，主要給大家分享linux、python、網絡通信相關的IT知識平臺。

今天浩道跟大家分享硬核監控干貨，一文帶大家學習系統監控相關知識及釘釘機器人告警腳本編寫！

一、背景

當前不同的公司服務器較多，在項目開發、部署和演示過程多次遇到服務器無故宕機的情況，另外各服務器上部署的中間件也存在無故下線的情況，如果出現以上情況就特別棘手，而技術人員無法第一時間感知。

二、操作說明
1、檢查服務器curl命令是否可用

（1）調用相關命令進行檢查

#查看當前版本
curl--version
#檢查網站是否可達，若html顯示在屏幕上則證明命令可用
curlhttp://www.baidu.com

（2）如果無法調用，則可參照文章進行curl安裝

https://blog.csdn.net/qq_38215042/article/details/108768839

2、shell文件配置

（1）當前是將服務器CPU相關監聽和中間件的Shell腳本文件分開設置的，主要是考慮到文件過大，在配置修改和定時命令執行時出現問題不好排查，執行時間也會比較耗時。

（2）在相應的shell腳本文件中，已經將配置可能要修改點作了標記，可根據實際情況進行針對性修改。

（3）在shell腳本修改完成后，查看腳本是否執行權限，沒有則調用命令進行設置

#將sh文件添加可執行權限
chmodu+xdingtalk.sh
#或設置全部權限
chmod777dingtalk.sh

（4）權限設置后，可先調用執行一下，檢查下是否有格式問題

./dingtalk.sh或相對路徑執行./home/admin/server/dingtalk.sh

3、定時任務創建
定時任務常用命令如下

crontab-u//設定特定用戶的定時服務
crontab-l//列出當前用戶定時服務內容
crontab-r//刪除當前用戶的定時服務
crontab-e//編輯當前用戶的定時服務
在設定編輯之前都建議列出服務查看一下：crontab -l


#對cron定時任務列表進行編輯
crontab-e
#i進行修改，ESC鍵退出編輯，;wq保存并退出
#每五分鐘執行一次
*/5****shxx.sh
#每半小時執行一次
*/30****shxx.sh
#每天的15時25分執行一次
2515***shxx.sh

#中間件腳本文件
*/5****sh/home/admin/server/dingtalk.sh
#服務器腳本文件
*/5****sh/home/admin/server/dingtalk_server.sh

命令說明

4、定時任務執行情況檢查

#進入定時任務log下
cd/var/log
#查看定時任務是否調用
tail-fcron

三、Shell配置說明
1、服務器CPU、內存、磁盤監控腳本

#!/bin/bash

#【配置1】要@的人員手機號碼，此處的手機號必須和釘釘上的一致
user="17858888888"
#user1="13888888888"
#user2="XXXX"

#【配置2】網卡配置（可選），此處配置的是想要展示的ip地址，使用ifconfig查看inet對應的ip
ifconfig="eth0"

#主機信息
Date=`date+%Y-%m-%d`
Date_time=`date"+%Y-%m-%d--%H:%M:%S"`
Host_name=`hostname`
IP_addr=`ifconfig$ifconfig|grep"inet"|awk'NR==1{print$2}'`

#獲取cpu使用率
cpuUsage=`top-b-n1|fgrep"Cpu(s)"|tail-1|awk-F'id,''{split($1,vs,",");v=vs[length(vs)];sub(/s+/,"",v);sub(/s+/,"",v);printf"%d",100-v;}'`

#獲取磁盤使用率
data_name="/"
diskUsage=`df-h|grep-w$data_name|awk-F'[%]+''{print$5}'`

#統計內存使用率
mem_used_persent=`free-m|awk-F'[:]+''NR==2{printf"%d",($2-$7)/$2*100}'`

#【配置3】釘釘webhook
Dingding_Url="https://oapi.dingtalk.com/robot/send?access_token=xxxxxx"


#【配置4】服務監聽-發送釘釘消息，消息內容可修改
#at中atMobiles為數組結構，可添加上面配置的user1、user2等,可根據不同的業務@指定的人員，isAtAll是否@所有人設置
functionSendServerMessageToDingding(){
curl${Dingding_Url}-H'Content-Type:application/json'-d'{
"msgtype":"text",
"text":{"content":"服務監控:
服務器資源耗盡警告，請盡快處理！
巡查時間：'${Date_time}'
IP地址：'${IP_addr}'
資源狀況如下:
【CPU可用：'${cpuUsage}'%】
【磁盤使用率：'${diskUsage}'%】
【內存使用率：'${mem_used_persent}'%】"},
"at":{"atMobiles":['${user}'],"isAtAll":false}
}'

}

#【配置5】此處可根據服務器的實際情況，進行閾值調整
functionserverCheck(){
if[["$cpuUsage">75]]||[["$diskUsage">90]]||[["$mem_used_persent">90]];
then
SendServerMessageToDingding
fi
}
serverCheck

2、中間件監控腳本

#!/bin/bash

#【配置1】中間件端口設置
Port_Nginx="80"
Port_MySQL="3306"
#...此處省略多個端口，可添加該服務器上的其他中間件配置
#Port_Nacos="xxx"
#Port_ElesticSearch="xxx"

#【配置2】網卡配置（可選），此處配置的是想要展示的ip地址，使用ifconfig查看inet對應的ip
ifconfig="eth0"

#【配置3】要@的人員手機號碼，此處的手機號必須和釘釘上的一致
user="17858888888"
#user1="13888888888"
#user2="XXXX"

#主機信息
Date=`date+%Y-%m-%d`
Date_time=`date"+%Y-%m-%d--%H:%M:%S"`
Host_name=`hostname`
IP_addr=`ifconfig$ifconfig|grep"inet"|awk'NR==1{print$2}'`

#【配置4】中間件監控項
Nginx_status=`netstat-lntup|grep-w"$Port_Nginx"|wc-l`':Nginx'
MySQL_status=`netstat-lntup|grep-w"$Port_MySQL"|wc-l`':MySQL'
#...此處省略多項，按照自己需求配置即可，同上
#flink_status=`netstat-lntup|grep-w"$Port_flink"|wc-l`':flink'

#【配置5】釘釘webhook，此處為添加的釘釘機器人webhook,當前為已經添加使用的webhook
Dingding_Url="https://oapi.dingtalk.com/robot/send?access_token=xxxxxxx"

#【配置6】應用掛機-發送釘釘消息，消息內容可修改
#at中atMobiles為數組結構，可添加上面配置的user1、user2等,可根據不同的業務@指定的人員，isAtAll是否@所有人設置
functionSendDownMessageToDingding(){
curl-s"${Dingding_Url}"-H'Content-Type:application/json'-d"
{
'msgtype':'text',
'text':{'content':'服務監控
$1服務down，請盡快處理！
巡查時間：${Date_time}
IP地址：${IP_addr}
'},
'at':{'atMobiles':['${user}'],'isAtAll':false}
}"

}

#【配置7】應用恢復-發送釘釘消息，消息內容可修改
#at中atMobiles為數組結構，可添加上面配置的user1、user2等,可根據不同的業務@指定的人員，isAtAll是否@所有人設置
functionSendUpMessageToDingding(){
curl-s"${Dingding_Url}"-H'Content-Type:application/json'-d"
{
'msgtype':'text',
'text':{'content':'服務監控
$1服務已恢復正常運行！
巡查時間：${Date_time}
IP地址：${IP_addr}
'},
'at':{'atMobiles':['${user}'],'isAtAll':false}
}"

}

#【配置8】logpath，將消息記錄到指定日志目錄
log_path="/home/logs"

#【配置9】遍歷--此處要配置【中間件】服務的信息，根據情況在in{$xxx,$yyy.....}中進行添加中間件
foriin{$Nginx_status,$MySQL_status}
do
statcode=`echo$i|awk-F':''{print$1}'`
name=`echo$i|awk-F':''{print$2}'`
old_statcode=`head-n1${log_path}/${name}.log`
if[$statcode-lt1]
then
if[$old_statcode-lt1]
thenecho"[ERROR]$nameisstillstopped!Status_code=$statcode"
else
echo"[ERROR]$nameisstopped!Status_code=$statcode"
SendDownMessageToDingding$name
fi
else
if[$old_statcode-ge1]
thenecho"[INFO]$nameisstillrunningnormally!Status_code=$statcode"
else
echo"[INFO]$namereturnedtonormalfunction!Status_code=$statcode"
SendUpMessageToDingding$name
fi
fi
echo$statcode>${log_path}/${name}.log
done

審核編輯：湯梓紅