在我們的日常生活工作中,經常會遇到需要上傳日志的場景,比如多臺機器運行同一個程序,并且需要記錄每臺機器程序產生的日志,根據相關關鍵詞告警,或者進行無數據告警,如果自己搭建這套系統需要耗費不少時間,因此如果能使用市面上現成的系統會很方便。
本文將教你如何通過阿里云日志服務搭建一套通過Python上傳日志、配置日志告警的監控服務。
1.準備
開始之前,你要確保Python和pip已經成功安裝在電腦上,如果沒有,可以訪問這篇文章:超詳細Python安裝指南 進行安裝。
**(可選1) **如果你用Python的目的是數據分析,可以直接安裝Anaconda:Python數據分析與挖掘好幫手—Anaconda,它內置了Python和pip.
**(可選2) **此外,推薦大家用VSCode編輯器,它有許多的優點:Python 編程的最好搭檔—VSCode 詳細指南。
請選擇以下任一種方式輸入命令安裝依賴 :
- Windows 環境 打開 Cmd (開始-運行-CMD)。
- MacOS 環境 打開 Terminal (command+空格輸入Terminal)。
- 如果你用的是 VSCode編輯器 或 Pycharm,可以直接使用界面下方的Terminal.
pip install aliyun-log-python-sdk
接下來,登陸阿里云控制臺,進入日志應用,通過下面的步驟創建日志Project和Logstore:
點擊Python - SDK 寫入,再根據你的需要創建Project和Logstore:
隨后會進入這個頁面,直接點擊確定即可:
2.使用阿里云SDK上傳Python日志
為了使用阿里云SDK上傳日志,我們需要先獲取Access Token, 將鼠標移動到右上角頭像上點擊AccessKey管理:
然后點擊創建AccessKey,輸入相關驗證信息就能獲取 accessKeyId 和 accessKey:
編寫Python代碼,配置AccessKey和你在第一步驟創建的Project及logstore名稱:
from aliyun.log import LogClient, PutLogsRequest, LogItem, GetLogsRequest, IndexConfig
import time
# 配置AccessKey、服務入口、Project名稱、Logstore名稱等相關信息。
# 阿里云訪問密鑰AccessKey。更多信息,請參見訪問密鑰。
# 阿里云賬號AccessKey擁有所有API的訪問權限,風險很高。強烈建議您創建并使用RAM用戶進行API訪問或日常運維。
accessKeyId = "你的AccessKey ID"
accessKey = "你的AccessKey"
# 日志服務的域名。更多信息,請參見服務入口。此處以廣州為例,其它地域請根據實際情況填寫。
endpoint = "cn-guangzhou.log.aliyuncs.com"
# 創建日志服務Client。
client = LogClient(endpoint, accessKeyId, accessKey)
# Project名稱。
project_name = "aliyun-test-project"
#Logstore名稱
logstore_name = "aliyun-test-logstore"
# 查詢語句。
query = "*| select dev,id from " + logstore_name
# from_time和to_time表示查詢日志的時間范圍,Unix時間戳格式。
from_time = int(time.time()) - 3600
to_time = time.time() + 3600
然后我們就可以編寫Python代碼創建索引(日志的索引可以理解為MySQL中的數據庫)和插入日志了:
# 向Logstore寫入數據。
def put_logs():
print("ready to put logs for %s" % logstore_name)
log_group = []
for i in range(0, 100):
log_item = LogItem()
contents = [
('dev', 'test_put'),
('id', str(i))
]
log_item.set_contents(contents)
log_group.append(log_item)
request = PutLogsRequest(project_name, logstore_name, "", "", log_group, compress=False)
client.put_logs(request)
print("put logs for %s success " % logstore_name)
time.sleep(5)
if __name__ == '__main__':
# 向Logstore寫入數據。
put_logs()
運行程序后出現對應的提示,說明日志上傳成功:
python test.py
# ready to put logs for tradingview
# put logs for tradingview success
進入控制臺對應的Project,你會看到剛剛上傳的日志已經顯示在上面:
3.配置日志告警
日志告警的配置也非常簡單,輸入你的查詢條件,獲得輸出后點擊上方另存為告警:
在查詢統計中添加你需要監控并觸發告警的條件,比如我設置出現一次該日志的時候觸發告警:
效果如下,我這里文本配置得太簡單了,你也可以在標注中配置復雜一點的文本:
用起來挺方便的,如果你有類似的多機器日志監控服務,比如分布式模型訓練監控、交易服務監控等等,可以考慮使用這個日志服務。
-
監控
+關注
關注
6文章
2233瀏覽量
55310 -
編輯器
+關注
關注
1文章
806瀏覽量
31257 -
日志
+關注
關注
0文章
138瀏覽量
10666 -
python
+關注
關注
56文章
4807瀏覽量
84945
發布評論請先 登錄
相關推薦
評論