• • 排查順序
  • 方法論
  • 性能分析工具
  • CPU分析思路
  • 內(nèi)存分析思路
  • IO分析思路
  • 網(wǎng)絡分析思路
  • 基準測試工具
  • 參考

排查順序

1. top/htop/atop命令查看進程/線程、CPU、內(nèi)存使用情況，CPU使用情況；
2. dstat 2查看CPU、磁盤IO、網(wǎng)絡IO、換頁、中斷、切換，系統(tǒng)I/O狀態(tài);
3. vmstat 2查看內(nèi)存使用情況，內(nèi)存狀態(tài)；
4. iostat -d -x 2查看所有磁盤的IO情況，系統(tǒng)I/O狀態(tài)；
5. iotop查看IO靠前的進程，系統(tǒng)的I/O狀態(tài)；
6. perf top查看占用CPU最多的函數(shù)，CPU使用情況；
7. perf record -ag -- sleep 15;perf report查看CPU事件占比，調(diào)用棧，CPU使用情況；
8. sar -n DEV 2查看網(wǎng)卡的吞吐，網(wǎng)卡狀態(tài)；
9. /usr/share/bcc/tools/filetop -C查看每個文件的讀寫情況，系統(tǒng)的I/O狀態(tài)；
10. /usr/share/bcc/tools/opensnoop顯示正在被打開的文件，系統(tǒng)的I/O狀態(tài)；
11. mpstat -P ALL 1 單核CPU是否被打爆；
12. ps aux --sort=-%cpu按CPU使用率排序，找出CPU消耗最多進程；
13. ps -eo pid,comm,rss | awk '{m=$3/1e6;s["*"]+=m;s[$2]+=m} END{for (n in s) printf"%10.3f GB %s\n",s[n],n}' | sort -nr | head -20統(tǒng)計前20內(nèi)存占用；
14. awk 'NF>3{s["*"]+=s[$1]=$3*$4/1e6} END{for (n in s) printf"%10.1f MB %s\n",s[n],n}' /proc/slabinfo | sort -nr | head -20統(tǒng)計內(nèi)核前20slab的占用；

1. pidstat 2 -p 進程號查看可疑進程CPU使用率變化情況；
2. pidstat -w -p 進程號 2查看可疑進程的上下文切換情況；
3. pidstat -d -p 進程號 2查看可疑進程的IO情況；
4. lsof -p 進程號查看進程打開的文件；
5. strace -f -T -tt -p 進程號顯示進程發(fā)起的系統(tǒng)調(diào)用；

1. ethtool -S查看網(wǎng)卡硬件情況；
2. cat/proc/net/softnet_stat/ifconfig eth1 查看網(wǎng)卡驅(qū)動情況；
3. netstat -nat|awk '{print awk $NF}'|sort|uniq -c|sort -n查看連接狀態(tài)分布；
4. ss -ntp或者netstat -ntp查看連接隊列；
5. netstat -s 查看協(xié)議棧情況；

方法論

性能分析工具

CPU分析思路

內(nèi)存分析思路

IO分析思路

網(wǎng)絡分析思路

基準測試工具

• 在文件系統(tǒng)和磁盤 I/O 模塊中，我們使用 fio 工具，測試了磁盤 I/O 的性能。
• 在網(wǎng)絡模塊中，我們使用 iperf、pktgen 等，測試了網(wǎng)絡的性能。
• 而在很多基于 Nginx 的案例中，我們則使用 ab、wrk 等，測試 Nginx 應用的性能。

參考

• 相當一部分內(nèi)容來自極客時間出品的倪鵬飛專欄《Linux性能優(yōu)化》, 這是之前這個專欄的學習筆記。
• 另一份資料是IBM紅寶書Linux性能調(diào)優(yōu)指南。
• 此外，The Linux Documentation Project是一個非常好的資料庫。
• 將硬件中斷的處理任務分配個多個CPU：SMP affinity and proper interrupt handling in Linux
• Hidden Costs of Memory Allocation
• https://www.lijiaocn.com/soft/linux/

END

ARM嵌入式開發(fā) · 嵌入式產(chǎn)品與方案

開發(fā)板/核心板/主板/整機

OEM/ODM