許多ntop產品,如ntopng、nProbe和PF_RING FT等都是基于網絡流的。然而,并不是所有的用戶都詳細知道什么是網絡流,以及它在實踐中是如何工作的。這篇文章描述了它們是什么以及它們在實踐中是如何工作的。
什么是網絡流量?
網絡流是一組具有公共財產的數據包。它們通常由5元組密鑰標識,這意味著給定流的所有數據包都具有相同的源和目的IP、源和目的端口以及應用協議(例如TCP)。在實踐中,流密鑰還至少包括VLAN Id,并且最終包括諸如封裝業務的隧道ID之類的其他屬性。流是一種通過使用公共密鑰對數據包進行聚類然后對流量進行分類的方法,它與運行netstat-na等命令時在計算機上看到的情況類似。每個流都有各種計數器,用于跟蹤流數據包/字節和各種其他屬性,如流計時器(第一個和最后一個流數據包的時間)、統計信息(重傳、數據包無序等)和安全屬性(例如流風險)。
流量是如何存儲在內存中的?
網絡流保存在一個名為流緩存的數據結構中(通常使用哈希表實現),該數據結構不斷地提供傳入的數據包。流高速緩存在存儲器中存儲活動流(即,當接收到屬于流的分組時仍然活動的那些流)。下面您可以看到ntopng如何顯示實時流緩存及其5元組密鑰。
網絡流何時開始?
一旦觀察到第一個流分組,網絡流就開始。在啟動時,流緩存是空的,并且隨著數據包的接收而被填滿。對每個傳入的數據包進行解碼,并計算流密鑰。在流緩存中搜索這樣的密鑰:如果沒有找到,則向流緩存中添加新的條目,否則更新具有這樣的密鑰的現有條目,即更新流數據包/字節和計時器的計數器。因此,本質上,當觀察到第一個流分組時,流就開始了。
網絡流何時結束?
每個流都有兩個老化計時器:空閑計時器(它跟蹤自接收到最后一個流數據包以來已經過去了多少時間)和持續時間計時器(它記錄流持續的時間)。當這兩個老化定時器中的一個到期時,即當流空閑太長(例如,有一段時間沒有接收到分組)或當流在流高速緩存中存儲太長時,流結束。在nProbe和PF_RING FT中,當流過期時,它將從流緩存中刪除并發送到收集器。相反,在ntopng中,從流緩存中刪除流只是為了空閑,因為持久流不會從緩存中刪除。原因是像nProbe這樣的流量探測器需要定期向收集器(例如ntopng)報告有關監控流量的信息,因此流量會被“剪切”并發送到收集器。相反,在ntopng中,不需要通知收集器,因此只要在首選項中配置了必要的內容,流就會留在內存中。
流的關鍵點和方向
如果流是在接收到第一個流數據包時創建的,那么我們可以將流客戶端視為真正的網絡客戶端。例如,從主機1.2.3.4上的客戶端到主機5.6.7.8的SSH,這種通信的流程將是1.2.3.4:X<->5.6.7.8:22(我們假設SSH在端口22上運行)。看起來是對的吧?但有時你會看到,在流緩存中,這樣的流被報告為5.6.7.8:22<->1.2.3.4:X。為什么?這可能是由于各種原因造成的:
應用程序(例如ntopng)在流開始后啟動,ntopng觀察到的第一個數據包是5.6.7.8:22->1.2.3.4:X,而不是1.2.3.4:X->5.6.7.8:22。
流使用正確的密鑰存儲在緩存中,但有一段時間(例如2分鐘)沒有交換數據包,因此應用程序已將流聲明為過期,并將其從流緩存中刪除。然后,如果突然觀察到一個新的數據包,則該數據包可能會被發送到錯誤的方向(例如5.6.7.8:22->1.2.3.4:X),因為這可能是服務器的保存數據包。在這種情況下,流以相反的方向(9,因此是錯誤的)放置在高速緩存中。
可以配置ntopng(通過首選項)和nProbe(使用帶有-t和-d的命令行)流超時,因此這些問題得到了緩解(盡管沒有完全解決)。然而,僅僅調整超時是不夠的,特別是對于UDP流,因為與TCP相反,沒有TCP標志可以用來猜測真實的流方向。因此,ntopng實現了一些啟發式來交換流向,但這種啟發式不能太激進,因為我們可能會報告無效信息。
我們希望這篇文章能讓大家明白基于流量的網絡流量分析是如何工作的,以及為什么有時會觀察到一些“意外”行為,不是因為漏洞,而是因為這些測量的性質。
虹科網絡流量監控產品介紹
虹科提供網絡流量監控與分析的軟件解決方案-ntop。該方案可在物理,虛擬,容器等多種環境下部署,部署簡單且無需任何專業硬件即可實現高速流量分析。解決方案由多個組件構成,每個組件即可單獨使用,與第三方工具集成,也可以靈活組合形成不同解決方案。包含的組件如下:
PF_RING:一種新型的網絡套接字,可顯著提高數據包捕獲速度,DPDK替代方案。
nProbe:網絡探針,可用于處理NetFlow/sFlow流數據或者原始流量。
n2disk:用于高速連續流量存儲處理和回放。
ntopng:基于Web的網絡流量監控分析工具,用于實時監控和回溯分析。
-
網絡
+關注
關注
14文章
7582瀏覽量
88949 -
流量
+關注
關注
0文章
245瀏覽量
23908
發布評論請先 登錄
相關推薦
評論