概述

浙江省微波毫米波射頻產業聯盟

旗下杭州基爾區塊鏈科技有限公司專注于采用區塊鏈技術、高性能計算技術為電子系統、航空航天、集成電路等領域企業研發提供創新一體化解決方案。基爾科技以區塊鏈基礎平臺，協同研發云平臺為主要產品形式，為企業提供集成知識產權保護、遠程接入、工程設計、高性能分布式計算、軟硬件管理，數據管理的一體化解決方案，幫助企業快速、高效、低成本地實現產品迭代開發和上市銷售。

大型陣列天線設計的HPC需求

在過去幾十年里，天線廣泛應用于廣播、電視、無線電通信、雷達、導航、電子對抗、遙感、射電天文等領域。隨著現代無線通信和雷達快速發展，天線和陣列也變得越來越復雜，例如具有更多程度的設計自由度、集成和制造限制以及設計目標。天線設計遵循著收發強質量且無環境影響信號的原則，因此速度、精度、功率、成本和尺寸是天線設計系統的重要參數。
? ? ? ?HFSS是設計天線的一個重要工具，基于有限元方法，擅長包括天線設計和布置在內的各種高頻、全波、電磁應用，是一款業界領先的三維電磁(EM)仿真工具。近年來，天線的小型化、有限的信道帶寬、縮短的設計時間以及天線與其他組件的相互作用給設計工程師帶來了嚴峻的挑戰。在天線的仿真計算過程中，HFSS自適應網格剖分耗時較久，剖分后的頻點求解過程復雜。為了減少網格剖分細化的迭代時間，提高掃頻計算速度，幫助設計師更快地完成天線設計任務，需要搭建適合業務場景的HPC設計平臺。

HPC設計平臺介紹

HPC設計平臺概述

一套完整的HPC設計平臺，由基礎硬件與平臺管理軟件兩部分組成。硬件層面，服務器、網絡、存儲三類硬件是平臺能夠良好運行的基礎條件。針對不同的產品設計階段，三類硬件所發揮的功能和要求的性能指標也不一樣，在搭建基礎平臺時，如果沒有針對公司的產品和不同的設計需求進行個性化配置，很容易造成設計資源不足，由于某個環境、節點瓶頸造成的整體性能下降問題。因此在規劃HPC設計平臺的初期，就應該針對公司產品不同的類型和設計要求，有選擇的進行基礎硬件的配置，盡可能的在同樣預算的情況下，配置最優組合，既能滿足使用要求，又能不造成硬件的過度投入，擠壓了后續的擴展需求組。

HPC設計平臺環境中節點眾多，應用環境復雜，使用人數較多，需要一套專業、簡易的平臺管理軟件對集群進行系統的管理、配置、維護，方便用戶進行產品設計與大規模分布式計算。一款成熟的平臺軟件可以幫助系統管理員快速完成對設計環境、應用程序的部署，嚴格控制用戶權限，可對單一節點或者批量執行節點的開機、關機、刪除、允許，拒絕提交計算任務的操作。用戶通過平臺管理軟件可以觀察節點的設備狀態，通過命令行、WEB界面、應用軟件集成界面、作業腳本和可執行文件等多種方式靈活進行大規模的分布式計算仿真。總的來說，平臺管理軟件幫助用戶提高大規模計算集群的使用效率，減輕集群運維負擔。

HFSS仿真計算特點

圖1??HFSS軟件運行過程

1. 網格自適應剖分主要依賴于CPU的基頻。天線模型越復雜，網格剖分時間越久，只關注CPU的核數而忽略頻率，并不會提高仿真速度。
? ? ? ?2. 頻點求解過程是多核并行計算的結果。由于剖分的單核計算占比較長，并行度有限，需要提供足夠的核數和高頻，以保證整個求解過程無死角瓶頸。
? ? ? ?3. HFSS計算過程是單核和多核交叉過程，對GPU要求不高。圖形的幾何頂點數據的計算，都是由CPU計算承擔的，主要依靠單核，圖卡任務得到圖形的幾何頂點數據生成圖形，因此要讓復雜模型流暢，顯卡任務輕松，只有提升CPU頻率解決。
? ? ? ?基于上述計算特點，采用平臺管理軟件配合HFSS使用，在網格求解階段使用高主頻，少核的硬件，在掃頻或者掃參階段使用多核，中主頻的硬件，可以有效提高單任務和多任務仿真的速度和計算資源的使用效率。

硬件配置推薦

硬件詳細參數

HFSS所能計算的問題規模與HPC計算平臺的硬件配置CPU速度、內存容量、硬盤IO很大關聯，內存容量越多，求解規模越大，CPU頻率越高，計算速度越快。

基于HFSS仿真計算特點的分析，推薦使用2U 4節點高密度服務器，詳細硬件參數推薦如下：

★ CPU：

網格剖分采用Intel@Xeon@ Golden 6244處理器，掃頻與掃參采用Intel@Xeon@ Golden 6248R處理器，14nm制程，在基礎頻率與內存頻率相匹配的情況下，單顆CPU可最大支持1TB內存，6個內存通道。

高密服務器每節點支持2顆CPU，設備配滿8顆CPU，共有160核。

★?內存

主要關注內存容量、通道數量和內存速度。建議使用大于2933MHz的內存，插滿DIMM，每顆cpu的內存通道數跟內存條數相匹配。

★?硬盤

服務器的本地存儲建議選用全SSD，不要使用高速的SATA，性能差距較大。具有較短尋道時間的SSD將減少等待硬盤驅動器尋道讀取/寫入所有這些不同文件的時間，有助于數據后處理。

★?網卡

至少選擇10G網絡，大于2個節點并行可選擇IB互聯，隨集群規模增大，可以搭建更高速互聯（大于40 Gbps）。

高密服務器也可以換成浪潮i24或超聚變FusionServer X6000系列。

平臺管理軟件

KTeam是基爾科技自主研發的一套成熟的商業高性能協同設計管理軟件，系統架構可以分為硬件層、系統軟件層、集群軟件層、應用環境層和應用層，KTeam及其相關服務涵蓋了硬件層以上、應用層以下的三層，即系統軟件層、集群軟件層和應用環境層，這是保證行業應用能在集群硬件設備上運行的基本條件，如圖2所示：

圖2?平臺系統架構

注：EDA/CAE軟件 license需客戶自行提供

在集群軟件層，KTeam提供集群部署、工作臺、平臺管理、文件管理、用戶管理、集群監控、作業調度、作業調度管理、集群統計等功能模塊，同時提供網頁端實現界面交互操作界面。這些功能集中管理和監控系統中所有節點的資源，實現了整個集群系統的單一系統映像，使用戶感覺只是在使用一臺計算機。
? ? ? ?在應用軟件層，基爾科技在行業軟件領域具有豐富的應用經驗，幫助用戶完善其并行環境，完成實施后還將為用戶進行功能與性能測試，評估用戶集群效率，進行系統調優。
? ? ? ?普通用戶與系統管理員可通過Web界面對平臺系統進行操作和管理。KTeam主要包括KTeam Cockpit和KTeam Console兩個子套件，分別提供給前端普通用戶與后端系統管理員使用，功能模塊涵蓋工作臺、作業管理、文件管理、集群監控、數據統計、應用管理、用戶管理、日志管理、調度策略管理等。下圖是KTeam的軟件組成示意。

圖3?KTeam架構

KTeam為普通用戶提供了高效、實用的設計工作臺接入和使用方式，可從Web頁面上直接遠程接入指定工作臺，支持網頁端和客戶端兩種途徑。用戶可以通過共享桌面的方式將工作臺分享給其他用戶進行協同工作。用戶可以采用多種方式進行計算仿真作業的提交，包括命令行、Web界面、應用軟件界面、作業腳本和可執行文件。KTeam還具有豐富的文件管理功能，通過Web界面可進行瀏覽、新建、在線編輯、實時瀏覽、上傳、下載等操作，方便用戶進行文件管理。KTeam中核心的作業調度管理以適配多種高性能計算場景，如IC設計、電磁場仿真、結構，力，熱仿真、FPGA設計等，可實現對計算節點、隊列、調度策略、預留資源的配置，方便系統管理員對平臺進行資源管理，并且支持多種調度策略。同時系統管理員可控制用戶(組)的權限，控制每個用戶(組)的資源限額，防止內存溢出，過度消耗系統資源的情況出現。KTeam具有豐富的統計功能，針對用戶或用戶組提供小時、日、月的作業和應用軟件使用等統計信息,可依次生成不同格式的報表。KTeam的監控系統，可直觀的顯示集群拓撲視圖，節點的閑忙狀態。節點性能視圖中用戶可通過圖形方式，監控當前節點各部件的狀態，包括CPU平均使用率、內存使用率、磁盤剩余量，節點網絡吞吐率等。

HPC集群拓撲圖

圖4? HPC集群拓撲

1、高速計算節點采用前述服務器配置用于快速仿真；設計節點用于提供圖形環境，只繪制三維模型，不進行運算；

2、存儲節點提供數據共享及高速讀寫，預算充足情況下可選用集中式專業存儲如NetApp，Dell EMC，預算有限情況下可采用通用服務器搭建全閃存整列；

3、平臺管理軟件安裝于獨立服務器，用于統一管理平臺的仿真任務，提供大規模并發功能。作業并發功能集成于HFSS設計環境，不影響設計師設計習慣。

4、設計、計算、存儲采用萬兆網絡互連，降低數據傳輸延時，需要時也可升級至IB網絡。

?

客戶案例

某研究院天線設計室設備較為零散，多為仿真工作站，隨著部門任務增多，各型號平臺天線、相控陣天線及熱仿真等需求量不斷增加，經常出現多用戶并行作業，所以造成了服務器使用沖突、處理能力有限、訪問速度慢等問題。
? ? ? ?下圖為客戶提供32×32＝1024個天線陣列單元在高性能設計平臺進行HFSS仿真測試的結果。

模型測試條件如下：

仿真計算時長為原環境的三分之一：

基于客戶以上出現的痛點，基爾科技通過為客戶搭建HPC設計平臺，極大改善了客戶仿真時效、運算能力、數據管理、操作環境等嚴重滯后的情況。

審核編輯 ：李倩