CFD(Computational Fluid Dynamics,計算流體動力學)是一種利用計算機來解決工程流體流動問題的方法,具體方法是數(shù)值計算,通過計算機求解流體流動過程中的質(zhì)量傳遞、能量傳遞、動量傳遞以及化學反應(yīng)問題,不受物理模型和實驗?zāi)P偷南拗疲″X省時,可以模擬真實條件和實驗中很難達到的理想條件。
Fluent算得上應(yīng)用最廣泛的CFD應(yīng)用了。2006年5月,正式成為Ansys大家庭中的重要成員,共享先進的Ansys公共CAE技術(shù)。
數(shù)值計算方法有幾個難點:
1、很大程度上依賴于經(jīng)驗與技巧;
2、數(shù)值處理方法可能導(dǎo)致計算結(jié)果不真實;
3、因為涉及大量數(shù)學計算,有很高的計算資源需求。隨著應(yīng)用的物理建模不斷精細,數(shù)值模擬分辨率越來越高,對計算能力的要求也越來越高。
當求解問題規(guī)模越來越大,網(wǎng)格數(shù)上升到幾千萬甚至上億的時候,如何讓Fluent仿真任務(wù)在更短的時間迭代收斂呢?
面對永無止境的計算需求,我們主要發(fā)揮作用就在第三點上。
今天我們通過一個實證來看看具體怎么實現(xiàn)。
用戶需求
某高校實驗室使用Ansys Fluent進行基于化學反應(yīng)模型的CFD流體仿真,因科研項目需要結(jié)題,需要在一周內(nèi)完成10多個case的運算。
該實驗室有80核本地資源,通常情況都是單機跑,沒有集群環(huán)境。根據(jù)以往經(jīng)驗推斷,要完成這組任務(wù)需要花費至少45天才能完成。
實驗室老師也考慮過使用超算。
但一方面,超算的使用門檻比較高,且應(yīng)用需要用戶配置,無法做到開箱即用,他們更習慣拖拉曳的圖形界面操作方式。
另一方面,該實驗室迫切需要能夠在短時間內(nèi)使用比較大規(guī)模的算力資源,而超算沒這么快,需要等。
我們從整體規(guī)模、使用體驗、計費方式、商用門檻、更新周期、合作生態(tài)、云端支持七個角度對超算和云計算進行了全方位的對比,有興趣可以看一下《國內(nèi)超算發(fā)展近40年,終于遇到了一個像樣的對手》
實證目標
1、Fluent任務(wù)能否在云端有效運行?
2、fastone能夠短時間內(nèi)獲取大量算力資源,大幅度縮短項目周期?
3、Fluent應(yīng)用的高效率并行性是否在云端同樣適用?
4、針對擅長和不擅長編程的用戶,fastone能否提供不同的操作方式?
5、fastone平臺能否支持實時查看殘差圖?
實證參數(shù)
平臺:
fastone企業(yè)版產(chǎn)品
應(yīng)用:
Ansys Fluent 20.20
操作系統(tǒng):
CentOS 7.6
適用場景:
油/氣能量的產(chǎn)生和環(huán)境應(yīng)用
航天和渦輪機械的應(yīng)用
汽車工業(yè)的應(yīng)用
熱交換應(yīng)用
電子/HVAC應(yīng)用
材料處理應(yīng)用
建筑設(shè)計和火災(zāi)研究
云端硬件配置:
Ansys Fluent一直宣稱自己支持高效率的并行計算功能,在2016年曾聯(lián)手CRAY和HLRS超算創(chuàng)了一項世界記錄,將Fluent擴展到超過172,000個計算機核心。
對于以有限單元法為基礎(chǔ)的CFD類計算,尤其是選用隱式格式和耦合算法的時候,并行計算時會將網(wǎng)格分成很多塊放在不同的計算節(jié)點上,在計算時每個迭代步節(jié)點之間需要進行大量的數(shù)據(jù)交換。因此,節(jié)點之間的數(shù)據(jù)通信就顯得尤為重要。
Fluent通過內(nèi)置MPI并行機制來大幅度提高可擴展性,通過放大計算資源規(guī)模來最短時間給出高精度的計算結(jié)果。
而在本地或超算環(huán)境,比較有效的解決方案就是IB-Infiniband。
針對這一特性,我們分別在云端選擇了計算優(yōu)化型實例和網(wǎng)絡(luò)加強型實例進行驗證。
調(diào)度器:
Fluent原生只支持LSF/SGE/PBS調(diào)度器,平臺通過Slurm Wrapper的方式都可以支持。
關(guān)于這一點,下次再細講。
這篇文章《億萬打工人的夢:16萬個CPU隨你用》里,我們基于這四家主流調(diào)度器:LSF/SGE/Slurm/PBS以及它們的9個演化版本進行了梳理和盤點。
技術(shù)架構(gòu)圖:

實證場景一
云端擴展性驗證
理想值 VS 云端計算優(yōu)化型實例
結(jié)論:
1、在云端使用計算優(yōu)化型實例,當所調(diào)度資源在480核及以下時,云端擴展性較好。
2、隨著核數(shù)逐漸增加,由于節(jié)點間通信開銷指數(shù)級上升,性能的提升隨著線程數(shù)增長逐漸變緩。當核數(shù)增加到960核時,計算優(yōu)化型實例共耗時106.6小時,比理想耗時高16.6小時。

實證過程:
1、云端調(diào)度120核計算優(yōu)化型實例運算一組Fluent任務(wù),耗時721.8小時;
2、云端調(diào)度240核計算優(yōu)化型實例運算一組Fluent任務(wù),耗時362.2小時;
3、云端調(diào)度360核計算優(yōu)化型實例運算一組Fluent任務(wù),耗時242.4小時;
4、云端調(diào)度480核計算優(yōu)化型實例運算一組Fluent任務(wù),耗時183.3小時;
5、云端調(diào)度600核計算優(yōu)化型實例運算一組Fluent任務(wù),耗時152.1小時;
6、云端調(diào)度720核計算優(yōu)化型實例運算一組Fluent任務(wù),耗時130.8小時;
7、云端調(diào)度840核計算優(yōu)化型實例運算一組Fluent任務(wù),耗時117.3小時;
8、云端調(diào)度960核計算優(yōu)化型實例運算一組Fluent任務(wù),耗時106.6小時。
實證場景二
云端擴展性驗證
云端計算優(yōu)化型實例 VS 云端網(wǎng)絡(luò)加強型實例
結(jié)論:
1、在云端使用云端網(wǎng)絡(luò)加強型實例,調(diào)度960核計算資源,最多可將運算一組Fluent任務(wù)的耗時從本地單機環(huán)境的45天縮短到90.6小時(3.775天),可滿足該實驗室“一周內(nèi)完成”的要求;

2、網(wǎng)絡(luò)加強型實例有效解決了Fluent任務(wù)并行計算節(jié)點間通信問題,在云上展現(xiàn)出了良好的線性擴展性。在相同的核數(shù)下,網(wǎng)絡(luò)加強型實例的線性十分接近理想值。也就是說,如果核數(shù)增加,仿真所需時間會成比例縮短。

實證過程:
1、云端調(diào)度120核網(wǎng)絡(luò)加強型實例運算一組Fluent任務(wù),耗時720.1小時;
2、云端調(diào)度240核網(wǎng)絡(luò)加強型實例運算一組Fluent任務(wù),耗時360.3小時;
3、云端調(diào)度360核網(wǎng)絡(luò)加強型實例運算一組Fluent任務(wù),耗時240.2小時;
4、云端調(diào)度480核網(wǎng)絡(luò)加強型實例運算一組Fluent任務(wù),耗時180.2小時;
5、云端調(diào)度600核網(wǎng)絡(luò)加強型實例運算一組Fluent任務(wù),耗時144.4小時;
6、云端調(diào)度720核網(wǎng)絡(luò)加強型實例運算一組Fluent任務(wù),耗時121.1小時;
7、云端調(diào)度840核網(wǎng)絡(luò)加強型實例運算一組Fluent任務(wù),耗時103.3小時;
8、云端調(diào)度960核網(wǎng)絡(luò)加強型實例運算一組Fluent任務(wù),耗時90.6小時。
實證場景三
任務(wù)提交方法
journal標準流程化模式 VS Fluent應(yīng)用圖形界面模式
我們?yōu)橛芯幊袒A(chǔ)的用戶提供journal標準流程化模式,用戶可在Web瀏覽器中直接提交已編寫好的journal文件,開啟云端Fluent任務(wù),方便快捷。
而對于無編程基礎(chǔ)的用戶提供Fluent應(yīng)用圖形界面模式,用戶可通過Web瀏覽器啟動集群,跳轉(zhuǎn)到虛擬桌面,并可在該桌面直接操作Fluent應(yīng)用進行相應(yīng)設(shè)置以開啟云端Fluent任務(wù)。
journal標準流程化模式分為三個步驟
1、通過Web瀏覽器登錄fastone平臺;
2、在Web界面新建任務(wù)、選擇應(yīng)用、配置資源;
3、在應(yīng)用中選擇journal文件(即Fluent腳本文件),輸入所需資源和應(yīng)用參數(shù)(如求解器精度),提交任務(wù)。
該種方式要求用戶有能力自定義journal文件,即需要用戶具有一定的編程基礎(chǔ)。由于該高校科研組缺乏相應(yīng)編程能力,fastone為其提供了Fluent應(yīng)用圖形界面提交方式。

Fluent應(yīng)用圖形界面模式有四個步驟
1、通過Web瀏覽器登錄fastone平臺;
2、在Web界面新建集群、配置資源;
3、在已創(chuàng)建的集群點擊WebVNC遠程桌面圖標(同時提供WebSSH遠程命令行功能);
4、跳轉(zhuǎn)到虛擬桌面,可在該桌面直接操作Fluent應(yīng)用進行相應(yīng)設(shè)置以提交任務(wù)。該種方式模擬出了Fluent的原生界面,用戶更為熟悉操作環(huán)境,使用體驗較好。

平臺還支持實時查看殘差曲線,監(jiān)控計算的收斂情況。

實證場景四
用戶模式
普通用戶模式 VS 高級用戶模式
上一個場景里的journal標準流程化模式就是通過Web瀏覽器選擇新建任務(wù)、選擇應(yīng)用、上傳文件,輸入?yún)?shù),配置資源等一系列向?qū)铰窂教峤蝗蝿?wù)。
而對于高級用戶,比如本身對應(yīng)用工作流的理解和編程能力超強,可以不用走普通用戶通過應(yīng)用向?qū)教峤坏穆窂剑梢灾苯痈鶕?jù)自己寫的腳本,通過Web瀏覽器選擇新建集群,然后按需動態(tài)地在云端創(chuàng)建HPC集群。

關(guān)于我們在云端部署自動化模式VS傳統(tǒng)手動模式間的巨大差異可查看:EDA云實證Vol.1:從30天到17小時,如何讓HSPICE仿真效率提升42倍?

關(guān)于我們的Auto-Scale功能自動監(jiān)控用戶提交的任務(wù)數(shù)量和資源的需求,動態(tài)按需地開啟所需算力資源,在不夠的時候,還能根據(jù)不同的用戶策略,自動化調(diào)度本區(qū)域及其他區(qū)域的目標類型或相似類型實例資源,看這篇:生信云實證Vol.3:提速2920倍!用AutoDock Vina對接2800萬個分子

實證小結(jié)
1、Fluent任務(wù)能夠在云端有效運行;
2、fastone能夠快速獲取大量云端算力,大幅縮短項目周期;
3、針對Fluent應(yīng)用對節(jié)點間數(shù)據(jù)通信的高要求,選擇網(wǎng)絡(luò)加強型實例可以在云端達到很好的高效率并行性;
4、針對不同的用戶,fastone提供多種任務(wù)提交方式以供選擇,既支持journal標準流程化模式,也支持Fluent應(yīng)用圖形界面模式;
5、fastone平臺支持實時查看殘差圖;
6、高級用戶可以根據(jù)自定義腳本,直接在云端創(chuàng)建HPC集群。
本次CAE行業(yè)Cloud HPC實證系列Vol.5就到這里了。
在下一期的CAE云實證中,我們將利用速石平臺使LS-DYNA模擬性能得到極大提升。
未來我們還會帶給大家更多領(lǐng)域的用云“真香”實證,請保持關(guān)注哦!
- END -
2分鐘自動開通,即刻獲得TOP500超級算力
點擊下圖立即體驗

2020年新版《六大云廠商資源價格對比工具包》
添加小F微信(ID: imfastone)獲取

你也許想了解具體的落地場景:
EDA云實證Vol.4:5000核大規(guī)模OPC上云,效率提升53倍
生信云實證Vol.3:提速2920倍!用AutoDock Vina對接2800萬個分子
CAE云實證Vol.2:從4天到1.75小時,如何讓Bladed仿真效率提升55倍?
EDA云實證Vol.1:從30天到17小時,如何讓HSPICE仿真效率提升42倍?
關(guān)于云端高性能計算平臺:
國內(nèi)超算發(fā)展近40年,終于遇到了一個像樣的對手
幫助CXO解惑上云成本的迷思,看這篇就夠了
靈魂畫師,在線科普多云平臺/CMP云管平臺/中間件/虛擬化/容器是個啥
花費4小時5500美元,速石科技躋身全球超算TOP500