從1998年發(fā)布首個版本至今,COMSOL一直在持續(xù)進化,如今它已經(jīng)有了30多個針對不同應(yīng)用領(lǐng)域的專業(yè)模塊,涵蓋力學(xué)、電磁場、流體、傳熱、化工、MEMS、聲學(xué)等專業(yè)學(xué)科,并可以將不同的物理問題關(guān)聯(lián)起來,方便研究不同物理過程之間的相互作用。
越來越多Nature、Science及其子刊論文都用到了COMSOL模擬。
今天我們以一個高校用戶為例,講講我們在COMSOL實際運用過程中,除了速度和效率的提升外,還幫他們解決了哪些問題?
比如:
Windows還是Linux?
這是個問題關(guān)于多機并行,有多少種不同的打開方式
一旦用了外部資源,比如超算,本地機器閑置了,就問你心不心疼?
本地環(huán)境維護,就問你操不操心?
老師的需求:既要,又要,還要,一把滿足,這真實嗎?
……
所以,現(xiàn)在可以發(fā)Nature了嗎(劃掉)
用戶需求
某高校課題組有5臺工作站,雖然機器比較老舊,但平時大家協(xié)商著劃分時間輪流跑任務(wù),甚至還有排半夜的。整體來說,資源也勉強夠用。
最近該課題組新增了幾名成員,并申請到了幾個科研項目,需要使用COMSOL做大量仿真計算,這就直接導(dǎo)致了計算資源捉襟見肘。
現(xiàn)在的問題點主要有三個:
1、人多了,難管理,資源利用率整體很低;
2、他們也用過超算,但是資源是共享的,有隨時被搶走的風(fēng)險,心里沒底,而且沒法跟本地連到一起來用;
3、本地的各種維護工作,應(yīng)用升級,安裝配置等工作非常繁瑣,需要耗費大量時間手工操作。
實證目標(biāo)
1、COMSOL任務(wù)能否在云端跑得更快?
2、fastone平臺的云解決方案能否同時利用好課題組的本地資源?
3、fastone平臺的資源能否提供更大的用戶權(quán)限?
4、fastone平臺能否將各種維護工作降到最低?
實證參數(shù)
平臺:fastone企業(yè)版產(chǎn)品
應(yīng)用:COMSOL Multiphysics
場景:電磁場分析、風(fēng)力發(fā)電機噪音分析、HVAC導(dǎo)管流線分布等
系統(tǒng):Windows/Linux
云端配置:計算優(yōu)化型實例/網(wǎng)絡(luò)加強型實例
架構(gòu)圖:
實證過程
一、Windows還是Linux?這是個問題
COMSOL同時支持Windows和Linux系統(tǒng)的集群計算。用戶一直使用的是較為熟悉的Windows版本。
現(xiàn)在,讓我們默念三遍:Windows的世界,一切都要錢的。
單機跑的情況下,這不是什么大問題。但一旦涉及到多機多核運行任務(wù),問題就大了。
比如:主流云廠商對不同操作系統(tǒng)鏡像有不同的定價方式。整體來說,通過Windows系統(tǒng)使用云資源價格比Linux系統(tǒng)要貴。
因此,使用Linux替換Windows也可以有效節(jié)省成本。
所有,都要錢。
總之,不是長久之計。
而如何從Windows系統(tǒng)轉(zhuǎn)換到Linux系統(tǒng)呢?
這就跟習(xí)慣了用Android系統(tǒng)的人,換成iOS一樣。一旦適應(yīng),操作就如絲般順滑。
為了確保這一點,我們支持用戶在Linux系統(tǒng)中使用圖形化界面操作COMSOL任務(wù),用戶只需熟悉一下Linux的常用操作與工具(如瀏覽器、文本編輯器),即可在很短的時間內(nèi)上手,操作習(xí)慣幾乎無需改變。
而這也為今后用戶在Linux上多機集群化跑COMSOL打下了省錢的基礎(chǔ)。
二、多機并行,不同的打開方式?jīng)Q定了運算效率 根據(jù)我們的經(jīng)驗,COMSOL的情況與Fluent類似。
當(dāng)核數(shù)較低時,性能提升與核數(shù)基本成正比;而當(dāng)云端核數(shù)逐漸增加后,由于節(jié)點間通信開銷指數(shù)級上升,性能的提升會隨著線程數(shù)增長逐漸變緩。關(guān)于如何解決節(jié)點之間數(shù)據(jù)交換造成的通信開銷問題,可以參考Fluent和LS-DYNA這兩個應(yīng)用實證:
LS-DYNA求解效率深度測評 │ 六種規(guī)模,本地VS云端5種不同硬件配置
怎么把需要45天的突發(fā)性Fluent仿真計算縮短到4天之內(nèi)?
下圖可以看到我們推薦用戶使用的網(wǎng)絡(luò)加強型實例對比計算優(yōu)化型實例的效果。
基于Linux系統(tǒng)多機模式計算,在云端使用16-96核不等的計算資源運行兩組COMSOL任務(wù),可以觀察到當(dāng)計算資源線性增加時,任務(wù)耗時呈線性減少。
網(wǎng)絡(luò)加強型實例可以有效解決COMSOL任務(wù)通信開銷問題。
fastone平臺可以根據(jù)用戶需求和任務(wù)特性,為用戶推薦最適配的云端配置。
甚至,我們的Auto-Scale功能可以根據(jù)不同的用戶策略,比如成本最優(yōu)還是時間優(yōu)先,自動化跨區(qū)、跨類型為用戶調(diào)度云資源,完成計算任務(wù)。
至于不同策略具體怎么落地執(zhí)行?
相比時間優(yōu)先策略,成本優(yōu)先怎么做到降低成本最多達67%-90%?
在這篇實證《生信云實證Vol.3:提速2920倍!用AutoDock Vina對接2800萬個分子》里體現(xiàn)得十分明顯。
而即便是比拼單機性能,由于云上機型更新速度快,相比課題組本地老舊的工作站單機性能也提升了超過三分之一。
關(guān)于單機和多機計算背后的詳細原理和意義,可以參考VCS應(yīng)用實證《EDA云實證Vol.7:揭秘20000個VCS任務(wù)背后的“搬桌子”系列故事》
云上資源的更新有多快?看這篇《國內(nèi)超算發(fā)展近40年,終于遇到了一個像樣的對手》
三、多人并行又是個什么東西?
多機并行有了,多人并行又是個啥?
如果在本地工作站場景,多人并行就是幾臺機器就是幾個人用唄。使用我們平臺,用戶數(shù)量和機器數(shù)量不再直接掛鉤。更不用說云端無限資源帶來的幾乎無限的人員擴容空間了。
這就不可避免地涉及到了權(quán)限和角色管理的問題。fastone平臺的權(quán)限和角色管理功能,支持管理員角色對每一個用戶進行相關(guān)權(quán)限設(shè)定,包括預(yù)算使用上限和CPU核數(shù)使用上限。
多機并行+多人并行,簡單來說就是,要啥有啥。
四、本地云端統(tǒng)一平臺,既不操心,又不心疼,還劃算,還簡單
1、當(dāng)然是大大優(yōu)化整體效率。
由于課題組在平臺上跑的應(yīng)用遠不止COMSOL一種,fastone平臺可對不同應(yīng)用、不同資源、不同成員的使用情況進行整體監(jiān)控與評估,并為課題組提供合理化建議,極大地提升了整體效率。
2、本地工作站不再閑置,用滿不心疼
課題組導(dǎo)師覺得放著本地工作站不用簡直就是“浪費”。在獲取外部資源的同時,還是希望能夠?qū)⒈镜氐墓ぷ髡举Y源給充分利用起來,不然可太心疼了,畢竟當(dāng)年也是花大價錢買來的。
我們?yōu)檎n題組提供了一個混合云平臺。
當(dāng)用戶處理日常任務(wù)時,可以只在本地運行。
而當(dāng)本地資源不足以應(yīng)付時,直接自動連接云端海量資源進行運算,操作相當(dāng)方便,完全不改變用戶的操作習(xí)慣。
3、本地軟硬件資源維護,不用操心
課題組的本地環(huán)境是需要持續(xù)維護的。有老師跟我們吐槽說,一天天地忙著維護環(huán)境,整得跟運維工程師一樣了,太耽誤事兒。想找學(xué)生幫忙吧,他們很多也不懂啊~老師們的碩博后們也苦不堪言,本專業(yè)要學(xué)的東西已經(jīng)多到爆炸,又要理論還要搞實驗,還要學(xué)大量計算機專業(yè)知識……
我們的云上運行環(huán)境都是自動化配置的,不需要人工干預(yù),用戶還可以通過平臺進行統(tǒng)一管理和監(jiān)控,方便易操作。
五、超算,是完美的解決方案嗎?
1、超算資源是無法與本地資源做成一個整體平臺,統(tǒng)一管理的。所以,既沒有整體監(jiān)控和管理,又沒有混合云,還沒有自動化維護。
當(dāng)然,Auto-scale也肯定沒有。
下圖是開啟Auto-Scale功能后,用戶某項目一周之內(nèi)所調(diào)用云端計算資源的動態(tài)情況。
2、不同于超算的共享模式,我們提供的是絕對不會被搶走的獨占資源。
這點可太重要了:
1)云資源在任何情況下都不用會被搶走。而超算由于要優(yōu)先服務(wù)國家級科研項目,在某些情況下,即便已經(jīng)分配到的超算資源,也有可能會被無條件收回;
2)可根據(jù)用戶的習(xí)慣和應(yīng)用的特性自由選擇操作系統(tǒng),沒有任何限制;
3)提供完全開放的管理員權(quán)限,應(yīng)用安裝靈活,且fastone針對市面上常見企業(yè)級應(yīng)用均進行過云原生優(yōu)化,可隨時提供技術(shù)指導(dǎo);
4)用戶可隨時安裝所需的依賴組件。
5)獨占資源,安全。
關(guān)于超算與云計算在整體規(guī)模、使用體驗、計費方式、商用門檻、更新周期、合作生態(tài)、云端支持等方面的全方位對比,可以掃碼添加小F獲取完整版白皮書。
實證小結(jié)
1、fastone平臺完美支持COMSOL的基于不同用戶策略的多機和多人并行,可大大提升任務(wù)效率;
2、fastone支持搭建本地云端統(tǒng)一的混合云平臺,完全不浪費本地資源,本地資源不足時自動溢出到云端,操作還簡單,提高整體效率;
3、fastone平臺提供獨占資源,絕不會被搶走,開放管理員權(quán)限,安全靈活;
4、fasonte平臺環(huán)境完全自動化配置,無需手動維護,省事。
本次CAE行業(yè)Cloud HPC實證系列Vol.11就到這里了。下一期的CAE云實證中,我們聊Abaqus。
高效、方便、安全、穩(wěn)定、省錢……我們對于高校科研的提升遠不止于此,更多有關(guān)fastone高校科研云平臺的疑問與解答
請掃描二維碼添加小F微信(ID:imfastone)獲取《這一屆科研計算人趕DDL紅寶書:學(xué)生篇/老師篇》
關(guān)于fastone云平臺在其他應(yīng)用上的具體表現(xiàn),可以點擊以下應(yīng)用名稱查看:
HSPICE │ Bladed │ Vina │ OPC │ Fluent │ Amber │ VCS │ LS-DYNA │ MOE Virtuoso
- END -
我們有個為應(yīng)用定義的CAE云仿真平臺
集成多種CAE/CFD應(yīng)用,大量任務(wù)多節(jié)點并行
應(yīng)對短時間爆發(fā)性需求,連網(wǎng)即用
跑任務(wù)快,原來幾個月甚至幾年,現(xiàn)在只需幾小時
5分鐘快速上手,拖拉點選可視化界面,無需代碼
支持高級用戶直接在云端創(chuàng)建集群
掃碼免費試用,送200元體驗金,入股不虧~
更多電子書
歡迎掃碼關(guān)注小F(ID:imfastone)獲取
你也許想了解具體的落地場景:
Auto-Scale這支仙女棒如何大幅提升Virtuoso仿真效率?
1分鐘告訴你用MOE模擬200000個分子要花多少錢
LS-DYNA求解效率深度測評 │ 六種規(guī)模,本地VS云端5種不同硬件配置
揭秘20000個VCS任務(wù)背后的“搬桌子”系列故事
155個GPU!多云場景下的Amber自由能計算
怎么把需要45天的突發(fā)性Fluent仿真計算縮短到4天之內(nèi)?
5000核大規(guī)模OPC上云,效率提升53倍
提速2920倍!用AutoDock Vina對接2800萬個分子
從4天到1.75小時,如何讓Bladed仿真效率提升55倍?
從30天到17小時,如何讓HSPICE仿真效率提升42倍?
關(guān)于為應(yīng)用定義的云平臺:
這一屆科研計算人趕DDL紅寶書:學(xué)生篇
楊洋組織的“太空營救”中, 那2小時到底發(fā)生了什么?
速石科技獲元禾璞華領(lǐng)投數(shù)千萬美元B輪融資
一次搞懂速石科技三大產(chǎn)品:FCC、FCC-E、FCP
速石科技成三星Foundry國內(nèi)首家SAFE云合作伙伴
Ansys最新CAE調(diào)研報告找到阻礙仿真效率提升的“元兇”
【2021版】全球44家頂尖藥企AI輔助藥物研發(fā)行動白皮書
國內(nèi)超算發(fā)展近40年,終于遇到了一個像樣的對手
幫助CXO解惑上云成本的迷思,看這篇就夠了
花費4小時5500美元,速石科技躋身全球超算TOP500
在 FlexNet 上運行的 COMSOL License Manager 是一款軟件,它允許通過浮動網(wǎng)絡(luò)許可證在網(wǎng)絡(luò)內(nèi)的任何計算機上使用 COMSOL Multiphysics。只要您有足夠的浮動網(wǎng)絡(luò)許可證,任意數(shù)量的用戶都可以在運行許可證管理器的網(wǎng)絡(luò)內(nèi)的計算機上同時訪問 COMSOL Multiphysics。如果您在 Linux 操作系統(tǒng)上運行 COMSOL Multiphysics,則無論許可證類型如何,始終需要許可證管理器。在其他一些情況下,還需要許可證管理器;有關(guān)詳細信息,請參閱《安裝指南》。如果您在文本編輯器中打開.dat許可證文件,并且許可證詳細信息的第一行不以“SERVER”開頭,則您的許可證不需要許可證管理器。?????
許可證管理器通常由網(wǎng)絡(luò)管理員設(shè)置,可以在帶或不帶 COMSOL Multiphysics 的系統(tǒng)上運行。在您購買需要許可證管理器的許可證后,COMSOL 將向您發(fā)送電子郵件,要求您提供以.dat格式生成許可證文件所需的信息,即要安裝許可證管理器的計算機的主機名和主機 ID。許可證管理器只能在具有匹配主機名和主機 ID 的計算機上運行。?
注意:在Windows和macOS上安裝的過程是相似的。本文使用 Windows 來展示該過程;但是,解釋了顯著的差異。本指南中的說明不是特定于版本的,適用于最新版本的 COMSOL Multiphysics 的安裝。???
CAE云實證Vol.11:這樣跑COMSOL,是不是就可以發(fā)Nature了
要下載安裝程序,您首先需要登錄或創(chuàng)建您的 COMSOL Access 帳戶,然后向其添加許可證。
許可證管理器使用與 COMSOL Multiphysics 相同的安裝程序軟件。打開安裝程序后,您可以選擇要安裝的內(nèi)容。看?如何安裝 COMSOL Multiphysics?了解更多信息。
注意:如果愿意,您可以在此知識庫頁面上僅下載許可證管理器的二進制文件。
COMSOL 網(wǎng)站上的 COMSOL Access 登錄頁面,您可以在其中登錄或創(chuàng)建 COMSOL Access 帳戶。
COMSOL Access 主頁,登錄后您將登陸該主頁。
Add or manage your licenses on the Manage Licenses page.
將一個或多個許可證添加到 COMSOL Access 后,請導(dǎo)航到 comsol.com/product-download。單擊適用于您的操作系統(tǒng)的下載按鈕:Windows、Linux、macOS Intel 或 macOS M1。??
顯示 Windows、Linux、macOS Intel 和 macOS M1 的下載按鈕的下載頁面。??
下載安裝程序后,您可以按照安裝向?qū)У闹甘就瓿砂惭b過程。在安裝完成后,COMSOL軟件將在您選擇的安裝位置上被成功安裝。
注: 許可證管理器選項卡僅顯示在為其創(chuàng)建許可證文件的計算機上;因此,許可證管理器只能安裝在該計算機上。
使用浮動網(wǎng)絡(luò)許可證時,COMSOL Multiphysics 需要與許可證管理器保持通信。安裝許可證管理器的計算機應(yīng)在許可證管理器運行的情況下保持打開電源,以避免出現(xiàn)問題。?
您可以通過打開任務(wù)管理器(快捷方式:Ctrl+Shift+Esc)并單擊更多詳細信息來驗證 Windows 中許可證管理器的運行狀態(tài)。在“服務(wù)”選項卡下,找到 COMSOL 許可證管理器。然后,驗證許可證管理器服務(wù)是否在“狀態(tài)”列中運行。?
檢查許可證管理器是否正在運行的另一種方法是在安裝文件夾中打開LMTOOLS應(yīng)用程序(例如,C:\Program Files\COMSOL\COMSOL60\Multiphysics\license\win64),您可以在其中找到狀態(tài)以及其他許可證管理器設(shè)置。
如果許可證管理器未運行,我們建議您參考完整的COMSOL Multiphysics 安裝指南?或聯(lián)系 COMSOL 支持。
注: 要驗證 macOS 上許可證管理器的狀態(tài),請啟動活動監(jiān)視器并檢查進程列表中的供應(yīng)商守護程序 (“LMCOMSOL”) 和許可證管理器 (“l(fā)mgrd”)。
在任務(wù)管理器中,單擊更多詳細信息(左)將打開詳細信息窗口(右),您可以在其中的“服務(wù)”選項卡下找到 COMSOL 許可證管理器的狀態(tài)。
接下來,您將準(zhǔn)備在您希望用戶訪問該軟件的網(wǎng)絡(luò)中的單個計算機(包括服務(wù)器)上安裝 COMSOL Multiphysics。COMSOL Multiphysics 的安裝程序與許可證管理器的安裝程序相同。您需要確定要在哪些設(shè)備上安裝 COMSOL Multiphysics 以及用于連接到許可證管理器的方法。繼續(xù)下一部分,了解使用浮動網(wǎng)絡(luò)許可證時的建議,或參閱???如何安裝 COMSOL Multiphysics?對于替代方法。用戶將能夠在任何安裝了該軟件的機器上訪問 COMSOL Multiphysics,前提是有足夠的可用浮動網(wǎng)絡(luò)許可證席位。?
當(dāng)您使用浮動網(wǎng)絡(luò)許可證并開始安裝 COMSOL Multiphysics 時,建議您以主機名和端口號的形式輸入許可證信息。如果您的管理員未向您提供主機名和端口號,您可以通過在文本編輯器中打開.dat許可證文件來找到這些詳細信息。?
(如果許可證詳細信息的第一行不以“SERVER”開頭,請不要使用主機名和端口號來安裝 COMSOL Multiphysics;相反,請參考?如何安裝 COMSOL Multiphysics?獲取安裝 COMSOL Multiphysics 的一般說明。)?
在文本編輯器中打開的示例許可證文件,突出顯示主機名和端口號。COMSOL 許可證管理器要求您提供主機名和端口號,以表明您擁有有效的許可證,并允許 COMSOL Multiphysics 在您網(wǎng)絡(luò)中的計算機上運行。?
END -
我們有個CAE仿真研發(fā)云平臺
集成多種CAE/CFD應(yīng)用,大量任務(wù)多節(jié)點并行
應(yīng)對短時間爆發(fā)性需求,連網(wǎng)即用
跑任務(wù)快,原來幾個月甚至幾年,現(xiàn)在只需幾小時
5分鐘快速上手,拖拉點選可視化界面,無需代碼
支持高級用戶直接在云端創(chuàng)建集群
掃碼免費試用,送200元體驗金,入股不虧~
更多電子書
歡迎掃碼關(guān)注小F(ID:imfastone)獲取
你也許想了解具體的落地場景:
王者帶飛LeDock!開箱即用&一鍵定位分子庫+全流程自動化,3.5小時完成20萬分子對接
這樣跑COMSOL,是不是就可以發(fā)Nature了
Auto-Scale這支仙女棒如何大幅提升Virtuoso仿真效率?
1分鐘告訴你用MOE模擬200000個分子要花多少錢
LS-DYNA求解效率深度測評 │ 六種規(guī)模,本地VS云端5種不同硬件配置
揭秘20000個VCS任務(wù)背后的“搬桌子”系列故事
155個GPU!多云場景下的Amber自由能計算
怎么把需要45天的突發(fā)性Fluent仿真計算縮短到4天之內(nèi)?
5000核大規(guī)模OPC上云,效率提升53倍
提速2920倍!用AutoDock Vina對接2800萬個分子
從4天到1.75小時,如何讓Bladed仿真效率提升55倍?
從30天到17小時,如何讓HSPICE仿真效率提升42倍?
關(guān)于為應(yīng)用定義的云平臺:
八大類主流工業(yè)仿真平臺【心累指數(shù)】終極評測(上)
2023仿真宇宙漫游指南——工業(yè)仿真從業(yè)者必讀
當(dāng)仿真外包成為過氣網(wǎng)紅后…
和28家業(yè)界大佬排排坐是一種怎樣的體驗?
這一屆科研計算人趕DDL紅寶書:學(xué)生篇
楊洋組織的“太空營救”中, 那2小時到底發(fā)生了什么?
一次搞懂速石科技三大產(chǎn)品:FCC、FCC-E、FCP
Ansys最新CAE調(diào)研報告找到阻礙仿真效率提升的“元兇”
國內(nèi)超算發(fā)展近40年,終于遇到了一個像樣的對手
幫助CXO解惑上云成本的迷思,看這篇就夠了
花費4小時5500美元,速石科技躋身全球超算TOP500