2019年11月，Milkie Way公司開始開發(fā)一個(gè)叫Announce的產(chǎn)品。
2020年3月，這家初創(chuàng)公司就差點(diǎn)兒破產(chǎn)關(guān)門。

一個(gè)云上的小測(cè)試項(xiàng)目，使用了數(shù)據(jù)庫和Serverless服務(wù)，幾個(gè)小時(shí)，在1000個(gè)實(shí)例上進(jìn)行了1160億次讀取和3300萬次寫入，他們不小心燒掉了將近72000 美元（折合人民幣約47萬元）！

EXO ME ？？？？？？？

我們大概講過一萬次（bushi）：用戶用云是有一定的學(xué)習(xí)成本和難度的。在應(yīng)用和基礎(chǔ)架構(gòu)，加上豐富多樣的云產(chǎn)品和服務(wù)之間，是存在GAP的。

但一直沒有合適的案例。

這次的「Milkie Way公司破產(chǎn)未遂事件」，當(dāng)事人Sudeep Chauhan的一手復(fù)盤分析和經(jīng)驗(yàn)總結(jié)，我們覺得非常有代表性和參考性，值得跟大家分享。

盡管文中的示例是關(guān)于GCP（Google Cloud Platform）的，但所有云服務(wù)都具有相似的功能，只不過具有不同的名稱、價(jià)格和使用策略。

事情是怎么發(fā)生的？

作為一家初創(chuàng)企業(yè)，一開始團(tuán)隊(duì)就是簡單快速創(chuàng)建了MVP（最小可行性產(chǎn)品），把產(chǎn)品部署在Google App引擎上。工作的重點(diǎn)都放在寫產(chǎn)品代碼和UI設(shè)計(jì)上，對(duì)云的關(guān)心程度僅限于“能用就行”。

這，就為后面發(fā)生的事情埋下了導(dǎo)火索。

2020年，隨著新冠疫情的爆發(fā)，Sudeep Chauhan認(rèn)為這可能是他們的產(chǎn)品走向世界的好機(jī)會(huì)。于是，創(chuàng)建了Announce-AI項(xiàng)目。

團(tuán)隊(duì)在沒有徹底研究清楚Cloud Run（Serverless服務(wù)）到底是怎么個(gè)玩法的情況下就在上面部署了“測(cè)試版”Announce-AI，想看看效果怎么樣。

由于這個(gè)測(cè)試版只是一個(gè)非常小的站點(diǎn)，所以團(tuán)隊(duì)選擇了Firebase的數(shù)據(jù)庫。

他們創(chuàng)建了一個(gè)新的GCP項(xiàng)目，設(shè)置了7美元的云資源使用預(yù)算，選擇了Firebase免費(fèi)計(jì)劃，想著最壞不過是超過每天的免費(fèi)額度（該計(jì)劃免費(fèi)提供5GB的存儲(chǔ)空間，以及每天免費(fèi)提供5萬次讀取和2萬次寫入操作）。

3月26日，一切都很好。
到了第二天晚上，噩夢(mèng)就開始了。
Sudeep Chauhan在郵箱中發(fā)現(xiàn)了幾封來自GCP的提醒郵件：
第一封郵件：您的Firebase Project已自動(dòng)升級(jí)為收費(fèi)賬戶。
第二封郵件：您在GCP的7美元云資源使用預(yù)算已超支。
第三封郵件：由于信用卡支付失敗，您的GCP賬戶已暫停使用。

由于Sudeep Chauhan的信用卡設(shè)置了100美元的消費(fèi)限額，他以為此時(shí)此刻的花費(fèi)最多不過100美元。
然而，他登錄后臺(tái)查看賬單時(shí)卻看到一張約5000美元的賬單。

就在他還在思考如何付清這筆“巨款”的時(shí)候，更可怕的事發(fā)生了：賬單金額還在不停增長！

5 分鐘后，賬單顯示15000美元。
20分鐘后，賬單顯示25000美元。

…………

他整個(gè)人都懵了。

直到兩個(gè)小時(shí)以后（這大概是他人生最漫長的兩個(gè)小時(shí)，期間，他們禁用了計(jì)費(fèi)功能，并關(guān)閉了所有服務(wù)），賬單金額最終停在接近72000美元。

由于在所有GCP項(xiàng)目中都綁定了相同的銀行卡，因此他們所有的帳戶和項(xiàng)目都已被Google暫停。
產(chǎn)品開發(fā)工作被迫停止，公司前途未卜。
他開始瘋狂研究破產(chǎn)法，因?yàn)椋瑳]錢。

他們到底做錯(cuò)了什么？

他們主要犯了兩方面的錯(cuò)：
一、在云上部署了有缺陷的算法；
二、對(duì)GCP產(chǎn)品和服務(wù)的認(rèn)知不足，使用默認(rèn)選項(xiàng)。

(一). 有缺陷的算法

團(tuán)隊(duì)使用POST請(qǐng)求將URL作為數(shù)據(jù)發(fā)送到某一實(shí)例，且并發(fā)使用多個(gè)實(shí)例以替代串行使用單一實(shí)例（這是發(fā)揮云上彈性優(yōu)勢(shì)的常見操作）。由于Cloud Run的處理操作能夠精確到毫秒，所以全部頁面都將得到并發(fā)處理，整體性能得到了高度優(yōu)化。

但在具體的編碼過程中，由于缺少break語句，實(shí)例無法中斷。而POST請(qǐng)求可以具有相同的URL，如果其中存在指向上一頁的反射鏈接，那么Cloud Run服務(wù)就會(huì)陷入無限遞歸中，而且這個(gè)遞歸會(huì)呈指數(shù)增長。

團(tuán)隊(duì)將最大實(shí)例數(shù)設(shè)置為1000，這意味著當(dāng)測(cè)試開始后，這1000個(gè)實(shí)例會(huì)不斷進(jìn)行查詢，并且每幾毫秒就向Firebase數(shù)據(jù)庫寫入一次。高峰時(shí)，F(xiàn)irebase每分鐘的請(qǐng)求數(shù)甚至高達(dá)10億個(gè)。

24小時(shí)內(nèi)，Cloud Run進(jìn)入后臺(tái)進(jìn)程，在1000個(gè)實(shí)例上，一共消耗了16022個(gè)小時(shí)。

最終，在賬戶被GCP停用前，該項(xiàng)目共執(zhí)行了1160億次讀取和3300萬次寫入。而Firebase上的讀取成本是每十萬次0.06美元，僅此項(xiàng)花費(fèi)就接近7萬美元。

(二). 不了解GCP產(chǎn)品和服務(wù)

1、不了解Firebase就直接用了，也沒注意賬戶會(huì)自動(dòng)升級(jí)成付費(fèi)賬戶

Firebase不是一種可以學(xué)習(xí)的語言，是Google提供的一種Serverless服務(wù)，有特定的規(guī)則，而不是由自然法則或特定用戶可能會(huì)認(rèn)為的規(guī)則來定義。

而且雖然他們使用的是Firebase的免費(fèi)計(jì)劃，但他們并沒有注意到GCP剛剛更新了和Firebase的深度集成，一旦接受了GCP項(xiàng)目的結(jié)算條款，F(xiàn)irebase賬戶默認(rèn)可以自動(dòng)升級(jí)為付費(fèi)賬戶。

2、不知道GCP賬單有延遲

團(tuán)隊(duì)過于依賴GCP自帶的預(yù)算超支通知，由于需要先進(jìn)行結(jié)算，該通知在結(jié)算完成后才會(huì)發(fā)出，當(dāng)預(yù)算超支，觸發(fā)云功能關(guān)閉的時(shí)候，大量賬單費(fèi)用已經(jīng)產(chǎn)生了。

3、沒有意識(shí)到Firebase儀表盤數(shù)據(jù)存在延遲可能造成的后果

雖然Firebase控制臺(tái)文檔明確表明儀表板數(shù)字和GCP賬單數(shù)據(jù)略有不同。但在發(fā)生每分鐘10億次請(qǐng)求時(shí)，這個(gè)延遲將非常致命。

4、信用卡支付限額并不能阻止巨額賬單的生成

GCP的賬單結(jié)算與支付之間同樣存在延遲，因此100美元的信用卡支付限額并不能阻止巨額賬單的生成。當(dāng)GCP發(fā)現(xiàn)無法扣款后，用戶賬號(hào)被停用，但此時(shí)已經(jīng)產(chǎn)生了大量的欠費(fèi)。

完美的故事結(jié)局

幸運(yùn)的是，他們還活著。
在等待、咨詢、冗長的電子郵件和查找BUG上花費(fèi)了無數(shù)的時(shí)間后，Google最終免掉了他們的賬單。

一般來說，故事到了這里就結(jié)束了。
就像王子和公主幸福地生活在一起了一樣。

但我們更想問一句：后來呢？

后來，Milkie Way公司花了幾個(gè)月的時(shí)間來了解云和自己的產(chǎn)品體系架構(gòu)，報(bào)廢了V1版的產(chǎn)品，構(gòu)建了可擴(kuò)展的架構(gòu)來為產(chǎn)品提供動(dòng)力，在云上建立了一個(gè)可以快速迭代、安全的平臺(tái)，而不僅僅是一個(gè)MVP。

7個(gè)月后，他們發(fā)布了V2版產(chǎn)品。

去年年底，創(chuàng)始人Sudeep Chauhan在公司博客上復(fù)盤了這次事件，說：
“云就像一把雙刃劍。如果使用得當(dāng)，它可能會(huì)很有用，但是如果使用不當(dāng)，則可能會(huì)導(dǎo)致后果。如果您算一下GCP文檔中的頁數(shù)，則可能比幾本小說中的頁數(shù)還多。了解定價(jià)和用法不僅耗時(shí)，而且需要深入了解云服務(wù)的工作方式。

怪不得有人專門做這個(gè)！（沒錯(cuò)，說的就是我們。）

Firebase和Cloud Run確實(shí)強(qiáng)大。
在高峰期，F(xiàn)irebase能夠處理每分鐘約10億次讀取。這是異常強(qiáng)大的。我們已經(jīng)在Firebase上玩了2-3個(gè)月，并且仍在學(xué)習(xí)它，但是直到現(xiàn)在我仍然完全不知道它有多強(qiáng)大。

Cloud Run也是如此！并發(fā)==60，max_containers == 1000，每個(gè)請(qǐng)求占用400毫秒，Cloud Run的請(qǐng)求數(shù)每分鐘可以處理900萬個(gè)請(qǐng)求！60 * 1000 * 2.5 * 60 = 9,000,000個(gè)請(qǐng)求/分鐘

相比之下，Google搜索每分鐘可獲得380萬次搜索。

Sudeep Chauhan的云實(shí)踐一手經(jīng)驗(yàn)

(一). 多花點(diǎn)時(shí)間學(xué)習(xí)

1.1、上云之前請(qǐng)先閱讀說明書

幾乎所有云產(chǎn)品都有非常完整且不斷更新的操作指南，里面包含了一系列需要做或不應(yīng)該做的事情。

強(qiáng)烈建議閱讀即將使用的每項(xiàng)云服務(wù)的操作指南，這不僅能夠得到幫助，也可以避免不必要的麻煩。

1.2、不要直接挑戰(zhàn)多云HARD模式

不同的云廠商有各自不同的優(yōu)缺點(diǎn)，如果你有專門的開發(fā)團(tuán)隊(duì)和SRE（就是DevOps），你可以使用多云。但如果你是獨(dú)立開發(fā)人員或小型創(chuàng)業(yè)公司，建議你不要一上來就使用多云，除非你確實(shí)需要其他云平臺(tái)的某個(gè)獨(dú)有功能。

因?yàn)槊總€(gè)云平臺(tái)都有豐富的產(chǎn)品類型和大量的工具資料，多花一些時(shí)間研究這些東西，可以確保你對(duì)整個(gè)云平臺(tái)和即將使用的產(chǎn)品服務(wù)有一個(gè)清晰的認(rèn)識(shí)。

我們的fastone多云平臺(tái)，5分鐘快速上手的可視化界面免去了大量學(xué)習(xí)成本，
掃碼免費(fèi)試用現(xiàn)在還送200元體驗(yàn)金，了解一下？入股不虧。

1.3、了解錢是怎么花出去的

大多數(shù)云服務(wù)都會(huì)提供成本計(jì)算器，多花一些時(shí)間測(cè)試成本，確保你知道錢都花到哪里了，再開始部署。

比較可靠的做法是，先在安全的環(huán)境（開發(fā)帳戶）中測(cè)試服務(wù)一到兩天，等待完整帳單處理完畢，并且你能夠正確理解帳單上的每一項(xiàng)之后，再將其集成到產(chǎn)品中。

我們有一份六大云廠商服務(wù)器資源價(jià)格多維度對(duì)比報(bào)告，對(duì)云上資源的靈活計(jì)費(fèi)模式做了深度科普，掃碼添加小F微信號(hào)（ID：imfastone）即可免費(fèi)獲取。

(二). 不要做這兩件事

2.1、不要下載密鑰

保護(hù)密鑰和令牌的最簡單解決方案是永遠(yuǎn)不要下載它們。

2.2、不要把雞蛋放在一個(gè)籃子里

理想情況下，在任何項(xiàng)目中，你都應(yīng)該具有dev、test、staging、prod環(huán)境。即便項(xiàng)目非常小，你也應(yīng)該至少擁有相互之間完全分離的dev和prod環(huán)境。

(三). 捂緊你的錢包

3.1、設(shè)置云廠商的服務(wù)配額

大多數(shù)云服務(wù)都可以設(shè)置配額，也就是支付上限，可以從每天、每分鐘、每用戶每分鐘使用等多個(gè)維度來進(jìn)行該設(shè)置。
當(dāng)你的實(shí)際使用情況達(dá)到配額上限時(shí)，平臺(tái)就會(huì)自動(dòng)切斷服務(wù)。

在設(shè)置配額時(shí)，需要注意兩點(diǎn)：

某些默認(rèn)配額是針對(duì)大客戶的，在普通用戶看來會(huì)非常離譜，比如每天一百萬美元的云資源預(yù)算，必須重新對(duì)其進(jìn)行設(shè)置；

并非所有服務(wù)都有配額限制，比如在本次事件中起主要因素的Firebase讀寫操作。

3.2、強(qiáng)烈建議開啟云監(jiān)控功能

當(dāng)云服務(wù)的使用情況超出用戶設(shè)置的配額時(shí)，云監(jiān)控可以觸發(fā)包括短信、電子郵件和應(yīng)用程序通知在內(nèi)的警報(bào)，云監(jiān)控的大多數(shù)指標(biāo)僅有幾分鐘的延遲。

GCP把這項(xiàng)服務(wù)稱為Cloud Monitoring，AWS叫Cloud Watch，Microsoft叫Azure Monitor，國內(nèi)包括阿里云、華為云、騰訊云在內(nèi)的主流云廠商均稱其為云監(jiān)控。

這個(gè)服務(wù)一般是免費(fèi)的，或者只收取極低的價(jià)格，建議時(shí)刻開啟這項(xiàng)服務(wù)。

3.3、設(shè)置預(yù)算超支通知

幾乎所有云平臺(tái)的文檔都會(huì)都建議用戶設(shè)置預(yù)算超支通知，但由于整個(gè)“結(jié)算-賬單-通知”流程存在延遲，當(dāng)你收到預(yù)算超支的通知時(shí)，你可能已經(jīng)積累了相當(dāng)大金額的賬單，你應(yīng)該開啟這個(gè)功能，但不要過于依賴它。

云在提供海量資源的同時(shí)也在考驗(yàn)著用戶的技術(shù)能力，不管是普通的云上部署/數(shù)據(jù)傳輸，還是高階的彈性動(dòng)態(tài)使用資源，再進(jìn)一步根據(jù)用戶策略的智能自動(dòng)化調(diào)度，很多事情手動(dòng)做和自動(dòng)化做的差別很大，甚至手動(dòng)根本無法完成，比如——

集群自動(dòng)化部署：從4天到1.75小時(shí)，如何讓Bladed仿真效率提升55倍？
基于用戶策略智能調(diào)度：提速2920倍！用AutoDock Vina對(duì)接2800萬個(gè)分子
GPU/CPU異構(gòu)資源：155個(gè)GPU！多云場(chǎng)景下的Amber自由能計(jì)算

3.4、使用多種付款方式，并設(shè)置支出限額

首先，你必須給開發(fā)和生產(chǎn)環(huán)境分配不同的付款方式，避免兩者混用。

這樣當(dāng)其中一個(gè)付款方式出現(xiàn)問題后，它只會(huì)影響其綁定的環(huán)境，而不會(huì)對(duì)其他工作產(chǎn)生影響。

其次，對(duì)付款方式設(shè)置支出限額，支出限額可以設(shè)置在你預(yù)計(jì)費(fèi)用的120-150％之間。

我們?cè)?.1中設(shè)置了服務(wù)配額，如果某個(gè)服務(wù)達(dá)到了這個(gè)配額，那么云平臺(tái)會(huì)立即扣費(fèi)，扣款會(huì)失敗，你的服務(wù)會(huì)被暫停。

如果你沒有對(duì)付款方式設(shè)置支出限額，或者你綁定的壓根就是一張無限信用卡，那費(fèi)用就會(huì)被成功扣除，可能會(huì)從你的卡里扣除一筆遠(yuǎn)遠(yuǎn)超過你預(yù)期的費(fèi)用。

這是最后一道防線了，如果你嚴(yán)格按照本文中的建議操作，應(yīng)該用不到這一步。

如果這些都做到了，你應(yīng)該能睡個(gè)好覺。

- END -

更多電子書
歡迎掃碼關(guān)注小F（ID：imfastone）獲取

你也許想了解具體的落地場(chǎng)景：

155個(gè)GPU！多云場(chǎng)景下的Amber自由能計(jì)算
怎么把需要45天的突發(fā)性Fluent仿真計(jì)算縮短到4天之內(nèi)？
5000核大規(guī)模OPC上云，效率提升53倍
提速2920倍！用AutoDock Vina對(duì)接2800萬個(gè)分子
從4天到1.75小時(shí)，如何讓Bladed仿真效率提升55倍？
從30天到17小時(shí)，如何讓HSPICE仿真效率提升42倍？

關(guān)于為應(yīng)用定義的云平臺(tái)：

【2021】全球44家頂尖藥企AI輔助藥物研發(fā)行動(dòng)白皮書
EDA云平臺(tái)49問
國內(nèi)超算發(fā)展近40年，終于遇到了一個(gè)像樣的對(duì)手
幫助CXO解惑上云成本的迷思，看這篇就夠了
靈魂畫師，在線科普多云平臺(tái)/CMP云管平臺(tái)/中間件/虛擬化/容器是個(gè)啥
花費(fèi)4小時(shí)5500美元，速石科技躋身全球超算TOP500