GO語言的可靠性和持久性
作者在本文介紹了Dropbox公司是如何開啟探索使用Go語言之路的,在探索的過程中遇到了哪些問題,從結果來看證明了Go語言的可靠性和持久性。以下為譯文。
Tammy Butow(@tammybutow)是Dropbox基礎架構開發團隊的工程經理。Tammy管理著代碼工作流——包括了Dropbox內使用Go從編碼到上線的整個過程。她在2017年的GopherCon大會上談到了Dropbox的工程師是如何使用Go語言建立和運行大型服務。
注意:這篇文章記錄了大會上的演講內容。如果遺漏了什么,請在Twitter上告訴我(@sqs)。如果有錯誤,肯定是我描述的有問題;因為Tammy的演講太棒了!
Dropbox探索使用Go語言之旅
Tammy引用了Rob Pike于2012年編寫的谷歌Go語言:專為軟件工程服務設計的編程語言》中的說法,解釋了Go語言為何能夠在Dropbox公司當中發揮重要作用:
“Go語言非常高效,支持擴展,而且還能提高生產。一些程序員覺得使用Go進行工作很有趣;另一些人則認為它缺乏想象力,甚至枯燥乏味。本文我們將解釋為什么這些對立的觀點是不成立的。Go語言旨在解決谷歌在軟件開發中所面臨的問題,導致了這門語言并不是一門突破性的研究語言,但對于大型軟件項目來說,它還是一個很優秀的工具?!薄猂ob Pike,2012年
Dropbox的規模非常龐大:
超過5億個用戶
200000個商業客戶
500PB的用戶數據
數據EB GO存儲系統
因此,Dropbox對它們的系統、語言和工程師們有很高的要求。指導原則以及要求是:
建立可靠的系統
構建安全的系統
將可靠性和安全性合并到初始設計中
99.9999999999%(12個9)的可靠性
99.99%的可用性
Dropbox公司對Go語言的應用
現在Dropbox的大多數基礎架構都是用Go編寫的。具體包括如下:
Go服務器庫擁有150名貢獻者(來自總計500名工程師)
Dropbox公司內部超過15個團隊構建和運行Go服務
在Dropbox公司內總共有130萬行Go語言代碼
使用Go開發的關鍵系統包括:
RAT:限速與限流工具
HAT:memcached的替代方案
AFS:一套用于替代全局Zookeeper的文件系統
Edgestore:分布式數據庫
Bolt:消息傳遞
DBmanager:用于對Dropbox的6000多個數據庫進行自動化和監控
“Jetstream”、“Telescope” 、分塊路由以及更多……
其中許多都是原本的非Go系統。
Dropbox開始使用Go語言的原因是?
Tammy分享了一些關于Dropbox是如何一步步使用Go語言的故事。
Hack技術周成就Go速率限制器原型設計
在一年的Hack技術周之前,Dropbox的工程師們針對各項服務分別進行限速與限流。所以Dropbox的一位工程師決定為這些事情建立一個公共服務的實現,因此RAT誕生了。
最初的RAT原型是在4天內完成的,并在第5天進行演示。短短幾周之后,RAT的大名在公司內部迅速擴散。另一位Dropbox工程師給Tammy的團隊發了電子郵件,看看他們時如何在Python項目中使用RAT。整合過程進展的很順利,采用率也逐漸在提升,RAT也變得越來越實用?,F在,Dropbox的好幾個團隊都使用了RAT。
DBmanager
Dropbox公司擁有6000多個數據庫,這樣一個龐大的系統需要自動化和監控。在任意給定的時刻,數據庫都在進行復制、故障轉移以及通過副本進行主體升級等。
為了管理這些問題,Dropbox的工程師建立了DBmanager,它是一套Web UI,可以快速查看所有6000多個數據庫中發生的事情。它還將這些狀態信息發布到其它系統中。
Go語言升級版
有了成百上千的工程師,Dropbox小心翼翼地進行Go語言各主要版本的升級工作。Tammy表示升級過程沒有產生任何問題,過程非常順利!
下面來看一些有趣的事實:
Dropbox最近完成了從1.5版升級到1.6版的生產服務。
為了追蹤升級過程,他們創建了一個簡單的Dropbox文件文檔,并讓每個服務負責人匯報進展,并在必要時向他們尋求幫助。
Dropbox將會跳過1.7版本,在1.6遷移完全完成(包括非生產服務)的情況下直接升級到1.8。
Dropbox如何培訓新工程師使用Go
每個Dropbox工程師都經歷了同樣嚴格的培訓過程,包括:
閱讀基礎設施拓撲資料、Go語言風格指南以及Protobuf風格指南
嚴格但友好的代碼審查
在Go中構建一個娛樂性質應用程序(應用程序商店)
學習Bazel的構建和代碼測試
對于有經驗的工程師來說,這個過程需要一個星期左右的時間。
Dropbox的Go語言發展情況如何?有哪些缺點呢?
總的來說,Dropbox的Go應用之路非常成功。
使用Go語言以后富有成效。
編寫和使用服務變得很容易了。(人們喜歡做這兩種事情?。?/p>
Go語言標準庫非常出色。
調試工具(總體上)運行很好。
一個關鍵的數據點是,Dropbox沒有努力將服務從另一種語言改寫為另一種語言,這表明人們對其相當滿意。(Tammy確實拋出了一份有趣的信息:Dropbox公司也在部分使用Rust,但其并不屬于Go的替代品。)
Dropbox公司在使用Go語言時遇到哪些困難?
Tammy證實稱,Go語言最大的問題在于處理競態條件。
數據競態類bug給調試、查詢與修復等工作帶來挑戰。
一些Dropbox的工程師特別善于發現這些,而其他工程師則依賴于他們的專業技能。
Go數據競賽檢測器并不總是有用的。確定這種不起作用的情況非常重要。
必須以審慎的態度設計需要對數據進行并發訪問的Go程序。
Dropbox雇傭了那些關心可靠性和持久性的工程師,因此他們亦應當有能力解決上述問題(盡管在任何地方,并發性都是非常困難的)。
非常好我支持^.^
(0) 0%
不好我反對
(0) 0%
下載地址
GO語言的可靠性和持久性下載
相關電子資料下載
- golang語言的加密解密算法實現 41
- 解析Go語言的高級特性 56
- 微服務架構組件分析,看這篇就夠了 285
- 基于Go語言的反彈Shell命令生成工具簡介 116
- 什么是K3s和K8s?K3s和K8s有什么區別? 538
- Go能取代Python成為開發者的首選語言嗎? 147
- Go語言中的整數類型 106
- Go語言常量的聲明 141
- Go語言變量的命名和聲明 191
- Go語言簡介和安裝方法 269