在英國,微生物學家通過開創(chuàng)性的CLIMB項目(用于微生物生物信息學的云基礎設施)共享世界一流的HPC資源。
由于科學技術的飛躍發(fā)展和高性能計算的發(fā)展,基因組測序已成為醫(yī)療保健和科學研究的主流。現在,世界各地的人們都可以使用基因組測序來診斷和治療疾病,并開發(fā)針對癌癥,阿爾茨海默氏病和其他疾病的新療法。
基因測序對從事醫(yī)學微生物學研究的人員而言尤其重要。這是一個問題,因為許多微生物學家無法獲得他們進行數據密集型研究所需的計算基礎架構,而這些研究通常涉及大量的基因組數據集。
這是英國微生物生物信息學云基礎設施(CLIMB)進入的地方。CLIMB項目由國家醫(yī)學研究委員會(MRC)資助,是華威大學,伯明翰大學,卡迪夫大學,斯旺西大學,巴斯大學和萊斯特大學與Quadram生物技術研究所的合作。CLIMB致力于為微生物生物信息學開發(fā)和部署世界一流的網絡基礎設施,包括面向英國學術微生物學家的基于云的計算,存儲和分析工具。
CLIMB已成為英國微生物學家不可或缺的國家能力。最近的一項統(tǒng)計發(fā)現,它為來自89個研究機構的1,000多個用戶和300多個研究小組提供了服務,其中包括大學,公共衛(wèi)生機構和政府組織。此外,CLIMB還為英國乃至整個巴勒斯坦,岡比亞和越南的數千名學者,學生和臨床微生物學家提供了生物信息學方面的培訓。
在英國以外,CLIMB的影響并非沒有被忽視。該項目贏得了國際認可,包括2017年HPCwire生命科學領域最佳HPC讀者選擇獎和學術界,政府或行業(yè)的最佳HPC合作獎。[1]
讓我們退后一步,從更廣泛的角度來看事情。CLIMB項目是通過云接口使HPC資源可用的趨勢的一部分。曾經被鎖定在大學和行業(yè)研究實驗室中并且僅對少數幾個人可用的系統(tǒng)現在正對許多用戶可用。
CLIMB絕對是這種情況。正如CLIMB在《微生物基因組學》雜志上發(fā)表的論文中所解釋的那樣,CLIMB系統(tǒng)是從頭開始設計的,可以用作基于云的計算基礎架構,從而提供了一個環(huán)境,微生物學家可以共享和重用方法和數據,并且無需考慮即可有關底層HPC系統(tǒng)的很多內容。
“云計算方法整合了共享的在線計算基礎架構,使最終用戶不必擔心諸如安裝,維護甚至物理計算資源的位置之類的技術問題,以及諸如系統(tǒng)管理之類的其他潛在麻煩問題,數據共享,可擴展性,安全性和備份。”白皮書指出。
引擎蓋下的外觀
CLIMB的核心基礎架構是運行開源OpenStack操作系統(tǒng)的云系統(tǒng)。為了提高彈性,CLIMB分布在四個站點上,每個站點具有500 TB的本地暫存存儲。
CLIMB環(huán)境的核心是大型共享對象存儲系統(tǒng),該系統(tǒng)提供約2.5 PB的HPC數據存儲,可以在站點之間復制。該存儲系統(tǒng)基于在具有Intel®Xeon®處理器的Dell EMC PowerEdge服務器上運行的Red Hat Ceph Storage。這個社區(qū)系統(tǒng)為研究人員提供了一個存儲和共享非常大的微生物數據集的地方。
此外,CLIMB云環(huán)境還提供對大量內存(超過78 TB內存)的訪問。有了這些強大的功能,CLIMB可以同時運行1000多個虛擬機,并且每個VM都可以預加載軟件,由最終用戶自定義,并保存為快照,以供基礎架構上的其他人重用。
重要要點
CLIMB項目是高性能計算未來的一個很好的例子,其中資源將被虛擬化并通過云服務提供給許多用戶。
在這個新世界中,需要訪問HPC資源以進行計算和數據密集型工作的用戶將把HPC和AI視為他們所需的一切服務。反過來,HPC商店將充當多云服務提供商,它們通過多個存儲系統(tǒng)提供集中的計算資源,并可以訪問多個內部和外部云。
這個新時代將使高端處理能力和可擴展存儲提供給各種規(guī)模的企業(yè),包括初創(chuàng)公司以及大學環(huán)境中的傳統(tǒng)HPC高級用戶,從而繼續(xù)HPC的民主化。