基因組就好像是萬物的生物學用戶手冊。細胞瞬間讀取DNA，得到有機體生長、活動和繁殖所必需的指令。但對于人類來說，要破譯這本“生命之書"則較為困難。延伸閱讀：Nature Biotechnology報道基因組組裝方法。
當今，研究人員通常依賴新一代測序儀，將*的DNA堿基序列（只有四個）翻譯成字母：A，G，C和T。而DNA鏈長達數(shù)十億個堿基，這些機器可產(chǎn)生非常短的讀數(shù)，一次大約50至300個字符。為了從這些字母中提取信息，科學家們需要重建基因組的位置——這個過程類似于重建一本書中文本片段的句子和段落。
但是，這個過程可能很快就變得復(fù)雜和耗時，特別是因為一些基因組是巨大的。例如，人類基因組含有約30億個堿基，小麥基因組包含近170億個堿基，松樹基因組包含約230億個堿基。有時，測序儀也會在數(shù)據(jù)集中引入誤差，需要過濾掉。大多數(shù)時候，基因組需要從頭組裝。想象一下，這就像將一百億塊拼圖拼在一起，而且沒有一個完整的圖片可供參考。
美國勞倫斯伯克利國家實驗室計算研究部（CRD）、聯(lián)合基因組研究所（JGI）和加州大學伯克利分校（UC Berkeley）的一個研究小組，通過把一些新算法、計算技術(shù)與創(chuàng)新的編程語言Unified Parallel C (UPC)，應(yīng)用于的從頭基因組組裝工具Meraculous，簡化和加快了基因組組裝流程，將這個漫長的過程縮短至僅僅幾分鐘。他們主要是通過“并行化"代碼，利用超級計算機的處理能力，如國家能源研究科學計算中心（NERSC的）愛迪生系統(tǒng)，實現(xiàn)了這一目標。簡而言之，并行化代碼意味著，分裂工作逐一執(zhí)行，修改或重寫代碼，以在一臺超級計算機上同時運行許多個節(jié)點（處理器集群）。
這項研究的*作者、UC Berkeley研究生Evangelos Georganas帶領(lǐng)了并行化Meraculous的工作，他指出：“使用Meraculous的并行版本，我們現(xiàn)在可以使用15,360個計算機處理器核心，在八分鐘內(nèi)組裝整個人類基因組。有了這個工具，我們估計，*生物醫(yī)學測序機構(gòu)的輸出，都可以僅僅使用NERSC愛迪生超級計算機的一部分，而得以組裝。"
CRD的Leonid Oliker計算機科學家說：“這項工作*的提高了基因組組裝的速度。新的并行算法，可使裝配計算能夠進行快速?，F(xiàn)在，基因組學研究人員，可以在幾分鐘的時間內(nèi)組裝小麥和松樹的大基因組，而不是通過使用NERSC's Edison上的幾百個節(jié)點——花費幾個月的時間。"
超級計算機：基因組裝配的一次變革
高通量和成本相對較低的新一代DNA測序，可讓研究人員尋找所有一切的生物學解決方案，從產(chǎn)生清潔能源和環(huán)境清理，到識別基因突變和癌癥之間的。在大多數(shù)情況下，這些機器可非常準確的記錄DNA堿基的序列。但有時會發(fā)生置換、重復(fù)、替換和遺漏之類的錯誤——類似于一本書中的“錯別字"。這些錯誤使基因組組裝和基因突變的確定，變得更加困難，從而使得分析更加復(fù)雜。它們也可能使研究人員誤解一個基因的功能。
研究人員經(jīng)常使用一種方法被稱為“槍法測序"的技術(shù)，來識別這些錯誤。這涉及到，捕獲一個基因片段的大量拷貝，將它隨機分成無數(shù)個小片段，然后分別對每一個片段進行測序。這就產(chǎn)生了一些重疊的短片段，讓科學家們zui終能夠?qū)⒄麄€DNA鏈重新裝配起來。對同一個基因鏈進行測序，也有助于識別錯誤。但對于一個特別復(fù)雜的基因組來說，這個過程也會產(chǎn)生大量的數(shù)據(jù)，有時有幾兆兆字節(jié)。
為了快速而有效地識別數(shù)據(jù)中的錯誤，伯克利實驗室和UC Berkeley團隊依靠“Bloom filters"和大規(guī)模并行超級計算機。在1970年Bloom filters由Burton H. Bloom提出的二進制向量數(shù)據(jù)結(jié)構(gòu)，可非常有效地確定，一個元素是不是集合中的一個成員。因此，研究人員可以依靠這個工具來確定一個堿基是否在適當?shù)奈恢蒙?。因為位?shù)組包含了一個Bloom filter的基本結(jié)構(gòu)，它們也需要相對較少的內(nèi)存，從而使它們成為查詢大規(guī)模數(shù)據(jù)集的理想選擇。
CRD研究科學家Aydin Bulu?說：“將Bloom filters應(yīng)用于基因組組裝問題并不新穎，在以前就完成過。我們這項工作的不同之處在于，讓Bloom filters和分布式存儲系統(tǒng)共同工作。這項任務(wù)非同小可，它需要一些計算機專業(yè)知識才能完成。"
該團隊還開發(fā)了并行數(shù)據(jù)輸入輸出（I/O）的解決方案。開發(fā)這一解決方案的CRD研究科學家Steven Hofmeyr說：“當你有幾兆兆字節(jié)的數(shù)據(jù)時，只是讓計算機讀取你的數(shù)據(jù)并輸出結(jié)果，可能是一個巨大的瓶頸。通過讓計算機在多個線程中下載數(shù)據(jù)，我們能夠?qū)/O進程從幾小時加快到幾分鐘。"
點擊了解博奧生物基因組與轉(zhuǎn)錄組平臺
組裝
一旦錯誤已被剔除，研究人員就可以開始基因組組裝。這個過程依賴計算機程序在重疊區(qū)域加入k-mers——由固定數(shù)量（K）的堿基組成的短DNA序列，從而它們形成一個連續(xù)的序列，或重疊群（contig）。如果基因組之前已經(jīng)被測序，科學家可以使用記錄的基因注釋作為參考，來排列讀數(shù)。如果不是，他們需要進行從頭組裝，創(chuàng)造一個全新的contigs目錄。
從頭組裝十分的內(nèi)存密集型，直到zui近，還沒有人能成功地弄清如何在分布式內(nèi)存中并行化這個過程。所以，許多研究人員使用專門的大容量存儲器節(jié)點，有幾兆兆字節(jié)的大小，來進行這項工作。但是，即使市售的zui大的存儲節(jié)點，也不足以組裝像小麥或松樹這樣的大規(guī)?；蚪M。盡管以前研究人員試圖用超級計算機克服這種內(nèi)存限制，但低效的代碼意味著，仍然需要幾個小時、幾天甚至幾個月來組裝一個單一的基因組。
為了有效利用大規(guī)模并行系統(tǒng)，Georganas創(chuàng)造了一種新的從頭組裝算法，利用UPC (Unified Parallel C)編程語言的單邊通信和分區(qū)全局定址空間（PGAS）能力?；旧希琍GAS可讓研究人員處理每個超級節(jié)點上獨立的內(nèi)存，這會減少超級計算機交換節(jié)點之間信息的時間和精力。
Georganas說：“Meraculous新的并行版本，呈現(xiàn)出的性能，可在NERSC's Edison超級計算機上按比例放大人類和小麥基因組的15,360個處理器核心。這一性能的改善，將基因組組裝從幾天時間提速到了幾秒鐘。"
就像玩拼圖一樣，“缺失的拼圖"可能使基因組組裝更復(fù)雜。這就像有足夠的拼圖拼湊在一起，以使你能對整幅圖有一個概念，所有的拼圖都應(yīng)該在適當?shù)奈恢?，但是在拼圖中仍有空隙。在基因組組裝中，Meraculous可掃描整個畫面找出這些空隙，然后用一種既定的技術(shù)來*它們。從計算角度來說，這個過程是在兩個階段完成的。在Hofmeyr的幫助下，這兩個階段都被轉(zhuǎn)換為UPC和并行化。
Hofmeyr說：“將這部分轉(zhuǎn)換成UPC的結(jié)果是，比zui初Meraculous代碼加快了20到30倍，這是用Perl編寫的。"
開發(fā)Meraculous的Jarrod Chapman說：“強大的基因組組裝，其價值是十分明確的。這是表征一個生物體基因的出發(fā)點，可用于進行跨物種的比較分析和遺傳變異評估。這也給我們一個參考，來判斷新序列方法的準確性。"
“在這個Meraculous版本之前，往往需要較長的時間來計算分析序列數(shù)據(jù)。因為計算太耗時，我會基于一些有根據(jù)的推測選擇一套參數(shù)，設(shè)置我的工作。"
現(xiàn)在，計算不再是一個瓶頸，Chapman可以嘗試一些不同的參數(shù)，并運行多個分析，產(chǎn)生非常準確的結(jié)果。他還認為，這一成就意味著，Meraculous也可以用來分析宏基因組——直接從環(huán)境樣品中恢復(fù)的微生物群落。這項工作是很重要的，因為許多微生物只存在于自然中，不能在實驗室中生長。這些生物可能是尋找新藥物或可用能源來源的關(guān)鍵。
Chapman說：“分析宏基因組是一個巨大的任務(wù)。如果組裝一個基因組——如小麥，就像是拼湊一個新的拼圖，那么組裝宏基因組數(shù)據(jù)就像是重建國會圖書館。使用Meraculous有效地進行這些分析，將是一次變革。"
