Skynet是一個(gè)很響亮的名字，因?yàn)樗前⒅Z施瓦辛格主演的經(jīng)典系列電影《終結(jié)者》里面的統(tǒng)治人類的超級(jí)計(jì)算機(jī)網(wǎng)絡(luò)。不過本文的Skynet沒這么恐怖，它是一個(gè)ruby版本的Google Map/Reduce框架的名字而已。
Google的Map/Reduce框架實(shí)在太有名氣了，他可以把一個(gè)任務(wù)切分為很多份，交給n臺(tái)計(jì)算機(jī)并行執(zhí)行，返回的結(jié)果再并行的歸并，最后得到運(yùn)算的結(jié)果。據(jù)說Google一個(gè)搜索結(jié)果會(huì)Map到7000臺(tái)服務(wù)器并行執(zhí)行，這么多么可怕的分布式運(yùn)算能力阿！有了Map/Reduce，程序員就可以在無需關(guān)注分布式框架的情況下，用簡單的代碼寫出來健壯、并行的分布式應(yīng)用程序，并且可以充分發(fā)揮計(jì)算機(jī)群集運(yùn)算的能力。
如今能夠?qū)崿F(xiàn)Map/Reduce算法的框架已經(jīng)有好幾個(gè)了，其中最有名氣的可能就是Yahoo發(fā)起的開源項(xiàng)目Hadoop，不過Hadoop并不是用ruby編寫的，但在ruby的世界，Adam Pisoni已經(jīng)開發(fā)出來了ruby版本的Map/Reduce框架，這就是Skynet。
Adam Pisoni開發(fā)Skynet的初衷是因?yàn)锳dam Pisoni的公司Geni.com是一家定位于家族SNS的互聯(lián)網(wǎng)網(wǎng)站。網(wǎng)站提供的新聞推送功能要求能夠從大量的用戶產(chǎn)生的信息當(dāng)中提取特定用戶感興趣的內(nèi)容，推送給用戶。這實(shí)際上是一個(gè)分布式運(yùn)算模型，要能夠把任務(wù)分布到多臺(tái)服務(wù)器上面執(zhí)行，最后把任務(wù)歸并回來。Adam Pisoni沒有找到合適的框架，最終自己開發(fā)了Skynet，運(yùn)用Map/Reduce算法來提供這個(gè)分布式運(yùn)算平臺(tái)。
用Skynet開發(fā)Map/Reduce的分布式應(yīng)用程序非常簡單，讓我們舉一個(gè)簡單的例子看看吧：假設(shè)有一個(gè)1GB的文本文件，我們的任務(wù)是要統(tǒng)計(jì)該文件當(dāng)中每個(gè)單詞出現(xiàn)的次數(shù)統(tǒng)計(jì)。傳統(tǒng)的做法當(dāng)然很簡單，順序讀入文件內(nèi)容，進(jìn)行單詞統(tǒng)計(jì)就行了，但是毫無疑問，執(zhí)行速度會(huì)很慢。如果我們有一個(gè)1000臺(tái)服務(wù)器的運(yùn)算群集，我們可以如何利用Skeynet來并發(fā)執(zhí)行這個(gè)程序，從而縮短統(tǒng)計(jì)時(shí)間呢？
Map/Reduce算法的過程是：
1、Partition(劃分?jǐn)?shù)據(jù))
把數(shù)據(jù)劃分為1000份，這個(gè)過程由Skynet自動(dòng)完成
2、Map
除了劃分?jǐn)?shù)據(jù)，還需要把運(yùn)算該數(shù)據(jù)的代碼也Map到每個(gè)運(yùn)算節(jié)點(diǎn)上面去并發(fā)執(zhí)行。這1000個(gè)節(jié)點(diǎn)各自執(zhí)行自己的任務(wù)，執(zhí)行完畢以后把執(zhí)行結(jié)果返回
3、Partition
這1000分執(zhí)行結(jié)果需要?dú)w并，于是我們再次劃分?jǐn)?shù)據(jù)，比方說劃分為10份，這個(gè)過程也是Skynet自動(dòng)完成的
4、Reduce
把Reduce代碼和Reduce數(shù)據(jù)分發(fā)到10個(gè)節(jié)點(diǎn)執(zhí)行，每個(gè)節(jié)點(diǎn)執(zhí)行完畢返回?cái)?shù)據(jù)。如果需要再次Reduce可以再次執(zhí)行。最終Reduce為一個(gè)總共的結(jié)果。
其實(shí)Map/Reduce算法的原理是很簡單的，好了，看看Skynet下面，我們怎么實(shí)現(xiàn)呢？其實(shí)我們需要編寫的代碼只有兩個(gè)方法：一個(gè)map方法，告訴skynet如何執(zhí)行每份數(shù)據(jù)，一個(gè)reduce方法，告訴skynet如何歸并每份數(shù)據(jù)，所以這個(gè)并行算法最終用Skynet來寫的話，也非常簡單：
復(fù)制代碼 代碼如下:
class MapreduceTest
include SkynetDebugger
def self.map(datas)
results = {}
datas.each do |data|
results[data] ||= 0
results[data] += 1
end
[results]
end
def self.reduce(datas)
results = {}
datas.each do |hashes|
hashes.each do |key,value|
results[key] ||= 0
results[key] += value
end
end
results
end
end
這個(gè)就是一個(gè)最簡單、但是完整ruby版本的Map/Reduce代碼了。我們需要編寫一個(gè)map方法，告訴skynet去統(tǒng)計(jì)每個(gè)單詞的出現(xiàn)次數(shù)，我們還需要編寫一個(gè)reduce方法告訴skynet去歸并每個(gè)map的統(tǒng)計(jì)結(jié)果。好了，剩下所有的工作都?xì)wSkeynet接管了，是不是很簡單！
當(dāng)然要讓這個(gè)Map/Reduce跑起來我們還需要做一些工作，比方說安裝skynet，配置skynet的并行節(jié)點(diǎn)等等，這些瑣碎的工作可以看看skynet自己的文檔：http://skynet.rubyforge.org/doc/index.html，就不詳述了。
值得一提的是Skynet可以和Rails框架良好的整合起來工作，你可以把Rails當(dāng)中一些非常耗時(shí)、可以Map/Reduce的工作丟給Skynet去異步后臺(tái)執(zhí)行，比方說：
復(fù)制代碼 代碼如下:
MyModel.distributed_find(:all, :conditions => “created_on '#{3.days.ago}'”).each(:some_method)
把最近3天以來所有的model查詢處理以后要執(zhí)行的耗時(shí)操作some_method交給Skynet，讓Skynet動(dòng)用他強(qiáng)大的運(yùn)算網(wǎng)絡(luò)去執(zhí)行。
還可以異步執(zhí)行：
復(fù)制代碼 代碼如下:
model_object.send_later(:method, options, :save)
把耗時(shí)的任務(wù)交給Skynet去異步執(zhí)行。
對于擁有強(qiáng)大運(yùn)算網(wǎng)絡(luò)、并且需要進(jìn)行大量耗時(shí)運(yùn)算的web2.0網(wǎng)站來說，Skynet真是一個(gè)很棒的工具，他可以讓程序員很簡單的編寫處理健壯而高效的分布式應(yīng)用程序！
