抓取和收錄

當(dāng)你看到出現(xiàn)在Google的搜索結(jié)果的那個(gè)網(wǎng)頁(yè)之前，Google在后臺(tái)已經(jīng)做了許多步驟。Google的第一步是抓取和收錄互聯(lián)網(wǎng)上的數(shù)十億的網(wǎng)頁(yè)，這個(gè)工作時(shí)由Google的機(jī)器人Googlebot來(lái)完成的，它瀏覽網(wǎng)絡(luò)服務(wù)器抓取文件。 抓取的程序并不是漫無(wú)目的地在互聯(lián)網(wǎng)上瞎逛，它訪問(wèn)服務(wù)器的特定的網(wǎng)頁(yè)，然后掃描網(wǎng)頁(yè)上的超文本鏈接，如果有新的文件也是這樣抓取得；蜘蛛程序給每個(gè)得到的網(wǎng)頁(yè)一個(gè)號(hào)碼，這個(gè)號(hào)碼指向它抓取的網(wǎng)頁(yè)。

蜘蛛程序抓取了很多的網(wǎng)頁(yè)，但這些網(wǎng)頁(yè)還不是便于搜索的。如果沒有一個(gè)索引，你要查詢一個(gè)詞，比如“國(guó)內(nèi)戰(zhàn)爭(zhēng)”，Google的服務(wù)器每次都要讀取每一個(gè)文件的所有內(nèi)容。

因此，第二步就是建立索引。我們不是去掃描每一個(gè)文件的所有內(nèi)容，我們巧妙地進(jìn)行數(shù)據(jù)的“轉(zhuǎn)換”，列出每一個(gè)文件所包含的特定的詞，例如，“國(guó)內(nèi)”這個(gè)詞可能出現(xiàn)在文件3，8，22，56，68和92當(dāng)中，而“戰(zhàn)爭(zhēng)”這個(gè)詞出現(xiàn)在文件2，8，15，22，68和77中。

建立好索引之后，我們就可以開始對(duì)網(wǎng)頁(yè)進(jìn)行評(píng)級(jí)，決定網(wǎng)頁(yè)的相關(guān)程度。假設(shè)有人在Google的搜索欄輸入“國(guó)內(nèi)戰(zhàn)爭(zhēng)”進(jìn)行查詢，為了提交搜索結(jié)果和對(duì)結(jié)果進(jìn)行評(píng)分，我們要做兩件事：

1. 找到包含用戶查詢的詞的網(wǎng)頁(yè)

2. 給符合的網(wǎng)頁(yè)按照相關(guān)程度進(jìn)行評(píng)級(jí)

Google開發(fā)出一個(gè)有趣的技巧來(lái)加速第一步：Google不是把整個(gè)索引存儲(chǔ)在一臺(tái)功能強(qiáng)大的計(jì)算機(jī)上，而是用千百個(gè)計(jì)算機(jī)來(lái)存儲(chǔ)這些信息。因?yàn)槿蝿?wù)被分解到許多的計(jì)算機(jī)，可以更快地找到所需的答案。 詳細(xì)解釋一下，假設(shè)一本書的目錄有30頁(yè)，如果一個(gè)人要在目錄中查尋資料，每次查詢都要花幾秒鐘；如果用30個(gè)人每人查詢一頁(yè)目錄，顯然要比一個(gè)人查詢的速度快很多。同樣的，Google將數(shù)據(jù)分別存儲(chǔ)在許多計(jì)算機(jī)上，這樣搜索的速度會(huì)大大加快。

我們是如何找到那些包含用戶搜索的詞的網(wǎng)頁(yè)呢？回到“國(guó)內(nèi)戰(zhàn)爭(zhēng)”的例子，“國(guó)內(nèi)”這個(gè)詞出現(xiàn)在文件3，8， 22， 56， 68 和92; “戰(zhàn)爭(zhēng)”出現(xiàn)在文件2， 8， 15， 22， 68和77，記下同時(shí)出現(xiàn)這兩個(gè)詞的文件。

國(guó)內(nèi)　3 8 22 56 68 92

戰(zhàn)爭(zhēng)　2 8 15 22 68 77

國(guó)內(nèi)　戰(zhàn)爭(zhēng) 8 22 68

---