為什么我們所發布的文章有很多都不收錄，自己一個字一字搞出來的內容，還是不收錄那是為什么?搜索引擎抓取原理它經過哪幾個過程?想必這是很多站長都有的疑問，一直摸不清蜘蛛抓取的脾氣，這里威海網絡公司韋恩科技還是要強調，做任何一件事之前一定要先了解它的規則，只有了解了規則，才能更好的運用規則。

　　一、蜘蛛是什么

　　我們把搜索引擎比喻無邊無際的網絡海洋，有海量的信息。“蜘蛛”就是計算機的的一套程序，專門來抓取檢索互聯網上的信息。“蜘蛛”也叫爬蟲和機器人，就是一套信息抓取系統?；ヂ摼W就像一張蜘蛛網，而在這張網上爬取信息的，就像“蜘蛛”一樣在互聯網上反復地爬來爬去，不知道累的，所以叫作網絡蜘蛛。

　　二、搜索過程

　　當我們在搜索框中搜索一個關鍵詞的時候，輸出的結果搜索引擎是需要經過一些很復雜的過程才能展現給用戶，一般都需要經過四個過程：抓取、過濾、建立索引和輸出結果。當我們在搜索引擎看到的只是一結果，搜索根據各種算法，把某個關鍵詞的展現在首頁的{dy}位。

　　三、收錄過程

　　收錄過程就要經過上面所說的四個過程：抓取、過濾、建立索引和輸出結果。

　　1、抓取

　　網站有沒有被收錄首先要看一下網站的蜘蛛訪問日志，看一下蜘蛛有沒有來，如果蜘蛛都沒有抓取那是不可能被收錄的。收錄的前提是要搜索引擎要來抓取，這個可以從網站的IIS日志里面可以看得到，也就是服務器日志，如果沒有來呢?那么就主動向搜索引擎提交，搜索引擎會派出蜘蛛來抓取網站，這才有可能被收錄。

　　2、過濾

　　網站被抓取了并不代表一定會被收錄，搜索引擎會先去判斷這個頁面的價值。蜘蛛來抓取了會把數據帶回去，放到臨時的數據庫中，再進行過濾。過濾掉一些垃圾的內容或者是低質量的內容?？茨愕男畔⑹遣皇遣杉诨ヂ摼W上有大量的相同信息，它不會把你的信息建立索引。那有的人會問了，有的時候我們自己寫的文章也不會被收錄，那都是我們一個字一個字搞出來的，那難道不是一篇很好的原創嗎?的確是一篇不錯原創內容，為什么有時不會被收錄呢?那就低質量的內容，低質量的內容看的不是你文章寫得有多么的精彩，那要看你文章是不是用戶所關注的，是不是用戶所需求的。

　　3、建立索引與輸出結果

　　通過一系列的要求，符合收錄的內容之后建立索引，建立索引之后這個時候就是被收錄了的。當用戶在搜索關鍵詞就會輸出結果，輸出的結果排在{dy}的，是有搜索引擎內的各算法比如一些外鏈的tp，匹配是否相關等等的一系統的算法，把你的頁面排在前面。在這里收錄還有一種情況，收錄只經過抓取再到輸出結果，中間的兩個過程是沒有經過的，就是說抓取到馬上就收錄的。這是在什么情況下呢?那就是具有很強的時效性的內容，比如新聞類的，它就具有很強的時效性，比效今天發生了一件特大事件給大部分的用戶所關注，所以所發布信息給抓取到了，搜索引擎會{dy}時間展現給用戶。這樣信息一過用戶就不會再去關注了，以后就沒有太大的價值，在里就有一個問題，用戶所關注度過了之后，搜索引擎會重新檢索這一類內容，如果是垃圾內容，低質量內容還是會給搜索引擎過濾掉的。

　　四、蜘蛛抓取的兩種策略

　　1、廣度優先

　　廣度優先是指網絡蜘蛛會先抓取起始網頁中鏈接的所有網頁，然后再選擇其中的一個鏈接網頁，繼續抓取在此網頁中鏈接的所有網頁。這一種抓取方法速度是很快的，這是最常見的方式，因為這個方法可以讓網絡蜘蛛并行處理，提高其抓取速度。

　　2、深度優先

　　深度優先是指網絡蜘蛛會從起始頁面開始，一個鏈接一個鏈跟蹤下去，處理完這條路線之后再轉入一下個起始頁，繼續跟蹤鏈接。這一種方法抓取速度會比較慢一些，有可能抓著抓著就找不到回到起始頁的方向。這兩種方法只是蜘蛛抓取的策略，只作一個了解就可以了。

總結：威海網絡公司韋恩科技認為簡單地了解了一下“蜘蛛”是什么，搜索得出來的結果，搜索引是經過了四個過程以及收錄的四個過程：抓取、過濾、建立索引和輸出結果。還就是蜘蛛抓取的兩種策略只作一個了解就可以了。

原文地址：http:///html/2016/xinwendongtai_0114/225.html，轉載請注明出處。