絕大多數(shù)站長都知道，網(wǎng)站能夠在搜索引擎里獲得很好的排名是非常重要的，于是很多站長竭盡所能討好搜索引擎，恨不得把搜索引擎的蜘蛛當(dāng)成皇上來看待，希望能夠獲得蜘蛛的賞識(shí)，從而提升網(wǎng)站的排名。可是事實(shí)上威海網(wǎng)絡(luò)公司韋恩科技認(rèn)為，即使把蜘蛛伺候好了，也不能夠獲得很好的排名，這是為什么呢?因?yàn)橹┲氩]有人類的情感，即時(shí)你把它當(dāng)成皇上他也對(duì)你毫無憐憫，該怎樣就怎樣，所以在網(wǎng)站優(yōu)化方面，并不是對(duì)蜘蛛越好優(yōu)化效果就越好，而是要懂得取舍!要學(xué)會(huì)屏蔽一些蜘蛛的技巧!比如除了限制蜘蛛在ADMIN和DATA上的爬行，還可以在其他的目錄上適當(dāng)?shù)钠帘沃┲?，也是非常有好處的，下面就來分析幾種屏蔽蜘蛛的技巧!

　　一：圖片和模板目錄都可以進(jìn)行屏蔽

　　因?yàn)槟壳昂芏嗾鹃L都是在互聯(lián)網(wǎng)上找相同的圖片和套用現(xiàn)成的模板，這些模板和圖片已經(jīng)在互聯(lián)網(wǎng)泛濫了，此時(shí)你還讓你的網(wǎng)站被蜘蛛再次爬行這些老掉牙的東西，自然會(huì)讓蜘蛛非常的反感，從而讓你的網(wǎng)站貼上模仿zb的標(biāo)簽，想要獲得搜索引擎的青睞反而是更加困難，所以IMAGES目錄通?？梢云帘?/span>!

　　二：緩存目錄可以屏蔽，防止重復(fù)索引

　　蜘蛛是非常貪婪的，只要你給他喂食，它是不管真實(shí)還是虛幻都照單全收，比如網(wǎng)站的緩存目錄里面的內(nèi)容，蜘蛛也會(huì)照樣來進(jìn)行索引，這勢必和網(wǎng)站里面的內(nèi)容出現(xiàn)了重復(fù)，如果出現(xiàn)重復(fù)的數(shù)量過多，那么百度的算法機(jī)制就會(huì)認(rèn)為你的網(wǎng)站在zb，從而懲罰你的網(wǎng)站，給網(wǎng)站帶來極大的影響。通常每種建站程序的緩存目錄是不一樣的，要根據(jù)不同的建站程序來屏蔽相應(yīng)的緩存目錄是很有必要的!

　　三：CSS目錄及部分RSS頁需要屏蔽

　　CSS目錄對(duì)于蜘蛛而言是wq無用的，抓取后反而會(huì)影響搜索引擎算法的判斷，所以可以通過ROBOTS.TXT文件來進(jìn)行屏蔽，另外很多建站程序的RSS頁也是一種內(nèi)容的重復(fù)，抓取后也會(huì)造成搜索引擎的誤判斷，這兩個(gè)方面的內(nèi)容都需要屏蔽!這種屏蔽看起來是對(duì)蜘蛛的大不敬，實(shí)際上卻如良藥苦口利于病!忠言逆耳利于行!

　　四：如果有雙頁面，那么優(yōu)先屏蔽動(dòng)態(tài)頁面

　　一般而言，網(wǎng)站的靜態(tài)頁面是很容易被搜索引擎收錄，通常蜘蛛抓取和收錄是兩回事，網(wǎng)站除了靜態(tài)頁面之外，大部分網(wǎng)站還存在著動(dòng)態(tài)的頁面，比如“www.XXXX/1.html與www.xxxxx/asp?id=1這兩個(gè)指的是同一個(gè)頁面，如果不進(jìn)行屏蔽的話，勢必造成兩個(gè)頁面同時(shí)被蜘蛛抓取，可是到了搜索引擎算法判斷的時(shí)候，因?yàn)榘l(fā)現(xiàn)了兩個(gè)一樣的頁面，就會(huì)認(rèn)為你網(wǎng)站存在zb的嫌疑，所以加大對(duì)你網(wǎng)站的考察力度，從而影響到網(wǎng)站的排名，所以正確的做法是優(yōu)先屏蔽網(wǎng)站的動(dòng)態(tài)頁面，讓每一個(gè)網(wǎng)站內(nèi)容，只對(duì)應(yīng)一個(gè)地址入口。

　　五：涉及網(wǎng)站安全隱私的內(nèi)容要屏蔽

　　本文的開頭提到了ADMIN和DATA目錄實(shí)際上是有關(guān)網(wǎng)站安全隱私的內(nèi)容，暴露給蜘蛛是沒有絲毫好處的，甚至還可能會(huì)多一份被攻擊的渠道。所以涉及到有關(guān)安全的目錄，比如數(shù)據(jù)庫目錄，網(wǎng)站日志目錄以及備份目錄都需要進(jìn)行屏蔽，另外有些站長在網(wǎng)站備份后，再進(jìn)行下載，可是下載過后又不注意對(duì)備份文件的刪除，這也是很容易導(dǎo)致蜘蛛重復(fù)抓取，也容易導(dǎo)致被黑客攻擊，所以利用ROBOTS.TXT文件來屏蔽類似”RAR和ZIP”文件也是非常有必要的!最起碼能夠增強(qiáng)網(wǎng)站的安全性!

總而言之，威海網(wǎng)絡(luò)公司韋恩科技認(rèn)為如果一味的把蜘蛛當(dāng)成皇上，往往是馬屁拍到尾巴上了，通過適當(dāng)?shù)膬?yōu)化屏蔽，解決蜘蛛的工作壓力，這才是{zd0}的馬屁，也是提升網(wǎng)站優(yōu)化水平的大道。并不是所有內(nèi)容都需要對(duì)蜘蛛公開的，也并不是所有內(nèi)容都需要蜘蛛抓取和收錄的，這就需要站長們自己做好甄別，然后進(jìn)行相應(yīng)屏蔽。

原文地址：http:///html/2016/xinwendongtai_0124/259.html，轉(zhuǎn)載請(qǐng)注明出處。