robots文文件，簡(jiǎn)單來(lái)說，是一個(gè)網(wǎng)站和一個(gè)搜索引擎之間的協(xié)議。許多企業(yè)網(wǎng)站上的機(jī)器人文件要么是空白的，要么是令人困惑的。這對(duì)網(wǎng)站優(yōu)化非常不利，也不利于保護(hù)需要保護(hù)的數(shù)據(jù)。這將嚴(yán)重影響網(wǎng)站內(nèi)容包含的效果。下面詳細(xì)分析了robots文件在SEO優(yōu)化中的應(yīng)用及存在的誤區(qū)。
 
1、如何檢查
txt文件放在網(wǎng)站的根目錄下。只要我們?cè)谟蛎筝斎雛obots.txt，然后按下確認(rèn)按鈕，robots文件的內(nèi)容就會(huì)彈出。將顯示robots.txt文件
 
2、誤用robots.txt文件
1.網(wǎng)站上的所有文件都可以抓取，無(wú)需設(shè)置robots.txt文件，搜索引擎默認(rèn)抓取整個(gè)網(wǎng)站文件，不利于網(wǎng)站優(yōu)化。事實(shí)并非如此。每當(dāng)robots.txt文件出現(xiàn)在網(wǎng)站上時(shí)，就會(huì)被爬行器抓取。如果文件不存在，爬行器會(huì)認(rèn)為它是一個(gè)死鏈接，并將其記錄為網(wǎng)站日志中的死鏈接，這會(huì)嚴(yán)重影響爬行器的友好性。
2.將robots.txt文件中的所有文件設(shè)置為允許搜索引擎爬行，以便搜索引擎可以包含更多的頁(yè)面。事實(shí)上，搜索引擎蜘蛛是很難被包括在網(wǎng)站程序腳本，css樣式，js文件等搜索引擎。即使包含它，也只會(huì)浪費(fèi)服務(wù)器資源。這種對(duì)網(wǎng)站的保護(hù)很差，對(duì)蜘蛛的體驗(yàn)也不友好。
3.在robots.txt文件中，設(shè)置不抓取整個(gè)網(wǎng)站的內(nèi)容，并且不允許抓取意味著整個(gè)網(wǎng)站將不會(huì)被搜索引擎收錄。如果不包含，網(wǎng)站優(yōu)化關(guān)鍵詞將很難獲得排名。在好的營(yíng)銷內(nèi)容上，也很難被用戶看到。
 
3、建議使用
我們的網(wǎng)站是由很多文件組成的，比如我們常用的后臺(tái)管理文件、程序腳本、附件、數(shù)據(jù)庫(kù)文件、編碼文件、樣式表文件、模板文件、導(dǎo)航圖片、背景圖片等。一些文件不需要搜索，以確保引擎不留下空白的網(wǎng)站。