資訊中心 /NEWS

富易堂網絡詳談robots.txt寫法規則

發布日期:2014-11-12 點擊: 【字體:
搜索引擎robots.txt規則,是放置在網站根目錄下robots.txt文本文件,在文件中可以設定搜索引擎蜘蛛爬行規則。設置搜索引擎蜘蛛Spider抓取內容規則。
首先要創建一個robots.txt文本文件,放置網站的根目錄下,下麵就開始編輯設置robots.txt協議文件:

①robots.txt允許所有搜索引擎蜘蛛抓取所以目錄文件,如果文件無內容,也表示允許所有的蜘蛛訪問,設置代碼如下:
User-agent: *
Disallow:
或者
User-agent: *
Allow: /

②robots.txt禁止某個搜索引擎蜘蛛抓取目錄文件,設置代碼如下:
User-agent: Msnbot
Disallow: /
例如想禁止MSN的蜘蛛抓取就設為,Msnbot代表MSN的蜘蛛,如果想禁止其他搜索引擎就更換蜘蛛名字即可,其他蜘蛛名字如下:
百度的蜘蛛:baiduspider
Google的蜘蛛: Googlebot
騰訊Soso:Sosospider
Yahoo的蜘蛛:Yahoo Slurp
Msn的蜘蛛:Msnbot
Altavista的蜘蛛:Scooter
Lycos的蜘蛛: Lycos_Spider_(T-Rex)

③robots.txt禁止某個目錄被搜索引擎蜘蛛抓取,設置代碼如下:
User-agent: *
Disallow: /目錄名字1/
Disallow: /目錄名字2/
Disallow: /目錄名字3/
把目錄名字改為你想要禁止的目錄即可禁止搜索引擎蜘蛛抓取,目錄名字未寫表示可以被搜索引擎抓取。

④robots.txt禁止某個目錄被某個搜索引擎蜘蛛抓取,設置代碼如下:
User-agent: 搜索引擎蜘蛛名字     說明(上麵有說明蜘蛛的名字)
Disallow: /目錄名字/              說明(這裏設定禁止蜘蛛抓取的目錄名稱)
例如,想禁目Msn蜘蛛抓取admin文件夾,可以設代碼如下:
User-agent: Msnbot
Disallow: /admin/

⑤robots.txt設定某種類型文件禁止被某個搜索引擎蜘蛛抓取,設置代碼如下:
User-agent: *
Disallow: /*.htm   說明(其中“.htm”,表示禁止搜索引擎蜘蛛抓取所有“htm”為後綴的文件)⑥robots.txt充許所有搜索引擎蜘蛛訪問以某個擴展名為後綴的網頁地址被抓取,設置代碼如下:User-agent: *
Allow: .htm$   說明(其中“.htm”,表示充許搜索引擎蜘蛛抓取所有“htm”為後綴的文件)

⑥robots.txt禁止全站被搜索引擎蜘蛛抓取,設置代碼如下:
User-agent: *
Disallow: /

⑦robots.txt隻充許某個搜索引擎蜘蛛抓取目錄文件,設置代碼如下:
User-agent: 搜索引擎蜘蛛名字     說明(上麵有說明蜘蛛的名字)
Disallow:
如果您有業務需求,請隨時聯係富易堂進行谘詢!
電話:0762-3393885
傳真:0762-3228556
手機:18027933395(李生) 15986023001(高生)
Q Q: 51198658 / 1209780002
郵箱:web@clzlqc.com / admin@clzlqc.com
地址:河源市建設大道友力商務大廈B座502號
微信號:web0762

姓名不能為空!

郵箱不能為空!

請填寫有效的郵箱地址!

需求描述不能為空!

富易堂微官網