hg0088正网,hg0088备用网址,hg0088,hg0088如何开户,hg0088现金,hg0088皇冠,hg0088如何注册,hg0088注册,皇冠hg0088,hg0088开户,hg0088官网,hg0088投注,新2皇冠hg0088,hg0088体育投注,足球hg0088手机版登陆,手机版皇冠hg0088

robots.txt協議的正確寫法

- 編輯:小平SEO -

robots.txt協議的正確寫法

一、Robots文件

1、什么是Robots文件:Robots文件又稱為爬蟲協議,機器人協議 。
通過Robots協議告訴蜘蛛哪些頁面可以抓取,哪些頁面不可以抓取
注意:

(1)如果你不想讓蜘蛛抓取某個目錄或頁面,才有必要創建robots.txt文件
(2)如果你希望蜘蛛抓取網站上的所有內容,則無需建立robots .txt文件

2、Robots文件存放位置:Robots.txt文件放置在網站根目錄下,便于搜索引擎爬蟲第一時間抓取該文件。

Robots規則如何書寫:

(1)User-agent——用來描述搜索引擎robot的名字
(2)Disallow——用來描述不希望被訪問的一組URL
(3)Allow——用來描述希望被訪問的一組URL
(4)*——匹配o或多個任意字符
(5)$匹配行結束符



二、robots規則

例如:僅允許baidu及360搜索引擎爬蟲訪問網站內容,并且禁止所有圖片和php網頁內容
User-agent:Baiduspider
Allow:/
Disallow:/*.jpg$
Disalllow:/*.jpeg$
Disalllow:/*.png$
Disalllow:/*.gif$
Disallow:/*.bmp$

 

你會喜歡下面的文章? You'll like the following article.
w020 hg0088