hg0088正网,hg0088备用网址,hg0088,hg0088如何开户,hg0088现金,hg0088皇冠,hg0088如何注册,hg0088注册,皇冠hg0088,hg0088开户,hg0088官网,hg0088投注,新2皇冠hg0088,hg0088体育投注,足球hg0088手机版登陆,手机版皇冠hg0088

網站路徑規范與Robots規則書寫

- 編輯:小平SEO -

網站路徑規范與Robots規則書寫

一、知識要點
1、熟悉Robots規則   
2、Robots文件書寫
3、網站目錄說明
3、作用:蜘蛛抓取,第一個抓取的文件,就是robots.txt,robots.txt對蜘蛛抓取做出了規定,有些東西不想讓蜘蛛抓?。ǖ唾|量頁面、后臺、會員。用戶信息等),默認是允許抓取網站所有的內容,是相對路徑
 
二、Robots文件
1、在網站根目錄的一個txt——域名/robots.txt
2、搜索引擎蜘蛛抓取時,抓取的第一個文件
 
3、作用
(1)對搜索引擎蜘蛛做出規定:抓取或不抓取
(2)保護網站隱私(網站后臺、用戶信息等)
(3)節省搜索引擎抓取資源
(4)統一路徑、集中權重
(5)屏蔽抓取網站內無價值的頁面
(6)屏蔽不需要收錄排名的頁面
 
4、寫好Robots的前提
(1)了解網站鏈接
<1>網頁鏈接的組成結構:http:(協議)//www.sina.com.cn(主機名)/web(文件夾名)/index.html(文件名)
<2>網站URL鏈接設置
<3>網站程序目錄(文件夾)
 
WordPress
<1>"wp-admin":后臺
<2>“wp-content”:包含你所有的內容,包括插件,主題和您上傳的內容
<3>“wp-content/Plugins”:文件夾包含所有插件
<4>“wp-content/theme”:主題文件夾保存你所有的主題
<5>“wp-content/Uploads”:文件夾,所有你上傳圖片,視頻和附件
 
織夢
<1>“data”:系統緩存或其他可寫入數據存放目錄
<2>“dede”:默認后臺管理目錄
<3>“image”:系統默認模板圖片存放目錄
<4>“include”:類庫文件目錄
<5>“install”:安裝程序目錄,安裝完后可刪除
<6>“member”:會員目錄
<7>“plus”:插件目錄
<8>“special”:專題目錄
<9>“templets”:系統默認內核模板目錄
<10>"uploads":默認上傳目錄
<11>“a”:默認HTML文件存放目錄

 
(2)熟悉Robots規則
(3)目標:你想屏蔽什么鏈接
 
三、Robots規則
(1)User Agent:
<1>谷歌蜘蛛:googlebot
<2>百度蜘蛛:Baiduspider
<3>搜搜soso蜘蛛:Sosospider
<4>搜狗(sogou)蜘蛛:sogou spider
<5>360蜘蛛:360Spider
<6>神馬蜘蛛:Yisouspider
<7>User Agent: *所有蜘蛛
 
(2)Allow:允許抓取——默認是允許抓取所有,遵循最詳細的規則
(3)Disallow:禁止抓取——屏蔽/不允許抓取,屏蔽目錄(文件夾),允許抓取圖片
(4)*:通配符——所有,如:Disallow: /tag/*
(5)$:終止符——以**結尾,屏蔽抓取JS(Disallow: /*.js$)
 
(6)其他
<1>英文狀態的符號——冒號
<2>空格——冒號之后
<3>首個字母大寫
<4>/——根目錄,網站所有
(7)Sitemap:網站地圖——網站地圖地址
 
四、常見屏蔽
1、動態路徑
(1)規律——(?)
(2)寫法——Disallow: /*?*
 
2、搜索結果頁
(1)原因:重復頁面,質量較低
(2)規律:域名/?s=
(3)寫法:Disallow: /?s=*
 
3、js
(1)【官方說法】關于JS使用的建議  https://ziyuan.baidu.com/college/articleinfo?id=1091
(2)規律:.js結尾
(3)寫法:Disallow: /*.js$
 
4、tag標簽(中文)
(1)中文鏈接
(2)規律:域名/tag/
(3)寫法
 
5、模板目錄:Disallow: /templets/
6、插件目錄:Disallow: /plus/
7、后臺目錄:Disallow: /dede/
注:看鏈接,找規律,寫規則,了解自己網站的目錄(文件夾)
 
五、注意事項與誤區
1、嚴格區分大小寫:看網站鏈接
 
2、區分
(1)Disallow: / ab  、 Disallow: / 屏蔽網站
(3)Disallow: /ab 和 Disallow: /ab* 規則相同
(5)Disallow: /ab/(屏蔽文件夾)
(6)Disallow: /ab(屏蔽范圍更大)
 
3、網站安全
(1)暴露網站程序
(2)后臺:Disallow: /*ed
(3)壓縮包:Disallow: /*.zip$
 
六、提交與檢測Robots
1、百度搜索資源平臺
(1)https://ziyuan.baidu.com/robots
(2)Robots工具目前支持48k的文件內容檢測
 
2、站長工具
(1)愛站:https://tools.aizhan.com/robots
(2)站長之家:http://tool.chinaz.com/robots/
 

你會喜歡下面的文章? You'll like the following article.
w020 hg0088