seo教程-網站robot什么意思?robots.txt如何寫作?

2019-04-13 13:20 欄目:seo優化 查看()
什么是robots.txt?Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是“網絡爬蟲排除標準”,網站通過Robots協議告訴搜索引擎哪些頁面可以抓取,哪些頁面不能抓取。robots.txt是一個協議,而不是一個命令。robots.txt是搜索引擎中訪問網站的時候要查看的第一個文件。robots.txt文件告訴蜘蛛程序在服務器上什么文件是可以被查看的。那么各位站長對robots了解多少?知道robots文件怎么寫嗎?下面思路網絡小編就來為大家介紹。
robots.txt
 
Robots協議是國際互聯網界通行的道德規范,基于以下原則建立:
 
1、搜索技術應服務于人類,同時尊重信息提供者的意愿,并維護其隱私權;
 
2、網站有義務保護其使用者的個人信息和隱私不被侵犯。
 
robots功能
 
Robots協議用來告知搜索引擎營銷哪些頁面能被抓取,哪些頁面不能被抓取;可以屏蔽一些網站中比較大的文件,如:圖片,音樂,視頻等,節省服務器帶寬;可以屏蔽站點的一些死鏈接。方便搜索引擎抓取網站內容;設置網站地圖連接,方便引導蜘蛛爬取頁面。
什么是robots.txt
網站robots.txt文件如何寫作?
 
robots.txt文件寫法如下:
  User-agent: * 這里的*代表的所有的搜索引擎種類,*是一個通配符。
  robots文件的寫法
  Disallow: /admin/ 這里定義是禁止爬尋admin目錄下面的目錄。
  Disallow: /require/ 這里定義是禁止爬尋require目錄下面的目錄。
  Disallow: /ABC/ 這里定義是禁止爬尋ABC目錄下面的目錄。
  Disallow: /cgi-bin/*.htm 禁止訪問/cgi-bin/目錄下的所有以".htm"為后綴的URL(包含子目錄)。
  Disallow: /*?* 禁止訪問網站中所有包含問號 (?) 的網址。
  Disallow: /.jpg$ 禁止抓取網頁所有的.jpg格式的圖片。
  Disallow:/ab/adc.html 禁止爬取ab文件夾下面的adc.html文件。
  Allow: /cgi-bin/ 這里定義是允許爬尋cgi-bin目錄下面的目錄。
  Allow: /tmp 這里定義是允許爬尋tmp的整個目錄。
  Allow: .htm$ 僅允許訪問以".htm"為后綴的URL。
  Allow: .gif$ 允許抓取網頁和gif格式圖片。
  Sitemap: 網站地圖 告訴爬蟲這個頁面是網站地圖。
robots.txt
對于robots.txt文件的寫法就為大家分享到這里,當一個搜索蜘蛛訪問一個站點時,它會首先檢查該站點根目錄下是否存在robots.txt,如果存在,搜索機器人就會按照該文件中的內容來確定訪問的范圍;如果該文件不存在,所有的搜索蜘蛛將能夠訪問網站上所有沒有被口令保護的頁面。沈陽網站制作思路網小編提醒大家,僅當您的網站包含不希望被搜索引擎收錄的內容時,才需要使用robots.txt文件。如果您希望搜索引擎收錄網站上所有內容,請勿建立robots.txt文件。

猜您關注


思路網絡原創文章原文地址http://www.wzxxyj.com/jz/seo/215.html
掃描二維碼與網站建設公司項目經理溝通

思路網絡將在微信上24小時期待你的聲音

解答本文疑問/百度推廣/沈陽seo/網絡推廣/網站優化交流

作者:思路網絡 原創不易,轉載時必須以鏈接形式注明作者和原始出處及本聲明!
欧美熟妇vdeos中国版