现金麻将游戏
首頁 > 新聞資訊 > SEO優化
網站的robots.txt文本的用處有哪些?
添加時間:2019/9/23 瀏覽次數: 96

  什么是robots協議?
  robots是網站和搜索引擎之間的一個協議。用來fangzhi一些不想被搜索引擎索引的頁面或內容的抓取,而且可以吧sitemap地圖的路徑放在robots協議中,這樣可以幫助網站地圖的抓取。能夠凈化網站的健康度,jiangdi網站不健康內容收錄。
  robots協議怎么寫?
  robots的常用的命令一般有:
  User-agent:*(這里的*代表的搜索引擎種類,這句話表示可以讓搜索引擎都可以訪問抓取這個網站。)
  Disallow:(這個表示禁止的意思,一些不想讓搜索引擎訪問的頁面可以把路徑寫下來。)
  Allow:(這個表示允許的意思,想要搜索引擎訪問頁面可以把路徑寫下來。)
  robots協議的作用
  通過我們上面的內容,我們對robots也有了了解。當搜索網站時,會優先訪問網站的robots協議,從中來獲取信息來抓取網站。那么如果沒有robots協議會對網站有什么影響呢?
  1、如果沒有robots,搜索引擎蜘蛛訪問網站時依舊會先訪問robots.txt,沒有的話會返回404頁面,影響雖然不大,但是也不好。
  2、沒有robots,搜索引擎蜘蛛默認抓取內容。這一點影響不是很大,但是還是取決于網站的內容,如果存在很多低質量的內容,建議還是使用robots進行xian制比較好。
  綜合上面所說的內容,robots協議還是加上比較好,沒有很麻煩,我們一般會把robots放在FTP的根目錄下,有益于蜘蛛的抓取。

上一頁: 什么原因造成網站的關鍵詞排名不穩定呢?
下一頁:網站內頁排名如何通過內鏈來優化?
Copyright © 2010 www.skwaji.tw All Rights Reserved 電話:0532-86880609
版權所有 ©2010 青島新藍網絡信息有限公司   魯公網安備37021002000719號  青島網站建設 青島網站制作 青島網站優化  
现金麻将游戏 浙江20选5 黑龙江22选5 黑龙江p62 智操盘 篮球比分直播7m简体 体彩p5 华瑞配资 浙江6+1 股票推荐网站 微豪配资 海南4+1 黑马股票推荐分析 亿源策略配资 福建36选7 股票配资平台大全 华融配资