首頁?>?知識(shí)?資訊?>?什么是robots協(xié)議??>?正文

什么是robots協(xié)議?

2014/12/26 0:00:00 · 稿源:傳誠信

robots協(xié)議:robots.txt是搜索引擎訪問一個(gè)網(wǎng)站時(shí)要訪問的第一個(gè)文件,用以來確定哪些是被允許抓取的哪些是被禁止抓取的。robots.txt必須放在網(wǎng)站根目錄下,且文件名要小寫。詳細(xì)的robots.txt寫法可參考http://www.robotstxt.org。

百度嚴(yán)格按照robots協(xié)議執(zhí)行,另外,同樣支持網(wǎng)頁內(nèi)容中添加的名為robots的meta標(biāo)簽,index、follow、nofollow等指令。


  • 相關(guān)推薦
  • 大家在看
熱文
  • 熱門
  • 最新
客戶服務(wù)
咨詢熱線

010-62199213

24小時(shí)咨詢熱線

139-1050-5354