robots協(xié)議:robots.txt是搜索引擎訪問一個(gè)網(wǎng)站時(shí)要訪問的第一個(gè)文件,用以來確定哪些是被允許抓取的哪些是被禁止抓取的。robots.txt必須放在網(wǎng)站根目錄下,且文件名要小寫。詳細(xì)的robots.txt寫法可參考http://www.robotstxt.org。
百度嚴(yán)格按照robots協(xié)議執(zhí)行,另外,同樣支持網(wǎng)頁內(nèi)容中添加的名為robots的meta標(biāo)簽,index、follow、nofollow等指令。