Robots

　　1. robots.txt可能告诉百度您站的哪些页面可能被抓取，哪些页面不行能被抓取。

　　2. 您可能通过Robots东西来创筑、校验、更新您的robots.txt文献，或查看您站robots.txt文献正在百度生效的情状。

　　3. Robots东西目前援救48k的文献实质检测，请保障您的robots.txt文献不要过大，目次最长不赶上250个字符。