出于好奇，尝试了一下百度的robots.txt，比密密麻麻的Google简洁了许多，只有短短几行：

　　User-agent: Baiduspider
　　Disallow: /baidu

　　User-agent: *
　　Disallow: /shifen/dqzd.html

　　第一段就不用说了，第二段也遇到了同样打不开的错误，不过，按以前的资料来看，这是百度曾经的竞价排名的区域核心代理一览表以及地区总代理一览表，出于某些可以理解的原因做了模糊处理。

图3