robots文件

robots文件的写法 rotbots.txt文件用于告诉搜索引擎蜘蛛禁止抓取网站的某些内容或者指定运行抓取某些内容。 nMK$&h,{‑ 搜索引擎蜘蛛在访问站点首页就会擦看网站根目录下的robots.txt，robots.txt必须全部为英文…