搜索引擎收录blog对有些人而言并非是件好事,例如我就不喜欢百度的爬虫扫我的站,带来毫无意义的访问和闲杂人等。对于使用blogbus这样的BSP用户而言,自行定义robots.txt还没法实现,不过好在bus最近新推出了个自定义header的功能,我们可以利用meta信息来屏蔽某些搜索引擎乃至全部
假如你想屏蔽所有搜索引擎的抓取的话,可以在自定义header里添加如下一句
<meta name="robots" c...
假如你想屏蔽所有搜索引擎的抓取的话,可以在自定义header里添加如下一句
<meta name="robots" c...