• WAP手机版 RSS订阅 加入收藏  设为首页
SEO技术

网站管理员如何防止搜索引擎蜘蛛爬行

时间:2014-9-30 20:07:01   作者:免费文章   来源:免费文章网   阅读:236   评论:0
内容摘要:主要文章:机器人排除标准为了避免在搜索索引不良内容,网站管理员可以指示蜘蛛不通过标准的抓取某些文件或目录的robots.txt中的域的根目录下的文件。此外,页面可以明确地使用排除在搜索引擎的数据库meta标签特有的机器人。当搜索引擎访问一个网站,坐落在robots.txt的根目录...
主要文章: 机器人排除标准
为了避免在搜索索引不良内容,网站管理员可以指示蜘蛛不通过标准的抓取某些文件或目录的robots.txt中的域的根目录下的文件。 此外,页面可以明确地使用排除在搜索引擎的数据库meta标签特有的机器人。 当搜索引擎访问一个网站,坐落在robots.txt的根目录下的第一个文件检索。 那么robots.txt文件进行解析,并且将指示机器人哪个页面不能抓取。 作为一个搜索引擎爬虫可以保留这个文件的缓存副本,可能有时抓取页面的网站管理员不希望抓取。 通常防止被抓取的网页,包括登录特定网页,如购物车和用户特定的内容,如从内部搜索的搜索结果。 2007年3月,谷歌网站管理员发出警告,他们应该防止内部搜索结果索引,因为这些页面被认为是搜索垃圾邮件。

出处:免费文章网
网址:http://www.mfwzw.com
转载时请注明出处和网址


相关评论
Copyright © 2013- 免费文章网 陇ICP备14001872号-4