apache禁止搜索引擎收录、网络爬虫采集的配置方法

服务器 跟版网
这篇文章主要介绍了apache禁止搜索引擎收录、网络爬虫采集的配置方法,注意一定要写到Location节点,否则不起作用,可以精确匹配,也可以IP匹配,需要的朋友可以参考下

Apache中禁止网络爬虫，之前设置了很多次的，但总是不起作用，原来是是写错了，不能写到Dirctory中，要写到Location中


<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬虫
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>

这是禁止了所有包含spider字符的爬虫。
如果要针对性的禁止爬虫，改成精确匹配的爬虫字符串，如果bingbot、Googlebot等等

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！

相关文档推荐

安装 Apache 出现 以一种访问权限不允许的方式做了一个访问套接字的尝试
安装 Apache 出现 OS 10013 以一种访问权限不允许的方式做了一个访问套接字的尝试 如下截图： 提示： make_sock: could not bind to address 0.0.0.0:80 这个问题有由于计算机上安装了IIS7,80端口已占用。 打开Apache 的配置文件 Apache安装目录下的conf/htt
apache下载docx,pptx文件被浏览器当作zip文件保存：修改apache MIME类型配置mime.types
apache web服务器的站点，下载pptx,docx,xlsx文件，却被浏览器当作zip文件保存。 这不是浏览器的问题，而是apache不认docx,pptx,,xlsx等Microsoft Office 2007+的文件格式，而这些文件本身是zip压缩文件，所以被apache当作zip压缩文件发给浏览器了。 做个形
Linux下Apache网站目录读写权限的设置
网站目录文件权限的设置对网站的安全至关重要，下面简单介绍网站目录文件权限的基本设定。 我们假设http服务器运行的用户和用户组是www，网站用户为centos，网站根目录是/home/centos/web。 我们首先设定网站目录和文件的所有者和所有组为centos，www，如下
Apache httpd SSL VirtualHost 多站点https协议虚拟主机配置
Apache mod_ssl 配置多个虚拟主机支持SSL子站，以下配置适用于httpd 2.4+，对于不支持define指令的低版本Apache httpd Web Server，把SSLROOT换成所定义的路径即可。配置中的${WROOT}是httpd.conf中通过define指令定义的一个变量，值为D:/Web/www/ 在httpd.c
安装了360主机卫士后，apache无法启动的解决办法！
在apache的配置文件http.conf中最下面加入了这句，把这段注销掉或者去掉再重启apache就可以启动了！ #Begin SafeDogSite-ApacheFilter edits - remove only on uninstall Include d:/wamp/bin/apache/apache2.4.4/conf/SafeDogSiteApacheFilter.Conf #End Sa
apache documentroot指向htcdoc之外提示403错误的解决方法
在windows和RH都碰到过，只要把主目录指到其他地方后就出现权限不够的403提示，郁闷了好久。
html教程css教程前端开发cms教程seo优化网页设计服务器数据库平面设计电脑教程编程教程互联网移动开发php编程java编程建站技巧Python编程
织梦资讯网 织梦模板 dede 外语学校 织梦鬼故事 竞价网站源码 竞价培训网 门户网站 织梦二次开发 织梦笑话网 dedecms笑话网 织梦源码 网站建设 搞笑图片 织梦教程 旅游网站源码 织梦旅游网 学校培训 html5 企业织梦源码 医院源码 后台样式 移动营销页 整形医院 大学医院 新手建站 客服代码 洗衣机维修 企业网站 淘宝客 导航菜单 教育网站 学校源码 装修网站 装修模板 美容整形 女性健康 妈妈网 机械源码 建站公司 珠宝首饰 苹果网站 手机资讯 美女图片 织梦模版打包 妇科源码 安卓市场源码 男性时尚网 健康之家 app应用网站 笑话网站 下载站 美女图片网 中医院网站 家装网站源码 QQ网站 标牌网站 魔兽世界网 淘宝客源码 YY网站源码 别墅设计网站 服装搭配网 宝宝起名网 站长网站 婚庆网站 脑科医院源码 笑话源码 肝胆医院 意外怀孕源码 工作室