apache使用.htaccess文件实现屏蔽wget下载网站内容

服务器 跟版网
wget是一个从网络上自动下载文件的自由工具，支持通过HTTP、HTTPS、FTP三个最常见的TCP/IP协议下载，并可以使用HTTP代理。wget名称的由来是“World Wide Web”与“get”的结合。

经发现，虽然wget遵循 robots.txt 规则，但是那个还是可以绕过去，现在把我自己使用的屏蔽方法分享给大家：

1. 屏蔽下载任何文件

.htaccess

SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
  Order Allow,Deny
  Allow from all
  Deny from env=bad_bot
</Limit>

2. 屏蔽下载部分文件

.htaccess

SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>

本站部分内容来源互联网,如果有图片或者内容侵犯您的权益请联系我们删除！

相关文档推荐

安装 Apache 出现 以一种访问权限不允许的方式做了一个访问套接字的尝试
安装 Apache 出现 OS 10013 以一种访问权限不允许的方式做了一个访问套接字的尝试 如下截图： 提示： make_sock: could not bind to address 0.0.0.0:80 这个问题有由于计算机上安装了IIS7,80端口已占用。 打开Apache 的配置文件 Apache安装目录下的conf/htt
apache下载docx,pptx文件被浏览器当作zip文件保存：修改apache MIME类型配置mime.types
apache web服务器的站点，下载pptx,docx,xlsx文件，却被浏览器当作zip文件保存。 这不是浏览器的问题，而是apache不认docx,pptx,,xlsx等Microsoft Office 2007+的文件格式，而这些文件本身是zip压缩文件，所以被apache当作zip压缩文件发给浏览器了。 做个形
Linux下Apache网站目录读写权限的设置
网站目录文件权限的设置对网站的安全至关重要，下面简单介绍网站目录文件权限的基本设定。 我们假设http服务器运行的用户和用户组是www，网站用户为centos，网站根目录是/home/centos/web。 我们首先设定网站目录和文件的所有者和所有组为centos，www，如下
Apache httpd SSL VirtualHost 多站点https协议虚拟主机配置
Apache mod_ssl 配置多个虚拟主机支持SSL子站，以下配置适用于httpd 2.4+，对于不支持define指令的低版本Apache httpd Web Server，把SSLROOT换成所定义的路径即可。配置中的${WROOT}是httpd.conf中通过define指令定义的一个变量，值为D:/Web/www/ 在httpd.c
安装了360主机卫士后，apache无法启动的解决办法！
在apache的配置文件http.conf中最下面加入了这句，把这段注销掉或者去掉再重启apache就可以启动了！ #Begin SafeDogSite-ApacheFilter edits - remove only on uninstall Include d:/wamp/bin/apache/apache2.4.4/conf/SafeDogSiteApacheFilter.Conf #End Sa
apache documentroot指向htcdoc之外提示403错误的解决方法
在windows和RH都碰到过，只要把主目录指到其他地方后就出现权限不够的403提示，郁闷了好久。
html教程css教程前端开发cms教程seo优化网页设计服务器数据库平面设计电脑教程编程教程互联网移动开发php编程java编程建站技巧Python编程
织梦资讯网 织梦模板 dede 外语学校 织梦鬼故事 竞价网站源码 竞价培训网 门户网站 织梦二次开发 织梦笑话网 dedecms笑话网 织梦源码 网站建设 搞笑图片 织梦教程 旅游网站源码 织梦旅游网 学校培训 html5 企业织梦源码 医院源码 后台样式 移动营销页 整形医院 大学医院 新手建站 客服代码 洗衣机维修 企业网站 淘宝客 导航菜单 教育网站 学校源码 装修网站 装修模板 美容整形 女性健康 妈妈网 机械源码 建站公司 珠宝首饰 苹果网站 手机资讯 美女图片 织梦模版打包 妇科源码 安卓市场源码 男性时尚网 健康之家 app应用网站 笑话网站 下载站 美女图片网 中医院网站 家装网站源码 QQ网站 标牌网站 魔兽世界网 淘宝客源码 YY网站源码 别墅设计网站 服装搭配网 宝宝起名网 站长网站 婚庆网站 脑科医院源码 笑话源码 肝胆医院 意外怀孕源码 工作室