apache禁止爬虫-创新互联
Apache
①、通过修改 .htaccess文件
修改网站目录下的.htaccess,添加如下代码即可
RewriteEngine On
RewriteCond %{HTTP_USER_AGENT} (^$|FeedDemon|JikeSpider|Indy ) [NC]
RewriteRule ^(.*)$ - [F]
②、通过修改httpd.conf配置文件
找到如下类似位置,根据以下代码 新增 / 修改,然后重启Apache即可:
DocumentRoot /home/wwwroot/xxx
SetEnvIfNoCase User-Agent ".*(FeedDemon|JikeSpider|Indy )" BADBOT
Order allow,deny
Allow from all
deny from env=BADBOT
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
名称栏目:apache禁止爬虫-创新互联
转载来于:http://lswzjz.com/article/cdigjh.html