nginx 防盗链防爬虫配置详解


Posted in Servers onMarch 31, 2021

 新建配置配置文件 (例如进入到nginx安装目录下的conf目录,创建: agent_deny.conf)

禁止Scrapy等工具的抓取 if ($http_user_agent ~* (Scrapy|Curl|HttpClient)) { return 403; }

禁止指定UA及UA为空的访问

#forbidden Scrapy
if ($http_user_agent ~* (Scrapy|Curl|HttpClient))
{
  return 403;
}

#forbidden UA
if ($http_user_agent ~ "Bytespider|FeedDemon|JikeSpider|Indy Library|Alexa Toolbar|AskTbFXTV|AhrefsBot|CrawlDaddy|CoolpadWebkit|Java|Feedly|UniversalFeedParser|ApacheBench|Microsoft URL Control|Swiftbot|ZmEu|oBot|jaunty|Python-urllib|lightDeckReports Bot|YYSpider|DigExt|YisouSpider|HttpClient|MJ12bot|heritrix|EasouSpider|Ezooms|^$" )
{
  return 403;
}

#forbidden not GET|HEAD|POST method access
if ($request_method !~ ^(GET|HEAD|POST)$)
{
  return 403;
}

然后,在网站相关配置中的 server段插入如下代码: include agent_deny.conf;

重启nginx:

/data/nginx/sbin/nginx -s reload

测试 使用curl -A 模拟抓取即可,比如:

curl -I -A 'YYSpider' <<www.xxx.con>>

结果

[root@11 conf]# curl -I -A 'YYSpider' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:35:21 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive

模拟UA为空的抓取:

curl -I -A' ' <<www.xxx.cn>>

结果

[root@11 conf]# curl -I -A' ' www.xxx.cn
HTTP/1.1 403 Forbidden
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:06 GMT
Content-Type: text/html
Content-Length: 169
Connection: keep-alive

模拟百度蜘蛛的抓取:

curl -I -A 'Baiduspider' <<<www.xxx.cn>>>

[root@11 conf]# curl -I -A 'Baiduspider' www.xxx.cn
HTTP/1.1 200 OK
Server: nginx/1.12.0
Date: Wed, 24 Apr 2019 11:36:47 GMT
Content-Type: text/html
Content-Length: 612
Last-Modified: Fri, 12 Apr 2019 13:49:36 GMT
Connection: keep-alive
ETag: "5cb09770-264"
Accept-Ranges: bytes

UA类型

FeedDemon       内容采集
BOT/0.1 (BOT for JCE) sql注入
CrawlDaddy      sql注入
Java         内容采集
Jullo         内容采集
Feedly        内容采集
UniversalFeedParser  内容采集
ApacheBench      cc攻击器
Swiftbot       无用爬虫
YandexBot       无用爬虫
AhrefsBot       无用爬虫
YisouSpider      无用爬虫(已被UC神马搜索收购,此蜘蛛可以放开!)
jikeSpider      无用爬虫
MJ12bot        无用爬虫
ZmEu phpmyadmin    漏洞扫描
WinHttp        采集cc攻击
EasouSpider      无用爬虫
HttpClient      tcp攻击
Microsoft URL Control 扫描
YYSpider       无用爬虫
jaunty        wordpress爆破扫描器
oBot         无用爬虫
Python-urllib     内容采集
Indy Library     扫描
FlightDeckReports Bot 无用爬虫
Linguee Bot      无用爬虫

nginx 防盗链配置

背景:防止第三方引用链接访问我们的图片,消耗服务器资源和网络流量,我们可以在服务器上做防盗链限制。
实现防盗链的方式有两种:refer方式和签名方式。

refer方式实现防盗链

工作模块:ngx_http_referer_module。

作用变量:$invalid_referer,全局变量。

配置域:server, location

配置:

server {
  listen 80;
  server_name www.imcati.com refer-test.imcati.com;
  root /usr/share/nginx/html;
  location ~*\.(gif|jpg|jpeg|png|bmp|swf)$ {
    valid_referers none blocked www.imcati.com;
    if ($invalid_referer) {
      return 403;
      }
   }
  }
  • valid_referers: 指定资源访问是通过以下几种方式为合法,即白名单。 vaild_referers 有效的引用连接,如下,否则就进入$invaild_refere,返回403 forbiden。
  • none:允许缺失的头部访问。
  • blocked:允许referer没有对应值的请求。
  • server_names:若referer站点域名与server_name中本机配的域名一样允许访问。

到此这篇关于nginx 防盗链防爬虫配置详解的文章就介绍到这了,更多相关nginx 防盗链防爬虫配置内容请搜索三水点靠木以前的文章或继续浏览下面的相关文章希望大家以后多多支持三水点靠木!

Servers 相关文章推荐
nginx中proxy_pass各种用法详解
Nov 07 Servers
nginx刷新页面出现404解决方案(亲测有效)
Mar 18 Servers
Nginx设置HTTPS的方法步骤 443证书配置方法
Mar 21 Servers
使用Docker容器部署rocketmq单机的全过程
Apr 03 Servers
阿里云日志过滤器配置日志服务
Apr 09 Servers
安装Windows Server 2012 R2企业版操作系统并设置好相关参数
Apr 29 Servers
使用 Docker Compose 构建复杂的多容器App
Apr 30 Servers
Nginx利用Logrotate实现日志分割
May 20 Servers
关于windows server 2012 DC 环境 重启后蓝屏代码:0xc00002e2的问题
May 25 Servers
使用Apache Camel表达REST服务的方法
Jun 10 Servers
Zabbix对Kafka topic积压数据监控的问题(bug优化)
Jul 07 Servers
Nginx服务器如何设置url链接
nginx搭建图片服务器的过程详解(root和alias的区别)
Mar 31 #Servers
Nginx代理同域名前后端分离项目的完整步骤
Mar 31 #Servers
Nginx+SpringBoot实现负载均衡的示例
win10安装配置nginx的过程
Filebeat 采集 Nginx 日志的方法
如何利用map实现Nginx允许多个域名跨域
Mar 31 #Servers
You might like
golang与php实现计算两个经纬度之间距离的方法
2016/07/22 PHP
Laravel框架自定义公共函数的引入操作示例
2019/04/16 PHP
php使用fputcsv实现大数据的导出操作详解
2020/02/27 PHP
js 编写规范
2010/03/03 Javascript
纯JavaScript实现的完美渐变弹出层效果代码
2010/04/02 Javascript
杨氏矩阵查找的JS代码
2013/03/21 Javascript
javascript动态添加样式(行内式/嵌入式/外链式等规则)
2013/06/24 Javascript
编写js扩展方法判断一个数组中是否包含某个元素
2013/11/08 Javascript
利用javascript判断文件是否存在
2013/12/31 Javascript
使用JavaScript进行进制转换将字符串转换为十进制
2014/09/21 Javascript
使用正则表达式的格式化与高亮显示json字符串
2014/12/03 Javascript
使用javascript实现监控视频播放并打印日志
2015/01/05 Javascript
JavaScript中数组继承的简单示例
2015/07/29 Javascript
js实现table添加行tr、删除行tr、清空行tr的简单实例
2016/10/15 Javascript
javascript设计模式之策略模式学习笔记
2017/02/15 Javascript
Bootstrap 3 按钮标签实例代码
2017/02/21 Javascript
Angular.js组件之input mask对input输入进行格式化详解
2017/07/10 Javascript
vue.js如何更改默认端口号8080为指定端口的方法
2017/07/14 Javascript
JavaScript仿微信(电话)联系人列表滑动字母索引实例讲解(推荐)
2017/08/16 Javascript
vue生成token保存在客户端localStorage中的方法
2017/10/25 Javascript
基于jQuery.i18n实现web前端的国际化
2018/05/04 jQuery
vue-router动态设置页面title的实例讲解
2018/08/30 Javascript
Vue  webpack 项目自动打包压缩成zip文件的方法
2019/07/24 Javascript
python实现堆栈与队列的方法
2015/01/15 Python
PyCharm 常用快捷键和设置方法
2017/12/20 Python
Python 、Pycharm、Anaconda三者的区别与联系、安装过程及注意事项
2019/10/11 Python
用python拟合等角螺线的实现示例
2019/12/27 Python
基于pycharm 项目和项目文件命名规则的介绍
2021/01/15 Python
甜点店创业计划书
2014/01/27 职场文书
学校消防安全制度
2014/01/30 职场文书
关于运动会的稿件
2014/02/02 职场文书
《小山羊和小灰兔》教学反思
2014/02/19 职场文书
上党课的心得体会
2014/09/02 职场文书
物业管理委托协议(2篇)
2014/09/23 职场文书
2014年优质护理服务工作总结
2014/11/14 职场文书
Python基于Opencv识别两张相似图片
2021/04/25 Python