内存飙升！记一次nginx拦截爬虫

发布日期： 2023-03-30 阅读量： 作者： 网络

本篇文章给大家带来了关于nginx的相关知识，其中主要介绍了nginx拦截爬虫相关的，感兴趣的朋友下面一起来看一下吧，希望对大家有帮助。

前言：

最近发现服务器在某个时间段，内存疯狂飙升，开始还以为是正常的业务造成的，升级服务器内存，发现还是没有解决问题；（这里自己偷懒了，一开始没有找到问题，默认为就是业务量上来了）

马上查看 nginx 日志，发现了一些不同寻常的请求：

这是什么玩意，怀揣着好奇心马上去搜索了一下，结果：

好家伙，差点没把我服务器送回家；

赶紧解决：

nginx 层面解决

发现虽然是爬虫，但是并没有伪装，每个请求里边都带了 user-agent，而且都是一样的，那就好解决了，直接上代码：(我这里适用的是 docker)

1、docker-compose

version: '3'
services:
  d_nginx:
    container_name: c_nginx
    env_file:
      - ./env_files/nginx-web.env
    image: nginx:1.20.1-alpine
    ports:
      - '80:80'
      - '81:81'
      - '443:443'
    links:
      - d_php
    volumes:
      - ./nginx/conf:/etc/nginx/conf.d
      - ./nginx/nginx.conf:/etc/nginx/nginx.conf
      - ./nginx/deny-agent.conf:/etc/nginx/agent-deny.conf
      - ./nginx/certs:/etc/nginx/certs
      - ./nginx/logs:/var/log/nginx/
      - ./www:/var/www/html

上一篇: 如何使用Highlight.js库实现后端流式消息返回的代码

下一篇: 揭示 C++ 函数性能优化秘籍，释放代码潜能

内存飙升！记一次nginx拦截爬虫

随便看看