如何找出爬取网站的罪魁祸首? 博主自留地

如何找出爬取网站的罪魁祸首?

1.背景 最近网站数据库性能很不稳定,查询性能在某段时间很慢,服务器CPU也很高,平常时间很低,感觉被爬虫恶意搞了,因此我分析了一下最近的nginx访问日志 2.方法 找出访问量最大20个ip [root@100 nginx]# cat liuhaihua.access.log | awk -F " " '{print $1}' |sort |uniq -c |sort -rn|head ...
阅读全文
centos7安装php7.4 后端

centos7安装php7.4

1.安装 EPEL 软件包: yum install -y epel-release 2.安装 remi 源(安装后在/etc/yum.repos.d/下就有php源了): yum install -y http://rpms.remirepo.net/enterprise/remi-release-7.rpm 3.安装 yum 扩展包: yum install -y yum-utils...
阅读全文
Nginx 配置 TLSv1.2 协议失效的问题 nginx

Nginx 配置 TLSv1.2 协议失效的问题

①、背景描述 所有业务出口都挂Nginx上,Nginx配置了证书但是通过https访问时谷歌浏览器、火狐、Edge浏览器报错,提示正在使用已过时的SSL版本,v1.0,建议使用v1.2或更高版本。 ②、原因分析: 访问的域名得Nginx配置是设置的 ssl_protocols TLSv1 TLSv1.1 TLSv1.2; 度娘“nginx 证书v1.2失效”得知nginx配置了...
阅读全文
centos安装 nginx和 php运行环境 后端

centos安装 nginx和 php运行环境

CentOS是一种流行的Linux操作系统,Nginx是一个开源的高性能Web服务器软件,PHP是一种常用的服务器端编程语言。若您需要在CentOS上安装Nginx和PHP,可以按照以下步骤: 安装CentOS操作系统并完成基本配置; 执行以下命令来安装Nginx: sudo yum install epel-release sudo yum install nginx 执行以下命令来安...
阅读全文
本站又被爬虫盯上了.... nginx

本站又被爬虫盯上了....

背景: 最近小博客,经常流出流量超过上线,而且服务器临时文件经常爆满。后面查询日志,发现有一个来自重庆的爬虫【113.207.1.133】一直爬取本站的图片,不知道干什么用,本周都是技术图片,你们爬取过去干嘛呢? 临时解决方案 nginx中可通过写入配置文件的方法来达到一定的过滤IP作用,可使用deny来写。 deny的使用方法可用于前端服务器无防护设备的时候过滤一些异常IP,过滤的c...
阅读全文
那些知名的软件开发技术堆栈,看到缩写别懵 编程技术

那些知名的软件开发技术堆栈,看到缩写别懵

技术的缩写名词很常见,比如Kubernetes简称K8S,Javascipt简称JS。但有一些技术堆栈会将其名称的首字母放在一起,这就给初入行的程序员或技术人员造成了困惑。而这些技术堆栈缩写代表着整个技术框架体系。比如LAMP,LEMP,MEAN,XAMPP,WAMP和AMPPS,那么这些技术堆栈的缩写都代表什么?在开源的世界中,它们的名头可都是响当当的。 LAMP LAMP是用于网站...
阅读全文
超硬核Java工程师学习指南,真正的从入门到精通,众多粉丝亲测已拿offer! Java

超硬核Java工程师学习指南,真正的从入门到精通,众多粉丝亲测已拿offer!

最近有很多小伙伴来问我,Java小白如何入门,如何安排学习路线,每一步应该怎么走比较好。原本我以为之前的几篇文章已经可以解决大家的问题了,其实不然,因为我之前写的文章都是站在Java后端的全局上进行思考和总结的,忽略了很多小白们的感受,而很多朋友都需要更加基础,更加详细的学习路线。 所以,今天我们重新开一个新的专题,分别按照四篇文章讲述Java的学习路线(分别是入门篇,初级篇,中级篇,高级篇)...
阅读全文
微服务的诞生以及相关技术栈 软件架构

微服务的诞生以及相关技术栈

本文是一个开坑文,列出了所有笔者能想到以及接触到的微服务场景下用到的技术栈以及技术选型,将来会详细展开每一个内容 从tomcat服务到微服务的进化史 梦开始的地方 很多人刚入门时候都是从tomcat开始的,下载一个tomcat容器,然后启动startup.sh,在浏览器输入经典的 http://localhost:8080 ,就看到那个画风诡异的汤姆猫了(啊,爷春回) ...
阅读全文
URI不规范编码解决方案 编程技术

URI不规范编码解决方案

RFC 7230 与 RFC 3986 定义了 HTTP/1.1 标准并对 URI 的编解码问题作出了规范。但是,文本形式的规范和最终落地的标准之间总是存在着差距。标准中共 82 个字符无需编码。 ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz0123456789:/?#@!$&'()*+,;_-.~ 对于需要编码的字符,百分号编...
阅读全文
Loading...