
本文完整记录一次个人博客的线上故障处理过程:同一天里,首页出现了 14.7% 的 500,同时日志里涌入几万个不同的 IP。前半段讲 500 的定位与修复,后半段讲 403 误伤与代理池识别,中间包含一次判断错误、一次统计命令写错、一次没能完全证实的根因。
重点不只是"最后改了哪几行代码",而是每一步背后的原理——为什么连接池假设可以被一条 SQL 立刻证伪、为什么 awk '$3 ~ / 500 /' 会多算出八百条、为什么三行 Java 异常会对应两条日志、为什么给 ;jsessionid= 返回 403 会误伤搜索引擎、为什么 IP 限流对代理池天然无效。
文中域名、IP、库名、服务名均以占位符(blog.example.com、<db>、<service>)表示,可直接套用到自己的站点。
1. 事故概览:两个同时发生的异常
1.1 现象
当天 49041 个请求里,7206 个是 500,占比 14.7%。对一个以静态内容为主的博客站点来说,这个数字正常应该接近于零。
同一天,nginx 访问日志里出现几万个不同 IP,绝大多数只访问一次。从访问日志表导出的数据也能对上:两天新增 14903 条记录,来自 13414 个不同 IP,平均每个 IP 1.1 次。
| 指标 | 数值 | 正常参照 |
|---|---|---|
| 当日请求总数 | 49,041 | — |
| 500 数量 | 7,206 | 接近 0 |
| 500 占比 | 14.7% | 接近 0 |
| 新增访问记录(两天) | 14,903 | 数百条 |
| 不同 IP(两天) | 13,414 | 与记录数同量级偏低 |
| IP 复用率 | 1.1 次 / IP | 真人通常 10 次以上 |
1.2 第一判断是错的
看到这两个数字同时出现,最自然的解释是:站点被爬虫刷,压力把应用刷挂了。
这个因果关系听上去合理,但它把两件独立的事强行串成了一条线。实际结果是:500 与爬虫没有因果关系,它们是两个并行的缺陷——一个在模板层(缺少判空),一个在入口层(缺少针对代理池的识别手段)。爬虫只是恰好让第一个缺陷的暴露概率变高了。
1.3 为什么两件事容易混在一起
因为它们的时间窗口重叠,而且数量级都能解释对方:500 密集出现的时段,正好也是访问量暴涨的时段。在只有一个观测维度(时间)的情况下,人会本能地用"多出来的流量"去解释"多出来的错误"。
区分它们并不需要更多假设,只需要一个反例:同样的流量下,如果模板没有 null 漏洞,500 就不会出现。后面第 2 节的数据库连接数统计,实际上就是这条反例的第一个证据。
2. 排查一:连接池假设与它的证伪
2.1 假设
应用是 Spring Boot + Hibernate + PostgreSQL,连接池用 HikariCP,配置里没有显式写 maximum-pool-size,即走默认的 10 个连接。
首页 / 一次渲染要执行十几次查询:最新文章、置顶文章、合集列表、每个合集下的文章、每个分类下的文章、每个分类的文章计数。
据此推出的链条是:爬虫并发打进来 → 10 个连接被占满 → 后续请求排队 → 等 30 秒获取连接超时 → 抛异常 → 变成 500。
链条本身没有明显漏洞。如果不去验证,下一步动作必然是调大连接池、重启、观察,然后问题大概率还在。
2.2 怎么证伪
一条 SQL 就够:
sudo -u postgres psql -d <db> -c \
"select state, count(*) from pg_stat_activity where datname='<db>' group by state;"
state | count
--------+-------
idle | 12
active | 1
| 8
一个活动连接,十二个空闲连接。数据库基本没有负载,连接池远未打满。假设被直接否定,不需要重启、不需要改任何配置。
(第三行空 state 是连接池自身的后台/空闲会话,不计入业务统计。)
2.3 为什么连接池耗尽通常不会表现为"开局就 500"
这一点值得单独说清,因为它是判断假设对不对的关键:
- HikariCP 默认
connectionTimeout是 30 秒。连接池真的被打满时,请求会先挂住 30 秒,然后才抛SQLTransientConnectionException。 - 结果是:页面表现是"转圈半天然后报错",nginx 侧的
$request_time会集中在 30 秒附近。 - 而本次故障的 500 是立即返回的,请求耗时很短。
也就是说,即使不看数据库统计,光看响应时间分布也能排除连接池。故障形态(快失败 / 慢超时)本身就是一条判据。
2.4 一条原则
观测的成本永远低于改动。 一次 pg_stat_activity 查询是秒级的,改连接池 + 重启 + 观察是分钟级的,而且改完之后如果问题还在,你已经"改过了",会倾向于去找新的解释,把原方向丢掉。
3. 排查二:统计命令本身是错的
3.1 现象:子集比全集还大
数 500 用的命令是:
awk '$3 ~ / 500 /' /var/log/nginx/access.log | wc -l
8017
换成按字段精确匹配:
awk '$9 ~ /^500$/' /var/log/nginx/access.log | wc -l
7206
差了 811。更关键的是中间还出现过一次不可能的结果:按路径统计时,"/ 路径上的 500"算出来是 8017,而全站 500 总数是 7206——一个子集比全集还大。
3.2 原理:~ 是正则子串匹配,== 才是字段相等
awk '$3 ~ / 500 /' 的含义是:第 3 个字段的字符串中,任意位置出现 "500" 就算命中。它不做字段等值比较,也不锚定边界。
所以这几类记录都会命中:
- 状态码 500 ✅(正确命中)
- 响应体字节数 1500(如果 1500 落在第 3 字段)
- URL 里带 500(如
/article/post-500-xxx) - 时间戳里带 500
- 任何包含 "500" 的字符串
本次自定义 log_format 下,第 3 字段确实是状态码,但只要该字段的取值里出现 500 就会被算进 500 计数;而按路径统计时字段位置又变了,于是出现"子集大于全集"。
$3 ~ /^500$/ 加了首尾锚点,只匹配"整个字段恰好是 500",但仍然依赖字段位置正确。最稳的是数值等值:
awk '$9 == 500' /var/log/nginx/access.log | wc -l
3.3 字段位置要先确认
nginx 的 combined 格式是:
$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"
对应字段:
| 字段 | 内容 |
|---|---|
$1 |
客户端 IP |
$2 |
-(remote_user 占位) |
$3` / `$4 |
[time_local](被方括号和空格拆成两段) |
$6` / `$7 / $8 |
请求行被引号拆开的部分 |
$9 |
状态码 |
$10 |
响应体字节数 |
这就是为什么很多教程写 $9`,而本次自定义格式下写 `$3——字段号取决于 log_format,不能抄。稳妥的做法是先打印一行确认:
awk 'NR==1 {for (i=1; i<=NF; i++) print i": "$i}' /var/log/nginx/access.log
3.4 一条判据
统计结果里出现逻辑上不可能的量——子集大于全集、比例超过 100%、时间分布与已知事实冲突——先怀疑命令,再怀疑问题。这类矛盾只可能来自统计口径写错。
4. 定位:从异常聚合到模板行号
4.1 异常总数不能直接用
sudo journalctl -u <service> --since today | grep -c "Exception"
60127
这个数字既不是失败次数,也不是请求数。Java 的异常是层层包装的,一次失败会在日志里落好几行;堆栈里还会重复打印 Caused by。所以必须按异常类型聚合:
sudo journalctl -u <service> --since today \
| grep -oE "[A-Za-z.]+Exception" | sort | uniq -c | sort -rn | head
17324 TemplateInputException
6 PersistenceException
4.2 两个数字说明的问题
PersistenceException只有 6 次 → 数据库侧几乎没报错,第 2 节排除连接池的结论得到第二次印证。TemplateInputException17324 次 → 模板渲染失败。
到这里,问题的方位已经从"数据库/连接池"挪到了"视图层"。
4.3 为什么 17324 大约等于 7206 的两倍多
Thymeleaf 渲染失败时,异常会被包装三层,日志里至少出现两类异常名:
org.thymeleaf.exceptions.TemplateProcessingException ← 处理模板时失败
org.thymeleaf.exceptions.TemplateInputException ← 读取模板输入时失败
caused by: org.springframework.expression.spel.SpelEvaluationException: EL1011E
一次失败通常打 2~3 行带 Exception 的日志,17324 / 7206 ≈ 2.4,量级吻合。
时间维度也能对上:500 密集的几个小时里模板异常同样密集;异常在某次服务重启后停止,500 也在同一时间停止。
4.4 定位到四处模板
Thymeleaf 的堆栈会带模板名和行号,但更快的定位方式是把首页模板里所有集合判空的地方扫一遍。最终定位到 index.html 的四行:
| 行号 | 原写法 | 用途 |
|---|---|---|
| 48 | th:if="${!latest.isEmpty()}" |
最新文章区块 |
| 59 | th:if="${latest.isEmpty()}" |
最新文章为空的提示 |
| 164 | th:if="${!seriesList.isEmpty()}" |
合集区块 |
| 180 | th:if="${seriesList.isEmpty()}" |
合集为空的提示 |
同一个模板里的置顶文章区块此前已经改成 topArticles != null and !topArticles.isEmpty()——说明这个模式在同一个文件里出现过一次并被局部修复,但没有推广。这是模板类缺陷的典型特征:不会只出现一次。
5. 原理:一次 null 调用如何变成 500
5.1 SpringEL 求值
th:if 的属性值不是字符串,而是一个要被 SpringEL 求值的表达式:
<div class="latest" th:if="${!latest.isEmpty()}">
等价于 Java:
!(latest.isEmpty())
当 latest 为 null 时,这不是"判断为 false",而是在一个 null 引用上调用方法,抛出 NullPointerException。
SpringEL 捕获后包装成:
org.springframework.expression.spel.SpelEvaluationException: EL1011E
EL1011E 是 SpEL 的错误码,含义是"求值 EL 表达式时调用方法失败"。
5.2 三层异常包装
从内到外:
| 层 | 异常 | 含义 |
|---|---|---|
| 1 | SpelEvaluationException: EL1011E |
表达式求值时方法调用失败 |
| 2 | TemplateProcessingException |
处理某个模板片段时失败 |
| 3 | TemplateInputException |
读取/渲染模板输入失败 |
三层之后冒到 Servlet 容器。
5.3 为什么错误页也救不回来
Spring Boot 的默认错误处理会尝试渲染错误页。如果错误页同样走 Thymeleaf(同一套模板机制),渲染过程可能再次失败;当错误处理本身也异常时,最终由 Tomcat 的 ErrorReportValve 兜底,直接输出一个 500 响应。
所以这一类故障的表象很直接:页面上什么都没有,只有一个 500,应用日志里则是一长串模板异常。
5.4 修法:利用短路求值
<!-- 改之前 -->
th:if="${!latest.isEmpty()}"
<!-- 改之后 -->
th:if="${latest != null and !latest.isEmpty()}"
SpEL 的 and 是短路求值:左侧 latest != null 为 false 时,右侧 !latest.isEmpty() 不会被执行,null 引用上的方法调用就不会发生。
四处一起改:
| 位置 | 改前 | 改后 |
|---|---|---|
| 最新文章区块 | !latest.isEmpty() |
latest != null and !latest.isEmpty() |
| 最新文章为空提示 | latest.isEmpty() |
latest != null and latest.isEmpty() |
| 合集区块 | !seriesList.isEmpty() |
seriesList != null and !seriesList.isEmpty() |
| 合集为空提示 | seriesList.isEmpty() |
seriesList != null and seriesList.isEmpty() |
6. 遗留问题:为什么只有 14.7%
6.1 已确定的与未确定的
如果 latest 恒为 null,首页应该 100% 挂掉。实际只有 14.7%,说明是部分请求才触发。
已确定的部分:
- 模板对 null 不设防,一旦为 null 必然 500;
- 修复后异常归零,说明这条路径确实是主因。
未确定的部分:latest 为什么会是 null。
6.2 最可能的解释:手工部署没有版本追溯
源码里 latest 是无条件赋值的:
@GetMapping("/")
public String index(Model model) {
List<Article> latest = articleService.latest(8);
// ……
model.addAttribute("latest", latest);
return "index";
}
articleService.latest() 返回 JPA 查询结果,没有文章时也是空集合,不会是 null。
所以 null 只能来自"线上跑的代码和本地源码不是同一份"。这个项目的部署方式一直是手工的:本地 mvn package 出带版本号的 jar,FTP 上传,服务器上重命名为固定文件名。版本号长期不变(一直是 1.0.10),因此"现在跑的是哪一版"没有任何可靠记录。
当天日志里能看到服务重启过两次,进程号从 695569 → 995957 → 997381。中间那次跑的是哪一版包,事后无法确认。
另一个可能是某个异常分支把 model 属性覆盖成了 null,但 PersistenceException 只有 6 次,量级完全对不上,可能性很低。
6.3 结论的边界
模板对 null 不设防是确证的;latest 为 null 的来源是推断的,没有确证。
修复后问题归零,只能证明"改这里有效",不能反推"这里就是唯一原因"。这一点写在这里,是为了避免后来的人把它当成完整结论直接引用。
顺带产出一条实践:部署必须能回答"线上是哪个构建"。最低成本的做法是把构建时间或 git 短哈希打进 build-info.properties,部署后在页脚或 /actuator/info 可查;靠文件名和版本号是无效的。
7. 验证:三层验证法
改完、打包、上传、重启之后,最省事的验证是打开首页刷新几次,看到页面出来就收工。本次不行:故障是概率性的,单次成功说明不了任何问题。
验证分三层,每层解决一个不同的不确定性。
7.1 第一层:确认服务器上跑的是新代码
这一步最容易漏。本地构建产物是 <app>-1.0.10.jar,服务器上运行的是 <app>.jar,名字不同,传错、传丢都没有任何提示。
服务器没有 unzip,但 jar 本质是 zip,可以用 Python 直接读:
python3 -c "import zipfile;print(zipfile.ZipFile('/opt/<app>/<app>.jar').read('BOOT-INF/classes/templates/index.html').decode())" | grep -n "latest"
48: <div class="latest" th:if="${latest != null and !latest.isEmpty()}">
59: <p th:if="${latest != null and latest.isEmpty()}">
看到 latest != null 才算部署成功。如果这里仍是 !latest.isEmpty(),后面的所有验证都没有意义——因为跑的还是旧包。
7.2 第二层:从重启时刻开始数异常
sudo journalctl -u <service> --since "16:40:43" | grep -c "TemplateInputException"
0
这一层比 curl 更准,不受限速、缓存、CDN 干扰,而且能覆盖"随机请求"的抽样问题。
注意 --since 的时间必须是新进程启动之后。第一次用 --since "5 minutes ago" 数出 140 条,逐条看堆栈前缀都是 java[995957]——那是旧进程临终前的日志。新进程 997381 于 16:40:43 启动,从那一刻起算才是 0。
7.3 第三层:发够量的请求
for i in $(seq 1 40); do
curl -o /dev/null -s -w "%{http_code} " https://blog.example.com/
done
200 200 200 429 200 429 200 ...(28 个 200,12 个 429)
12 个 429 不是故障,是把限流规则自己打出来了。站点配置的是:
limit_req_zone $pz_limit_key zone=pz_dyn:10m rate=3r/s;
location / {
limit_req zone=pz_dyn burst=10 nodelay;
}
令牌桶原理:
| 参数 | 含义 |
|---|---|
rate=3r/s |
每 333ms 生成一个令牌,即长期平均 3 请求/秒 |
burst=10 |
桶容量 10,最多允许瞬时多来 10 个 |
nodelay |
桶内的突发立刻放行,不排队平滑;桶满即拒 |
40 个请求在两秒内连发:每秒 20 个,远超 3r/s + burst 10 的上限,必然有一部分落进 429。这样测等于把真正的 500 埋在一堆 429 里,测了也等于没测。
改成每半秒一个:
for i in $(seq 1 20); do
curl -o /dev/null -s -w "%{http_code} " https://blog.example.com/
sleep 0.5
done
200 × 20
20 个全 200,说明修复在"低于限流阈值"的真实节奏下成立。
8. 另一个故障:403 误伤
8.1 现象
500 修完之后,再看当天 749 个 403。按 UA 聚合:
awk '$9 == 403' access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head
118 Baiduspider-render
99 iPhone OS 18_7_8
93 Chrome/131 Mobile
84 Chrome/150 Windows
76 Chrome/150 macOS
50 Chrome/149
39 Chrome/148
全是 2026 年真实存在的浏览器版本,加上百度官方渲染爬虫。没有一个应该被拦。
8.2 根因
站内有一条老规则:对 URL 中带 ;jsessionid= 的请求返回 403。
规则的初衷可以理解:;jsessionid= 是 Servlet 在客户端不支持 Cookie 时的会话跟踪手段,早期做 SEO 时留下过大量这种链接并被搜索引擎收录,它们看起来像垃圾参数。
但处理方式选错了:这些 URL 指向的内容是正常的,只是地址不规范,应该改写地址,而不是拒绝访问。
8.3 原理:Servlet 的 URL 重写
- HTTP 无状态,服务端用
JSESSIONIDCookie 识别"同一个人"。 - 客户端不接受 Cookie 时,Servlet 规范提供了兜底:URL 重写——渲染时通过
response.encodeURL()在 URL 后追加;jsessionid=XXXX,形如/article/foo;jsessionid=ABC123。 - 容器判断"客户端是否支持 Cookie"的依据是:本次请求有没有带
JSESSIONIDCookie。
对真实浏览器:
第 1 次请求 → 无 Cookie → 链接带 ;jsessionid=XXX,同时 Set-Cookie 下发
第 2 次起 → 自动带 Cookie → 链接不再带 ;jsessionid=
对不保存 Cookie 的爬虫:每一次都是"第一次",链接永远带 ;jsessionid=。于是它顺着页面爬下去时,下一个请求的 Referer 就是带 ;jsessionid= 的 URL。
这条推理在旧的一次刷量事件里被当作取证判据用过(历史 39 天仅 72 条命中,逐条核对 100% 是爬虫)。本次 403 的主体是真实浏览器与百度爬虫,说明这批 ;jsessionid= 链接来自搜索引擎收录的存量索引,不是本次新增的刷量特征。
8.4 301 / 403 / 444 的语义与代价
| 返回 | 语义 | 成本 | 搜索引擎行为 |
|---|---|---|---|
403 |
明确拒绝 | 需渲染错误页,耗带宽 | 视为"暂时不可用",反复重试 |
301 |
永久迁移 | 一个空响应 + Location 头 |
更新索引到新地址 |
444 |
nginx 非标准码:直接断开 | 零字节返回 | 视同连接失败 |
结论:内容存在、地址不规范 → 301;明确恶意 IP / 扫描器 → 444;只有"确实不该给"才用 403。
改法:
if ($request_uri ~* "^(.*);jsessionid=[^?]*(.*)$") { return 301 $1$2; }
拆解:$request_uri` 是原始 URI(含查询串,未解码);`~*` 表示不区分大小写的正则;`^(.*);jsessionid=[^?]*(.*)$ 分成前段、待丢弃段、后段;$1$2 拼回干净地址。
效果:
请求 /tag/stone;jsessionid=ABC123DEF
响应 301 Location: https://blog.example.com/tag/stone
但也带来一个问题:同一批被拦下的正常 403,会变成 301 放行,这是预期结果——它们的 URL 本来就指向正常内容。
8.5 nginx 的两个坑
坑一:指令的上下文。
把 if 写进 conf.d/*.conf 的顶层时,nginx -t 直接报错。原因是指令有上下文约束:
| 指令 | 允许的上下文 |
|---|---|
map |
只能 http {} |
geo |
只能 http {} |
limit_req_zone |
只能 http {} |
server |
http {} |
if |
只能 server {} 或 location {} |
conf.d/*.conf 是被 http {} include 进去的,所以 map、limit_req_zone 写在里面是对的(它们本来就属于 http 级),if 写进去就错——必须包在某个 server {} 里。
坑二:多个 if 按书写顺序执行。
nginx 在一个 server 内多个 if 是顺序求值、谁先命中谁返回。原有配置里有一条:
if ($pz_bot_block = 1) { return 403; }
如果新的 301 规则加在它后面,符合 ;jsessionid= 的请求会先命中 403,永远轮不到 301 执行。所以 301 必须插在所有 403/444 规则之前:
server {
listen 443 ssl http2;
server_name blog.example.com;
# 必须放最前:地址清洗
if ($request_uri ~* "^(.*);jsessionid=[^?]*(.*)$") { return 301 $1$2; }
# 其次:明确恶意的单点 IP
if ($remote_addr = 198.51.100.77) { return 444; }
# 原有的行为特征拦截留在后面
if ($fake_ref = 1) { return 403; }
# ……
}
验证:
curl -I "https://blog.example.com/tag/stone;jsessionid=ABC123DEF"
HTTP/2 301
location: https://blog.example.com/tag/stone
再确认没有误伤正常页面:
curl -o /dev/null -s -w "%{http_code}\n" https://blog.example.com/
curl -o /dev/null -s -w "%{http_code}\n" https://blog.example.com/tag/stone
200
200
9. 代理池:单条正常,统计异常
9.1 五个统计维度
把两天新增的数据拉平看:
| 维度 | 观测值 | 正常参照 |
|---|---|---|
| 记录数 | 14,903 | — |
| 不同 IP | 13,414 | 应显著少于记录数 |
| IP 复用率 | 1.1 次 / IP | 真人 10 次以上 |
| 无 Referer 比例 | 98% | 应明显低于 50% |
| UA 版本分布 | Chrome 124~143,每版约 880 条 | 应极度偏斜,最新版占多数 |
| 操作系统分布 | macOS 66% | Windows 应占七成以上 |
| 时间分布 | 24 小时匀速,约 700 条/小时 | 应有昼夜节律 |
单条请求看,每一条都正常:合法 UA、正常路径、完整 HTTP 头。只有把统计维度拉出来才藏不住。
- IP 复用率 1.1。 真人打开一篇文章,同一 IP 会连续加载 HTML、CSS、JS、图片、字体、favicon,至少十几个请求。1.1 意味着每个 IP 只取一个页面就走——这是任务队列,每个 IP 领一个任务,完成即释放。
- 98% 无 Referer。 真实来源是混杂的:搜索、社交、直输、站内跳转。全空意味着请求由程序直接构造。
- UA 版本均匀。 真实 Chrome 用户分布是偏斜的——自动更新使绝大多数人集中在最近几个版本,旧版本只剩长尾。每版数量几乎相等,说明这是一份版本列表在轮询,不是用户分布。
- macOS 占 66%。 桌面市场 Windows 占七成以上,macOS 不到两成。一个中文技术博客出现三分之二 Mac 访客,不可能自然。
- 每小时 700 条。 真人流量有昼夜节律:凌晨低谷、早高峰、午休、晚高峰。水平直线只能是定时任务。
9.2 UA 黑名单为什么失效
此前拦过三批爬虫,全部依赖 UA 特征:
| 批次 | 特征 | 为什么可拦 |
|---|---|---|
| 伪造机型 | iPhone13_2_3 这种不存在的型号 |
真实 UA 里没有该机型标识 |
| 不存在的版本 | Chrome/359.0.0.288 |
Chrome 主版本每年 +12~13,359 是几十年后 |
| 过老版本 | Chrome/92.0.0.0 |
2026 年不可能有主力用户停留在 92 |
这三类都属"因果上不可能"的特征,误伤率极低。本次代理池不一样:用的是完全合法、当时真实存在的现代 Chrome UA,字符串层面没有任何破绽。
9.3 识别维度的变化
这就是代理池麻烦的地方:识别从"单点特征"退化成"统计特征"。
- 单点特征可以写成一条
map或一条LIKE,实时生效; - 统计特征需要聚合、需要时间窗口、需要基线对比,无法在 nginx 的单个请求上下文中完成。
由此推出一个结构性结论:对代理池,入口层的 IP 限流天然无效。每个 IP 只来 1~2 次,谁都没超速;limit_req 防的是"单 IP 高频",代理池打的是"海量 IP 低频",这是两个不同维度。
10. 把判据存进数据库
10.1 Sec-CH-UA 是什么
Sec-CH-UA 是 W3C 的 User-Agent Client Hints:
Sec-CH-UA: "Not;A=Brand";v="8", "Chromium";v="150", "Google Chrome";v="150"
它由浏览器内核自动发出,不由页面 JS 拼接,伪造成本高于 User-Agent 字符串,且可以与 UA 交叉验证。
举例:UA 自称 Chrome/150,但 Sec-CH-UA 里写的是 Chromium;v="92",两者矛盾 → UA 是伪造的。
10.2 边界(必须写清楚)
| 条件 | 是否发送 Sec-CH-UA |
|---|---|
| Chromium 系浏览器 + HTTPS | 发送 |
| Chromium 系浏览器 + HTTP | 不发送 |
| Safari | 不发送 |
| Firefox | 不发送 |
| 各类脚本、curl、绝大多数爬虫 | 不发送 |
所以 "Sec-CH-UA 为空"不能直接判定是爬虫,否则会误杀全部 Safari 与 Firefox 用户。它只能作为组合条件:UA 自称 Chrome,但 Sec-CH-UA 为空,才可疑。
10.3 加列顺序的坑
该项目 spring.jpa.hibernate.ddl-auto 设为 none,Hibernate 启动时既不校验也不建列。所以顺序必须是:
① 先加列 → ② 再部署新代码
反过来的话,新代码一旦写入就会因为缺列报 SQL 错误,直接把记录功能打挂。
ALTER TABLE visit_logs ADD COLUMN IF NOT EXISTS as_org VARCHAR(100);
ALTER TABLE visit_logs ADD COLUMN IF NOT EXISTS sec_ch_ua VARCHAR(200);
Java 侧只需多传一个头:
visitLogService.record(
article.getId(),
clientIp(request),
request.getHeader("User-Agent"),
request.getHeader("Referer"),
request.getHeader("Sec-CH-UA") // 新增
);
as_org 由离线 IP 库(ip2region)解析运营商写入,用于事后按机房/云厂商聚合。
之后就能反查:
SELECT count(*) FROM visit_logs
WHERE user_agent LIKE '%Chrome/%'
AND sec_ch_ua IS NULL;
10.4 上线后只有一条有值,这是对的
部署后一小时,sec_ch_ua 有值的记录只有 1 条。第一眼看着像 bug,但核对后发现是对的:那段时间一共 21 条记录,绝大多数是爬虫和 curl,都不发这个头;只有一个真实 Chrome 访问,所以恰好只有一条有值。
反过来说,这恰好验证了判据的方向——有值的那一条,是我自己访问产生的。
11. 清理脏数据
11.1 原则:按特征删,不按时间删
按时间删会顺手把同一时段的真实流量一起带走。按特征删的前提是特征本身"因果上不可能"(见 9.2)。
本次要处理的存量:
| 类型 | 行数 | 判据 |
|---|---|---|
| 伪造 iPhone 型号 | 4,961 | iPhone13_2_3 |
| 不存在的版本 | 619 | Chrome/359. |
| 过老版本 | 1,240 | Chrome/92.0. |
| 本机回环 | 109 | 0:0:0:0:0:0:0:1 |
| 代理池 | 约 14,900 | 1.1 次/IP、98% 无 Referer |
导出时 59,315 行,清理后 39,511 行,减少 19,804。
11.2 执行的 SQL
-- 伪造的 iPhone 型号
DELETE FROM visit_logs WHERE user_agent LIKE '%iPhone13_2_3%';
-- 不存在的 Chrome 版本
DELETE FROM visit_logs WHERE user_agent LIKE '%Chrome/359.%';
-- 本机回环(本地测试残留)
DELETE FROM visit_logs WHERE ip IN ('0:0:0:0:0:0:0:1', '127.0.0.1');
-- 过老版本:先 count 再删,确认量级再动手
SELECT count(*) FROM visit_logs WHERE user_agent LIKE '%Chrome/92.0.%';
DELETE FROM visit_logs WHERE user_agent LIKE '%Chrome/92.0.%';
11.3 复核:不能只看"删了多少行"
导出文件里直接数特征串:
grep -c "iPhone13_2_3" export.sql
grep -c "Chrome/359\." export.sql
grep -c "0:0:0:0:0:0:0:1" export.sql
三个都应为 0。
Chrome/92 清理后仍剩 2 条,来自同一阿里云 IP 段、打的是同一篇文章,属扫描器残留,补删:
DELETE FROM visit_logs WHERE id IN (10918, 33999);
11.4 为什么代理池那批不能用 SQL 删
它的 UA 完全正常(第 9.2 节),SQL 删等于把真实用户一起删掉。这类数据只能靠上游识别与拦截,不能靠下游清理。
这条界限值得记住:能在下游安全清理的,只有"特征本身不可能属于真人"的那部分;统计型特征只适合做判据参考,不适合做删除条件。
12. 结果与遗留
12.1 指标对照
| 指标 | 修复前 | 修复后 |
|---|---|---|
| 首页 500 比例 | 14.7%(7,206 / 49,041) | 0 |
TemplateInputException |
17,324 / 天 | 0 |
;jsessionid= 请求 |
403 | 301 → 200 |
| 正常页面 | — | 200 |
as_org 有值记录 |
无(字段不存在) | 1,956 条(自 14:34 起) |
sec_ch_ua 有值记录 |
无(字段不存在) | 1 条(16:58,真实 Chrome) |
as_org 从 14:34 开始有值,说明新代码生效;sec_ch_ua 只有 1 条,说明该字段确实只被真浏览器填充(见 10.2)。
12.2 遗留:新一波代理池
11-07 14 时起,又出现一波新的代理池,特征与上一波同源:
| 小时 | 记录数 | 不同 IP | IP 复用率 |
|---|---|---|---|
| 14 | 368 | 353 | 1.04 |
| 15 | 874 | 804 | 1.09 |
| 16 | 797 | 756 | 1.05 |
| 17 | 21 | 21 | 1.00 |
1,671 条中 1,670 条无 Referer,其中 Chrome/119 占 395 条(版本异常集中,与"版本均匀分布"略有出入,值得继续观察)。
清理清掉的是旧数据,新增仍在进来。这批用合法 UA,UA 黑名单拦不住;Sec-CH-UA 可以作为组合判据,但目前样本量不足以确定阈值,需要再积累几天数据。
12.3 五条判断
- 两个同时出现的异常,先假设它们无关。 把"流量暴涨"和"500 暴涨"强行串成因果,绕了一圈才回到正轨。
- 统计结果自相矛盾时,先怀疑命令。 子集大于全集只可能是口径错误。
- 部署后要读构建产物里的实际文件,不要相信文件名。 版本号长期不变 + 手工上传,等于没有任何版本证据。
- 拒绝的语义要分清。 301 是迁移、403 是拒绝、444 是断连。用 403 挡住"内容正常、地址不规范"的 URL,会把搜索引擎和读者一起挡在门外,而且它们会不断回来。
- 爬虫识别看统计画像,不看单条请求。 任何单条都可以完美伪装,五个维度合起来才是人。
还有一条附带的:防护要建在入口,清理只是收尾。 先清后拦,永远追不上新增的速度。
附录 A:日志侧命令
# 状态码分布(先确认字段号)
awk '{print $9}' access.log | sort | uniq -c | sort -rn
# 打印首行各字段位置
awk 'NR==1 {for (i=1; i<=NF; i++) print i": "$i}' access.log
# 精确匹配 500(不要用 ~ / 500 /)
awk '$9 == 500' access.log | wc -l
# 5xx 总量
awk '$9 ~ /^5[0-9][0-9]$/' access.log | wc -l
# Top IP
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20
# 403 按 UA 聚合
awk '$9 == 403' access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head
附录 B:应用日志与数据库
# 异常总数(仅作粗略量级,不能当失败次数)
journalctl -u <service> --since today | grep -c "Exception"
# 按异常类型聚合
journalctl -u <service> --since today \
| grep -oE "[A-Za-z.]+Exception" | sort | uniq -c | sort -rn
# 从某个时刻起的特定异常(时间要选新进程启动之后)
journalctl -u <service> --since "16:40:43" | grep -c "TemplateInputException"
# 看完整堆栈
journalctl -u <service> -n 100 --no-pager
# 连接池是否真的被打满
psql -d <db> -c "select state, count(*) from pg_stat_activity where datname='<db>' group by state;"
# 确认列是否加上
psql -d <db> -t -c "select column_name from information_schema.columns \
where table_name='visit_logs' and column_name in ('as_org','sec_ch_ua');"
附录 C:构建产物与 nginx
# 没装 unzip 也能读 jar(jar 就是 zip)
python3 -c "import zipfile;print(zipfile.ZipFile('<jar>').read('BOOT-INF/classes/templates/index.html').decode())" | grep -n "<关键字>"
# 有 JDK 时
jar -xf <jar> BOOT-INF/classes/templates/index.html
# 看部署文件时间
ls -l --time-style=long-iso /opt/<app>/
# 改完先测再 reload
nginx -t && nginx -s reload
# 改前备份
cp /etc/nginx/conf.d/xxx.conf /etc/nginx/conf.d/xxx.conf.bak-$(date +%Y%m%d)
# 回滚
cp /etc/nginx/conf.d/xxx.conf.bak-<date> /etc/nginx/conf.d/xxx.conf && nginx -t && nginx -s reload
# 验证 301 是否生效
curl -I "https://blog.example.com/tag/stone;jsessionid=ABC123DEF"
评论 (0)
还没有评论,来抢沙发。