皮皮舟印岁月

A JOURNAL OF TRAVEL · CODE · MARKETS
第三十七期 · 第 37 号 二〇二六年十一月 · 立冬之后

首页500与代理池爬虫:一次线上故障排查复盘

2026-11-07 11522 阅读

暗色日志流里的一道红色失败线,和散落其间的告警点

本文完整记录一次个人博客的线上故障处理过程:同一天里,首页出现了 14.7% 的 500,同时日志里涌入几万个不同的 IP。前半段讲 500 的定位与修复,后半段讲 403 误伤与代理池识别,中间包含一次判断错误、一次统计命令写错、一次没能完全证实的根因。

重点不只是"最后改了哪几行代码",而是每一步背后的原理——为什么连接池假设可以被一条 SQL 立刻证伪、为什么 awk '$3 ~ / 500 /' 会多算出八百条、为什么三行 Java 异常会对应两条日志、为什么给 ;jsessionid= 返回 403 会误伤搜索引擎、为什么 IP 限流对代理池天然无效。

文中域名、IP、库名、服务名均以占位符(blog.example.com、<db>、<service>)表示,可直接套用到自己的站点。

1. 事故概览:两个同时发生的异常

1.1 现象

当天 49041 个请求里,7206 个是 500,占比 14.7%。对一个以静态内容为主的博客站点来说,这个数字正常应该接近于零。

同一天,nginx 访问日志里出现几万个不同 IP,绝大多数只访问一次。从访问日志表导出的数据也能对上:两天新增 14903 条记录,来自 13414 个不同 IP,平均每个 IP 1.1 次。

指标 数值 正常参照
当日请求总数 49,041 —
500 数量 7,206 接近 0
500 占比 14.7% 接近 0
新增访问记录(两天) 14,903 数百条
不同 IP(两天) 13,414 与记录数同量级偏低
IP 复用率 1.1 次 / IP 真人通常 10 次以上

1.2 第一判断是错的

看到这两个数字同时出现,最自然的解释是:站点被爬虫刷,压力把应用刷挂了。

这个因果关系听上去合理,但它把两件独立的事强行串成了一条线。实际结果是:500 与爬虫没有因果关系,它们是两个并行的缺陷——一个在模板层(缺少判空),一个在入口层(缺少针对代理池的识别手段)。爬虫只是恰好让第一个缺陷的暴露概率变高了。

1.3 为什么两件事容易混在一起

因为它们的时间窗口重叠,而且数量级都能解释对方:500 密集出现的时段,正好也是访问量暴涨的时段。在只有一个观测维度(时间)的情况下,人会本能地用"多出来的流量"去解释"多出来的错误"。

区分它们并不需要更多假设,只需要一个反例:同样的流量下,如果模板没有 null 漏洞,500 就不会出现。后面第 2 节的数据库连接数统计,实际上就是这条反例的第一个证据。

2. 排查一:连接池假设与它的证伪

2.1 假设

应用是 Spring Boot + Hibernate + PostgreSQL,连接池用 HikariCP,配置里没有显式写 maximum-pool-size,即走默认的 10 个连接。

首页 / 一次渲染要执行十几次查询:最新文章、置顶文章、合集列表、每个合集下的文章、每个分类下的文章、每个分类的文章计数。

据此推出的链条是:爬虫并发打进来 → 10 个连接被占满 → 后续请求排队 → 等 30 秒获取连接超时 → 抛异常 → 变成 500。

链条本身没有明显漏洞。如果不去验证,下一步动作必然是调大连接池、重启、观察,然后问题大概率还在。

2.2 怎么证伪

一条 SQL 就够:

sudo -u postgres psql -d <db> -c \
  "select state, count(*) from pg_stat_activity where datname='<db>' group by state;"
 state  | count
--------+-------
 idle   |    12
 active |     1
        |     8

一个活动连接,十二个空闲连接。数据库基本没有负载,连接池远未打满。假设被直接否定,不需要重启、不需要改任何配置。

(第三行空 state 是连接池自身的后台/空闲会话,不计入业务统计。)

2.3 为什么连接池耗尽通常不会表现为"开局就 500"

这一点值得单独说清,因为它是判断假设对不对的关键:

  • HikariCP 默认 connectionTimeout 是 30 秒。连接池真的被打满时,请求会先挂住 30 秒,然后才抛 SQLTransientConnectionException。
  • 结果是:页面表现是"转圈半天然后报错",nginx 侧的 $request_time 会集中在 30 秒附近。
  • 而本次故障的 500 是立即返回的,请求耗时很短。

也就是说,即使不看数据库统计,光看响应时间分布也能排除连接池。故障形态(快失败 / 慢超时)本身就是一条判据。

2.4 一条原则

观测的成本永远低于改动。 一次 pg_stat_activity 查询是秒级的,改连接池 + 重启 + 观察是分钟级的,而且改完之后如果问题还在,你已经"改过了",会倾向于去找新的解释,把原方向丢掉。

3. 排查二:统计命令本身是错的

3.1 现象:子集比全集还大

数 500 用的命令是:

awk '$3 ~ / 500 /' /var/log/nginx/access.log | wc -l
8017

换成按字段精确匹配:

awk '$9 ~ /^500$/' /var/log/nginx/access.log | wc -l
7206

差了 811。更关键的是中间还出现过一次不可能的结果:按路径统计时,"/ 路径上的 500"算出来是 8017,而全站 500 总数是 7206——一个子集比全集还大。

3.2 原理:~ 是正则子串匹配,== 才是字段相等

awk '$3 ~ / 500 /' 的含义是:第 3 个字段的字符串中,任意位置出现 "500" 就算命中。它不做字段等值比较,也不锚定边界。

所以这几类记录都会命中:

  • 状态码 500 ✅(正确命中)
  • 响应体字节数 1500(如果 1500 落在第 3 字段)
  • URL 里带 500(如 /article/post-500-xxx)
  • 时间戳里带 500
  • 任何包含 "500" 的字符串

本次自定义 log_format 下,第 3 字段确实是状态码,但只要该字段的取值里出现 500 就会被算进 500 计数;而按路径统计时字段位置又变了,于是出现"子集大于全集"。

$3 ~ /^500$/ 加了首尾锚点,只匹配"整个字段恰好是 500",但仍然依赖字段位置正确。最稳的是数值等值:

awk '$9 == 500' /var/log/nginx/access.log | wc -l

3.3 字段位置要先确认

nginx 的 combined 格式是:

$remote_addr - $remote_user [$time_local] "$request" $status $body_bytes_sent "$http_referer" "$http_user_agent"

对应字段:

字段 内容
$1 客户端 IP
$2 -(remote_user 占位)
$3` / `$4 [time_local](被方括号和空格拆成两段)
$6` / `$7 / $8 请求行被引号拆开的部分
$9 状态码
$10 响应体字节数

这就是为什么很多教程写 $9`,而本次自定义格式下写 `$3——字段号取决于 log_format,不能抄。稳妥的做法是先打印一行确认:

awk 'NR==1 {for (i=1; i<=NF; i++) print i": "$i}' /var/log/nginx/access.log

3.4 一条判据

统计结果里出现逻辑上不可能的量——子集大于全集、比例超过 100%、时间分布与已知事实冲突——先怀疑命令,再怀疑问题。这类矛盾只可能来自统计口径写错。

4. 定位:从异常聚合到模板行号

4.1 异常总数不能直接用

sudo journalctl -u <service> --since today | grep -c "Exception"
60127

这个数字既不是失败次数,也不是请求数。Java 的异常是层层包装的,一次失败会在日志里落好几行;堆栈里还会重复打印 Caused by。所以必须按异常类型聚合:

sudo journalctl -u <service> --since today \
  | grep -oE "[A-Za-z.]+Exception" | sort | uniq -c | sort -rn | head
  17324  TemplateInputException
      6  PersistenceException

4.2 两个数字说明的问题

  • PersistenceException 只有 6 次 → 数据库侧几乎没报错,第 2 节排除连接池的结论得到第二次印证。
  • TemplateInputException 17324 次 → 模板渲染失败。

到这里,问题的方位已经从"数据库/连接池"挪到了"视图层"。

4.3 为什么 17324 大约等于 7206 的两倍多

Thymeleaf 渲染失败时,异常会被包装三层,日志里至少出现两类异常名:

org.thymeleaf.exceptions.TemplateProcessingException      ← 处理模板时失败
org.thymeleaf.exceptions.TemplateInputException           ← 读取模板输入时失败
  caused by: org.springframework.expression.spel.SpelEvaluationException: EL1011E

一次失败通常打 2~3 行带 Exception 的日志,17324 / 7206 ≈ 2.4,量级吻合。

时间维度也能对上:500 密集的几个小时里模板异常同样密集;异常在某次服务重启后停止,500 也在同一时间停止。

4.4 定位到四处模板

Thymeleaf 的堆栈会带模板名和行号,但更快的定位方式是把首页模板里所有集合判空的地方扫一遍。最终定位到 index.html 的四行:

行号 原写法 用途
48 th:if="${!latest.isEmpty()}" 最新文章区块
59 th:if="${latest.isEmpty()}" 最新文章为空的提示
164 th:if="${!seriesList.isEmpty()}" 合集区块
180 th:if="${seriesList.isEmpty()}" 合集为空的提示

同一个模板里的置顶文章区块此前已经改成 topArticles != null and !topArticles.isEmpty()——说明这个模式在同一个文件里出现过一次并被局部修复,但没有推广。这是模板类缺陷的典型特征:不会只出现一次。

5. 原理:一次 null 调用如何变成 500

5.1 SpringEL 求值

th:if 的属性值不是字符串,而是一个要被 SpringEL 求值的表达式:

<div class="latest" th:if="${!latest.isEmpty()}">

等价于 Java:

!(latest.isEmpty())

当 latest 为 null 时,这不是"判断为 false",而是在一个 null 引用上调用方法,抛出 NullPointerException。

SpringEL 捕获后包装成:

org.springframework.expression.spel.SpelEvaluationException: EL1011E

EL1011E 是 SpEL 的错误码,含义是"求值 EL 表达式时调用方法失败"。

5.2 三层异常包装

从内到外:

层 异常 含义
1 SpelEvaluationException: EL1011E 表达式求值时方法调用失败
2 TemplateProcessingException 处理某个模板片段时失败
3 TemplateInputException 读取/渲染模板输入失败

三层之后冒到 Servlet 容器。

5.3 为什么错误页也救不回来

Spring Boot 的默认错误处理会尝试渲染错误页。如果错误页同样走 Thymeleaf(同一套模板机制),渲染过程可能再次失败;当错误处理本身也异常时,最终由 Tomcat 的 ErrorReportValve 兜底,直接输出一个 500 响应。

所以这一类故障的表象很直接:页面上什么都没有,只有一个 500,应用日志里则是一长串模板异常。

5.4 修法:利用短路求值

<!-- 改之前 -->
th:if="${!latest.isEmpty()}"

<!-- 改之后 -->
th:if="${latest != null and !latest.isEmpty()}"

SpEL 的 and 是短路求值:左侧 latest != null 为 false 时,右侧 !latest.isEmpty() 不会被执行,null 引用上的方法调用就不会发生。

四处一起改:

位置 改前 改后
最新文章区块 !latest.isEmpty() latest != null and !latest.isEmpty()
最新文章为空提示 latest.isEmpty() latest != null and latest.isEmpty()
合集区块 !seriesList.isEmpty() seriesList != null and !seriesList.isEmpty()
合集为空提示 seriesList.isEmpty() seriesList != null and seriesList.isEmpty()

6. 遗留问题:为什么只有 14.7%

6.1 已确定的与未确定的

如果 latest 恒为 null,首页应该 100% 挂掉。实际只有 14.7%,说明是部分请求才触发。

已确定的部分:

  • 模板对 null 不设防,一旦为 null 必然 500;
  • 修复后异常归零,说明这条路径确实是主因。

未确定的部分:latest 为什么会是 null。

6.2 最可能的解释:手工部署没有版本追溯

源码里 latest 是无条件赋值的:

@GetMapping("/")
public String index(Model model) {
    List<Article> latest = articleService.latest(8);
    // ……
    model.addAttribute("latest", latest);
    return "index";
}

articleService.latest() 返回 JPA 查询结果,没有文章时也是空集合,不会是 null。

所以 null 只能来自"线上跑的代码和本地源码不是同一份"。这个项目的部署方式一直是手工的:本地 mvn package 出带版本号的 jar,FTP 上传,服务器上重命名为固定文件名。版本号长期不变(一直是 1.0.10),因此"现在跑的是哪一版"没有任何可靠记录。

当天日志里能看到服务重启过两次,进程号从 695569 → 995957 → 997381。中间那次跑的是哪一版包,事后无法确认。

另一个可能是某个异常分支把 model 属性覆盖成了 null,但 PersistenceException 只有 6 次,量级完全对不上,可能性很低。

6.3 结论的边界

模板对 null 不设防是确证的;latest 为 null 的来源是推断的,没有确证。

修复后问题归零,只能证明"改这里有效",不能反推"这里就是唯一原因"。这一点写在这里,是为了避免后来的人把它当成完整结论直接引用。

顺带产出一条实践:部署必须能回答"线上是哪个构建"。最低成本的做法是把构建时间或 git 短哈希打进 build-info.properties,部署后在页脚或 /actuator/info 可查;靠文件名和版本号是无效的。

7. 验证:三层验证法

改完、打包、上传、重启之后,最省事的验证是打开首页刷新几次,看到页面出来就收工。本次不行:故障是概率性的,单次成功说明不了任何问题。

验证分三层,每层解决一个不同的不确定性。

7.1 第一层:确认服务器上跑的是新代码

这一步最容易漏。本地构建产物是 <app>-1.0.10.jar,服务器上运行的是 <app>.jar,名字不同,传错、传丢都没有任何提示。

服务器没有 unzip,但 jar 本质是 zip,可以用 Python 直接读:

python3 -c "import zipfile;print(zipfile.ZipFile('/opt/<app>/<app>.jar').read('BOOT-INF/classes/templates/index.html').decode())" | grep -n "latest"
48:  <div class="latest" th:if="${latest != null and !latest.isEmpty()}">
59:  <p th:if="${latest != null and latest.isEmpty()}">

看到 latest != null 才算部署成功。如果这里仍是 !latest.isEmpty(),后面的所有验证都没有意义——因为跑的还是旧包。

7.2 第二层:从重启时刻开始数异常

sudo journalctl -u <service> --since "16:40:43" | grep -c "TemplateInputException"
0

这一层比 curl 更准,不受限速、缓存、CDN 干扰,而且能覆盖"随机请求"的抽样问题。

注意 --since 的时间必须是新进程启动之后。第一次用 --since "5 minutes ago" 数出 140 条,逐条看堆栈前缀都是 java[995957]——那是旧进程临终前的日志。新进程 997381 于 16:40:43 启动,从那一刻起算才是 0。

7.3 第三层:发够量的请求

for i in $(seq 1 40); do
  curl -o /dev/null -s -w "%{http_code} " https://blog.example.com/
done
200 200 200 429 200 429 200 ...(28 个 200,12 个 429)

12 个 429 不是故障,是把限流规则自己打出来了。站点配置的是:

limit_req_zone $pz_limit_key zone=pz_dyn:10m rate=3r/s;

location / {
    limit_req zone=pz_dyn burst=10 nodelay;
}

令牌桶原理:

参数 含义
rate=3r/s 每 333ms 生成一个令牌,即长期平均 3 请求/秒
burst=10 桶容量 10,最多允许瞬时多来 10 个
nodelay 桶内的突发立刻放行,不排队平滑;桶满即拒

40 个请求在两秒内连发:每秒 20 个,远超 3r/s + burst 10 的上限,必然有一部分落进 429。这样测等于把真正的 500 埋在一堆 429 里,测了也等于没测。

改成每半秒一个:

for i in $(seq 1 20); do
  curl -o /dev/null -s -w "%{http_code} " https://blog.example.com/
  sleep 0.5
done
200 × 20

20 个全 200,说明修复在"低于限流阈值"的真实节奏下成立。

8. 另一个故障:403 误伤

8.1 现象

500 修完之后,再看当天 749 个 403。按 UA 聚合:

awk '$9 == 403' access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head
118  Baiduspider-render
 99  iPhone OS 18_7_8
 93  Chrome/131 Mobile
 84  Chrome/150 Windows
 76  Chrome/150 macOS
 50  Chrome/149
 39  Chrome/148

全是 2026 年真实存在的浏览器版本,加上百度官方渲染爬虫。没有一个应该被拦。

8.2 根因

站内有一条老规则:对 URL 中带 ;jsessionid= 的请求返回 403。

规则的初衷可以理解:;jsessionid= 是 Servlet 在客户端不支持 Cookie 时的会话跟踪手段,早期做 SEO 时留下过大量这种链接并被搜索引擎收录,它们看起来像垃圾参数。

但处理方式选错了:这些 URL 指向的内容是正常的,只是地址不规范,应该改写地址,而不是拒绝访问。

8.3 原理:Servlet 的 URL 重写

  • HTTP 无状态,服务端用 JSESSIONID Cookie 识别"同一个人"。
  • 客户端不接受 Cookie 时,Servlet 规范提供了兜底:URL 重写——渲染时通过 response.encodeURL() 在 URL 后追加 ;jsessionid=XXXX,形如 /article/foo;jsessionid=ABC123。
  • 容器判断"客户端是否支持 Cookie"的依据是:本次请求有没有带 JSESSIONID Cookie。

对真实浏览器:

第 1 次请求 → 无 Cookie → 链接带 ;jsessionid=XXX,同时 Set-Cookie 下发
第 2 次起   → 自动带 Cookie → 链接不再带 ;jsessionid=

对不保存 Cookie 的爬虫:每一次都是"第一次",链接永远带 ;jsessionid=。于是它顺着页面爬下去时,下一个请求的 Referer 就是带 ;jsessionid= 的 URL。

这条推理在旧的一次刷量事件里被当作取证判据用过(历史 39 天仅 72 条命中,逐条核对 100% 是爬虫)。本次 403 的主体是真实浏览器与百度爬虫,说明这批 ;jsessionid= 链接来自搜索引擎收录的存量索引,不是本次新增的刷量特征。

8.4 301 / 403 / 444 的语义与代价

返回 语义 成本 搜索引擎行为
403 明确拒绝 需渲染错误页,耗带宽 视为"暂时不可用",反复重试
301 永久迁移 一个空响应 + Location 头 更新索引到新地址
444 nginx 非标准码:直接断开 零字节返回 视同连接失败

结论:内容存在、地址不规范 → 301;明确恶意 IP / 扫描器 → 444;只有"确实不该给"才用 403。

改法:

if ($request_uri ~* "^(.*);jsessionid=[^?]*(.*)$") { return 301 $1$2; }

拆解:$request_uri` 是原始 URI(含查询串,未解码);`~*` 表示不区分大小写的正则;`^(.*);jsessionid=[^?]*(.*)$ 分成前段、待丢弃段、后段;$1$2 拼回干净地址。

效果:

请求  /tag/stone;jsessionid=ABC123DEF
响应  301  Location: https://blog.example.com/tag/stone

但也带来一个问题:同一批被拦下的正常 403,会变成 301 放行,这是预期结果——它们的 URL 本来就指向正常内容。

8.5 nginx 的两个坑

坑一:指令的上下文。

把 if 写进 conf.d/*.conf 的顶层时,nginx -t 直接报错。原因是指令有上下文约束:

指令 允许的上下文
map 只能 http {}
geo 只能 http {}
limit_req_zone 只能 http {}
server http {}
if 只能 server {} 或 location {}

conf.d/*.conf 是被 http {} include 进去的,所以 map、limit_req_zone 写在里面是对的(它们本来就属于 http 级),if 写进去就错——必须包在某个 server {} 里。

坑二:多个 if 按书写顺序执行。

nginx 在一个 server 内多个 if 是顺序求值、谁先命中谁返回。原有配置里有一条:

if ($pz_bot_block = 1) { return 403; }

如果新的 301 规则加在它后面,符合 ;jsessionid= 的请求会先命中 403,永远轮不到 301 执行。所以 301 必须插在所有 403/444 规则之前:

server {
    listen 443 ssl http2;
    server_name blog.example.com;

    # 必须放最前:地址清洗
    if ($request_uri ~* "^(.*);jsessionid=[^?]*(.*)$") { return 301 $1$2; }
    # 其次:明确恶意的单点 IP
    if ($remote_addr = 198.51.100.77) { return 444; }

    # 原有的行为特征拦截留在后面
    if ($fake_ref = 1) { return 403; }
    # ……
}

验证:

curl -I "https://blog.example.com/tag/stone;jsessionid=ABC123DEF"
HTTP/2 301
location: https://blog.example.com/tag/stone

再确认没有误伤正常页面:

curl -o /dev/null -s -w "%{http_code}\n" https://blog.example.com/
curl -o /dev/null -s -w "%{http_code}\n" https://blog.example.com/tag/stone
200
200

9. 代理池:单条正常,统计异常

9.1 五个统计维度

把两天新增的数据拉平看:

维度 观测值 正常参照
记录数 14,903 —
不同 IP 13,414 应显著少于记录数
IP 复用率 1.1 次 / IP 真人 10 次以上
无 Referer 比例 98% 应明显低于 50%
UA 版本分布 Chrome 124~143,每版约 880 条 应极度偏斜,最新版占多数
操作系统分布 macOS 66% Windows 应占七成以上
时间分布 24 小时匀速,约 700 条/小时 应有昼夜节律

单条请求看,每一条都正常:合法 UA、正常路径、完整 HTTP 头。只有把统计维度拉出来才藏不住。

  • IP 复用率 1.1。 真人打开一篇文章,同一 IP 会连续加载 HTML、CSS、JS、图片、字体、favicon,至少十几个请求。1.1 意味着每个 IP 只取一个页面就走——这是任务队列,每个 IP 领一个任务,完成即释放。
  • 98% 无 Referer。 真实来源是混杂的:搜索、社交、直输、站内跳转。全空意味着请求由程序直接构造。
  • UA 版本均匀。 真实 Chrome 用户分布是偏斜的——自动更新使绝大多数人集中在最近几个版本,旧版本只剩长尾。每版数量几乎相等,说明这是一份版本列表在轮询,不是用户分布。
  • macOS 占 66%。 桌面市场 Windows 占七成以上,macOS 不到两成。一个中文技术博客出现三分之二 Mac 访客,不可能自然。
  • 每小时 700 条。 真人流量有昼夜节律:凌晨低谷、早高峰、午休、晚高峰。水平直线只能是定时任务。

9.2 UA 黑名单为什么失效

此前拦过三批爬虫,全部依赖 UA 特征:

批次 特征 为什么可拦
伪造机型 iPhone13_2_3 这种不存在的型号 真实 UA 里没有该机型标识
不存在的版本 Chrome/359.0.0.288 Chrome 主版本每年 +12~13,359 是几十年后
过老版本 Chrome/92.0.0.0 2026 年不可能有主力用户停留在 92

这三类都属"因果上不可能"的特征,误伤率极低。本次代理池不一样:用的是完全合法、当时真实存在的现代 Chrome UA,字符串层面没有任何破绽。

9.3 识别维度的变化

这就是代理池麻烦的地方:识别从"单点特征"退化成"统计特征"。

  • 单点特征可以写成一条 map 或一条 LIKE,实时生效;
  • 统计特征需要聚合、需要时间窗口、需要基线对比,无法在 nginx 的单个请求上下文中完成。

由此推出一个结构性结论:对代理池,入口层的 IP 限流天然无效。每个 IP 只来 1~2 次,谁都没超速;limit_req 防的是"单 IP 高频",代理池打的是"海量 IP 低频",这是两个不同维度。

10. 把判据存进数据库

10.1 Sec-CH-UA 是什么

Sec-CH-UA 是 W3C 的 User-Agent Client Hints:

Sec-CH-UA: "Not;A=Brand";v="8", "Chromium";v="150", "Google Chrome";v="150"

它由浏览器内核自动发出,不由页面 JS 拼接,伪造成本高于 User-Agent 字符串,且可以与 UA 交叉验证。

举例:UA 自称 Chrome/150,但 Sec-CH-UA 里写的是 Chromium;v="92",两者矛盾 → UA 是伪造的。

10.2 边界(必须写清楚)

条件 是否发送 Sec-CH-UA
Chromium 系浏览器 + HTTPS 发送
Chromium 系浏览器 + HTTP 不发送
Safari 不发送
Firefox 不发送
各类脚本、curl、绝大多数爬虫 不发送

所以 "Sec-CH-UA 为空"不能直接判定是爬虫,否则会误杀全部 Safari 与 Firefox 用户。它只能作为组合条件:UA 自称 Chrome,但 Sec-CH-UA 为空,才可疑。

10.3 加列顺序的坑

该项目 spring.jpa.hibernate.ddl-auto 设为 none,Hibernate 启动时既不校验也不建列。所以顺序必须是:

① 先加列 → ② 再部署新代码

反过来的话,新代码一旦写入就会因为缺列报 SQL 错误,直接把记录功能打挂。

ALTER TABLE visit_logs ADD COLUMN IF NOT EXISTS as_org    VARCHAR(100);
ALTER TABLE visit_logs ADD COLUMN IF NOT EXISTS sec_ch_ua VARCHAR(200);

Java 侧只需多传一个头:

visitLogService.record(
    article.getId(),
    clientIp(request),
    request.getHeader("User-Agent"),
    request.getHeader("Referer"),
    request.getHeader("Sec-CH-UA")   // 新增
);

as_org 由离线 IP 库(ip2region)解析运营商写入,用于事后按机房/云厂商聚合。

之后就能反查:

SELECT count(*) FROM visit_logs
WHERE user_agent LIKE '%Chrome/%'
  AND sec_ch_ua IS NULL;

10.4 上线后只有一条有值,这是对的

部署后一小时,sec_ch_ua 有值的记录只有 1 条。第一眼看着像 bug,但核对后发现是对的:那段时间一共 21 条记录,绝大多数是爬虫和 curl,都不发这个头;只有一个真实 Chrome 访问,所以恰好只有一条有值。

反过来说,这恰好验证了判据的方向——有值的那一条,是我自己访问产生的。

11. 清理脏数据

11.1 原则:按特征删,不按时间删

按时间删会顺手把同一时段的真实流量一起带走。按特征删的前提是特征本身"因果上不可能"(见 9.2)。

本次要处理的存量:

类型 行数 判据
伪造 iPhone 型号 4,961 iPhone13_2_3
不存在的版本 619 Chrome/359.
过老版本 1,240 Chrome/92.0.
本机回环 109 0:0:0:0:0:0:0:1
代理池 约 14,900 1.1 次/IP、98% 无 Referer

导出时 59,315 行,清理后 39,511 行,减少 19,804。

11.2 执行的 SQL

-- 伪造的 iPhone 型号
DELETE FROM visit_logs WHERE user_agent LIKE '%iPhone13_2_3%';

-- 不存在的 Chrome 版本
DELETE FROM visit_logs WHERE user_agent LIKE '%Chrome/359.%';

-- 本机回环(本地测试残留)
DELETE FROM visit_logs WHERE ip IN ('0:0:0:0:0:0:0:1', '127.0.0.1');

-- 过老版本:先 count 再删,确认量级再动手
SELECT count(*) FROM visit_logs WHERE user_agent LIKE '%Chrome/92.0.%';
DELETE FROM visit_logs WHERE user_agent LIKE '%Chrome/92.0.%';

11.3 复核:不能只看"删了多少行"

导出文件里直接数特征串:

grep -c "iPhone13_2_3"    export.sql
grep -c "Chrome/359\."    export.sql
grep -c "0:0:0:0:0:0:0:1" export.sql

三个都应为 0。

Chrome/92 清理后仍剩 2 条,来自同一阿里云 IP 段、打的是同一篇文章,属扫描器残留,补删:

DELETE FROM visit_logs WHERE id IN (10918, 33999);

11.4 为什么代理池那批不能用 SQL 删

它的 UA 完全正常(第 9.2 节),SQL 删等于把真实用户一起删掉。这类数据只能靠上游识别与拦截,不能靠下游清理。

这条界限值得记住:能在下游安全清理的,只有"特征本身不可能属于真人"的那部分;统计型特征只适合做判据参考,不适合做删除条件。

12. 结果与遗留

12.1 指标对照

指标 修复前 修复后
首页 500 比例 14.7%(7,206 / 49,041) 0
TemplateInputException 17,324 / 天 0
;jsessionid= 请求 403 301 → 200
正常页面 — 200
as_org 有值记录 无(字段不存在) 1,956 条(自 14:34 起)
sec_ch_ua 有值记录 无(字段不存在) 1 条(16:58,真实 Chrome)

as_org 从 14:34 开始有值,说明新代码生效;sec_ch_ua 只有 1 条,说明该字段确实只被真浏览器填充(见 10.2)。

12.2 遗留:新一波代理池

11-07 14 时起,又出现一波新的代理池,特征与上一波同源:

小时 记录数 不同 IP IP 复用率
14 368 353 1.04
15 874 804 1.09
16 797 756 1.05
17 21 21 1.00

1,671 条中 1,670 条无 Referer,其中 Chrome/119 占 395 条(版本异常集中,与"版本均匀分布"略有出入,值得继续观察)。

清理清掉的是旧数据,新增仍在进来。这批用合法 UA,UA 黑名单拦不住;Sec-CH-UA 可以作为组合判据,但目前样本量不足以确定阈值,需要再积累几天数据。

12.3 五条判断

  1. 两个同时出现的异常,先假设它们无关。 把"流量暴涨"和"500 暴涨"强行串成因果,绕了一圈才回到正轨。
  2. 统计结果自相矛盾时,先怀疑命令。 子集大于全集只可能是口径错误。
  3. 部署后要读构建产物里的实际文件,不要相信文件名。 版本号长期不变 + 手工上传,等于没有任何版本证据。
  4. 拒绝的语义要分清。 301 是迁移、403 是拒绝、444 是断连。用 403 挡住"内容正常、地址不规范"的 URL,会把搜索引擎和读者一起挡在门外,而且它们会不断回来。
  5. 爬虫识别看统计画像,不看单条请求。 任何单条都可以完美伪装,五个维度合起来才是人。

还有一条附带的:防护要建在入口,清理只是收尾。 先清后拦,永远追不上新增的速度。

附录 A:日志侧命令

# 状态码分布(先确认字段号)
awk '{print $9}' access.log | sort | uniq -c | sort -rn

# 打印首行各字段位置
awk 'NR==1 {for (i=1; i<=NF; i++) print i": "$i}' access.log

# 精确匹配 500(不要用 ~ / 500 /)
awk '$9 == 500' access.log | wc -l

# 5xx 总量
awk '$9 ~ /^5[0-9][0-9]$/' access.log | wc -l

# Top IP
awk '{print $1}' access.log | sort | uniq -c | sort -rn | head -20

# 403 按 UA 聚合
awk '$9 == 403' access.log | awk -F'"' '{print $6}' | sort | uniq -c | sort -rn | head

附录 B:应用日志与数据库

# 异常总数(仅作粗略量级,不能当失败次数)
journalctl -u <service> --since today | grep -c "Exception"

# 按异常类型聚合
journalctl -u <service> --since today \
  | grep -oE "[A-Za-z.]+Exception" | sort | uniq -c | sort -rn

# 从某个时刻起的特定异常(时间要选新进程启动之后)
journalctl -u <service> --since "16:40:43" | grep -c "TemplateInputException"

# 看完整堆栈
journalctl -u <service> -n 100 --no-pager

# 连接池是否真的被打满
psql -d <db> -c "select state, count(*) from pg_stat_activity where datname='<db>' group by state;"

# 确认列是否加上
psql -d <db> -t -c "select column_name from information_schema.columns \
  where table_name='visit_logs' and column_name in ('as_org','sec_ch_ua');"

附录 C:构建产物与 nginx

# 没装 unzip 也能读 jar(jar 就是 zip)
python3 -c "import zipfile;print(zipfile.ZipFile('<jar>').read('BOOT-INF/classes/templates/index.html').decode())" | grep -n "<关键字>"

# 有 JDK 时
jar -xf <jar> BOOT-INF/classes/templates/index.html

# 看部署文件时间
ls -l --time-style=long-iso /opt/<app>/
# 改完先测再 reload
nginx -t && nginx -s reload

# 改前备份
cp /etc/nginx/conf.d/xxx.conf /etc/nginx/conf.d/xxx.conf.bak-$(date +%Y%m%d)

# 回滚
cp /etc/nginx/conf.d/xxx.conf.bak-<date> /etc/nginx/conf.d/xxx.conf && nginx -t && nginx -s reload

# 验证 301 是否生效
curl -I "https://blog.example.com/tag/stone;jsessionid=ABC123DEF"
分享此文

评论 (0)

还没有评论,来抢沙发。

发表评论