上線之後的第一次斷線,15 小時與 1 分鐘
VPS 凌晨自動重開後 Traefik 沒有起來,三站斷線 15 小時。補上開機防呆、把 log 搬出容器、請 Grok 和 Codex 挑毛病、把告警送到手機。兩天後同樣的重開再發生一次,斷線縮成 1 分鐘,但根因到現在還沒查明。系列文 6 篇之 #6。
為什麼還有第六篇
#5 寫完時,我以為這個系列結束了。論壇上線、備份在跑、外部監測也接上了,剩下的應該只是偶爾看一眼。
上線五個月後,11 月 13 日下午,我在 Gmail 裡看到 UptimeRobot 的通知:三個站全部 DOWN。往回翻,第一封信是河內凌晨 03:02 寄出的。
這篇記錄這次斷線,以及之後三天做的事。值得寫下來,是因為事後補上的防呆,兩天後就被同樣的情境測了一次:第一次斷了 15 小時,第二次 1 分鐘。上線之後的維運很難說服自己值得做,平常什麼事都沒有,它的價值要等下一次事故才看得到。這次剛好兩次都被我看到了。
凌晨 03:00 的自動重開
先講這台 VPS 為什麼會在凌晨自己重開。
10 月 PHP 爆出 php2shell,一個不需要登入就能遠端執行程式的漏洞。應變時我順手把整台 VPS 檢查了一輪,發現它已經連續跑了 27 週,自動更新裝好的 11 版核心一直沒生效,因為核心更新要重開機才會套用。於是我讓 unattended-upgrades 在需要重開時,固定在 UTC 20:00,也就是河內凌晨 3 點自動重開。
這個取捨我想得很清楚。歷史保存站半夜沒人逛,偶爾斷一分鐘,換安全更新自動生效,很划算。Traefik 的 log 每天都有人在掃 wp-login.php 之類的路徑,這台機器一直暴露在網路上,修補拖著不上的風險比較大。
11 月 12 日 UTC 20:00:04,unattended-upgrades 裝完新核心,照設定重開。事後翻 journal,關機過程有一個細節:Traefik 比 dockerd 早 9 秒自己結束,exit code 是 0,其他五個容器則是 dockerd 關機時由它停掉的。開機後 dockerd 把那五個容器拉了起來,Traefik 停在 Exited (0)。
Traefik 的 restart policy 是 unless-stopped。照文件的意思,只要我沒有手動 docker stop,dockerd 開機時就該把它拉起來。實際上沒有。
#4 寫過 Traefik 是三站共用的入口,它倒下,後面的 phpBB 兩站和 WordPress 就算都活著也連不到。這次就是這樣。資料庫和應用程式全程在跑,資料沒有任何損失,但對外看起來三站全掛,連 TLS 憑證都拿不到。
修復本身只要一行 docker compose up -d traefik。難的是為什麼會發生。我在 11-13 當天手動重開了一次做測試,六個容器全部起來,Traefik 沒掉。重現不了,就確認不了原因。
所以我先補了一層不依賴原因的防呆:一個 systemd oneshot 服務,開機後等 docker 起來,再等 20 秒,到 /opt/phpbb 執行一次 docker compose up -d。不管 dockerd 為什麼漏掉哪個容器,compose 都會把沒在跑的補起來。
補洞時又踩到的坑
防呆寫好,第一次手動執行,compose 除了補啟動,還順手重建了 eq 和 eq2 兩個容器。
追下去才知道,10 月 23 日我改過 docker-compose.yml,當時只對 Traefik 跑了 up -d,eq 和 eq2 就一直跑著舊設定,三個禮拜沒人發現。docker compose up -d 看到設定和現在的容器不一致,就會重建,這次等於被它補對齊了。兩站重建後正常,算是運氣好。
這件事讓我發現 oneshot 原本的寫法有問題。開機在凌晨,沒有人看著,如果那時 compose 檔又有漂移,開機防呆就會在無人看管下重建容器,套用一份沒人驗證過的設定。於是改成 --no-recreate,只啟動停著的容器,已經在跑的不動:
[Service]
Type=oneshot
WorkingDirectory=/opt/phpbb
ExecStartPre=/bin/sleep 20
# --no-recreate: only start stopped containers; never apply config drift unattended at boot
ExecStart=/usr/bin/docker compose up -d --no-recreate
TimeoutStartSec=300
[Install]
WantedBy=multi-user.target從此多了一條慣例:改完 compose 檔,整組 docker compose up -d,不要只指定單一服務。
重建還帶出另一個問題。容器一重建,docker logs 就只剩新容器的紀錄,舊容器三週的 PHP 錯誤跟著消失。10 月做入侵檢查時我已經吃過一次虧:網站的 access log 在更早的容器重建時就沒了,想查 10 月 22 日之前有沒有可疑請求,手上沒有證據。
這次決定讓 log 活得比容器久。
請 Grok 和 Codex 挑毛病
log 怎麼存,Claude Code 提了一個方案:六個容器的 log driver 改成 journald,交給系統的 journal 統一保存,上限調到 200 MB。
我沒有直接照做。#2 寫過 review 和 implement 要分開,這次再往前走一步:同一份方案說明,分別交給 Grok 和 Codex,各自獨立回答,互相看不到對方的意見,最後由我比對。
兩邊的結論都是「修改後採用」,共識有三點:
docker logs只看得到目前這個容器。容器重建後,前一代的紀錄要用journalctl CONTAINER_NAME=phpbb-eq2-1查- journald 的限流以 dockerd 為單位共用,一個容器狂噴 log,其他容器的 log 可能被丟掉
- 200 MB 讓系統 log 和六個容器共用,不夠
第一點值得多說。Claude Code 原本的方案說明寫著「改用 journald 之後,docker logs 照樣能用」。這句話只對一半:指令能跑,但只看得到現在這個容器,正好就是我想解決的問題。如果照原說法上線,下次容器重建後我去 docker logs 找舊紀錄,會以為 log 又不見了。兩個審查者都抓到這點,Claude Code 看完 review 後也修正了說法。寫方案的那方,很難看到自己句子裡的漏洞,這是我覺得獨立審查最有價值的地方。
分歧只有一點。Grok 主張容器改用 local driver,應用程式的 log 另外用 bind-mount 寫成檔案,journal 只留給系統自己用。Codex 主張在 compose 裡逐一設定 journald,把 journal 上限調高。
我採用 Codex 的做法。Grok 的方案要改 Apache 的 log 設定,讓它寫到掛載的目錄,而且 MySQL 的 log 一樣沒保護到。Codex 的方案在 compose 檔加一段共用設定就完成,六個服務各自引用:
# Container stdout/stderr goes to journald so it survives container recreation
x-logging: &journald-logging
driver: journaldjournal 上限最後調到 500 MB。部署前先用 docker logs --timestamps 把六個容器的舊 log 匯出備份,約 12 MB,再整組重建,斷線約 40 秒。
我還順手把 Traefik 的 restart policy 改成 always。這只能算補強,unless-stopped 為什麼沒生效還沒查明,always 有沒有用,要等下一次重開才知道。
告警要送得到才算數
回頭看時間軸,告警其實很快。UptimeRobot 在斷線 2 分鐘內就寄出三封 DOWN 信,VPS 自己的每日健康檢查在河內早上 8:30 也寄了一封,列出 Traefik 沒在執行。
斷線拉到 15 小時,是因為我直到下午才看到信。那幾封信夾在一堆電子報中間,被我滑過去了。
這裡有一個我自己的判斷:這是歷史保存站,半夜不會有人在看,凌晨斷線,我早上起來再處理完全可以接受。所以我不需要半夜被叫醒,也不需要自動修復。我需要的只是早上醒來時,手機上有一則不會漏看的通知。
UptimeRobot 免費版只能寄信,推播是付費功能。我手上本來就有 ntfy 在用,它是開源的推播服務,對一個網址 POST 一段文字,訂閱的手機就會收到通知。於是接了兩層。
第一層在 VPS 上。原本的告警腳本 notify.sh 只寄信,現在寄信前先推一則 ntfy。順序有講究:寄信要先從資料庫讀設定,萬一掛的正是資料庫,信就寄不出去;推播不碰資料庫,所以排在前面。
notify_push() {
local subject="$1" body="$2" priority="$3" topic
topic=$(tr -d '[:space:]' < "$NOTIFY_NTFY_TOPIC_FILE" 2>/dev/null)
[ -n "$topic" ] || { logger -t notify -p user.err "ntfy topic missing; push not sent: $subject"; return 0; }
curl -s -f -m 15 -H "Title: $subject" -H "Priority: $priority" --data-binary "$body" \
"https://ntfy.sh/$topic" >/dev/null \
|| logger -t notify -p user.err "ntfy push failed: $subject"
}每週一次的「一切正常」通知改成 low 優先級,安靜地進通知列就好。
第二層在 VPS 以外。這次 VPS 本身沒掛,但如果哪天整台當掉,它自己的告警也跟著死掉,需要一個外面的觀察者。我放在家裡的 Mac mini 上,用 launchd 每小時跑一次。間隔一小時是刻意的,既然我的標準是早上處理,15 分鐘一次沒有意義。
這支檢查有兩個防誤報的設計。第一,非 200 時等 30 秒再試一次,還是失敗才推播,一次慢回應不會吵到人:
def failing_sites() -> dict[str, str]:
failures = {url: status for url in SITES if (status := fetch_status(url)) != "200"}
if failures:
# Retry once so a single slow response does not page anyone.
time.sleep(RETRY_DELAY_SECONDS)
failures = {url: status for url in failures if (status := fetch_status(url)) != "200"}
return failures第二,先打一個 Cloudflare 的網址當參考點。連這個都打不通,代表是 Mac mini 自己斷網,這一輪直接跳過:
# A failing reference means the Mac itself is offline; skip the round instead of false-alarming.
REFERENCE_URL = "https://www.cloudflare.com/cdn-cgi/trace"
def main() -> int:
if fetch_status(REFERENCE_URL) != "200":
log("reference check failed; Mac appears offline, skipping this round")
return 0斷線期間每 6 小時提醒一次,恢復時再推一則,告訴我斷了多久。
最後是推播通道本身的保護。ntfy.sh 的 topic 名稱等於密碼,知道名稱的人可以訂閱,也可以往裡面發假通知。所以 topic 只存在權限 600 的檔案裡,不進 repo,也不寫進文件。我還特地給這個站開了一個新的 topic,和原本其他監控用的分開,萬一 VPS 被入侵,攻擊者拿到的只有這個站的通知管道。
兩天後
11 月 14 日 UTC 20:00,又一次自動重開。
Traefik 同樣沒有被 dockerd 拉起,和第一次一模一樣。差別在開機後約一分鐘,20:01:07,oneshot 執行 docker compose up -d --no-recreate,把 Traefik 補了起來。斷線約 1 分鐘,那時河內凌晨 3 點,沒有任何人需要醒來。我是事後翻開機紀錄才知道它發生過。
| 11-12 第一次 | 11-14 第二次 | |
|---|---|---|
| 觸發 | unattended-upgrades 自動重開 | 同左 |
| Traefik | 未被 dockerd 拉起 | 同左 |
| 誰補上的 | 我,當天傍晚手動 | 開機 oneshot,自動 |
| 斷線 | 約 15 小時 | 約 1 分鐘 |
要說明一下時序:前兩節的 journald 和推播,是 11 月 15 日才部署的,這次重開時都還沒上線。把斷線縮成 1 分鐘的,只有 11-13 補的那個十幾行的 systemd unit。
同一個問題,同一個時間點,15 小時和 1 分鐘。
但我要照實說,根因到現在還沒查明。已知的是:自動重開時穩定重現,手動 systemctl reboot 時沒有發生,Traefik 關機時比 dockerd 早 9 秒自己以 exit 0 結束。現在的兩層保護,restart: always 加開機 oneshot,處理的都是症狀。下次自動重開後,我會用 journald 留下來的 Traefik log 再查一次,這也是 log 活得比容器久的另一個好處。
收尾
#5 的結尾我寫了「主線 5 篇寫完了」。主線講的是把論壇救回來,這篇講的是救回來之後,怎麼讓它一直活著。
這次留下的幾件事,給自己,也給同樣在自架的人:
- 宣告式的設定也會漏。
restart: unless-stopped寫在那裡,不保證開機一定拉得起來,關鍵服務值得多一層開機檢查 - 改 compose 檔要整組
up -d,否則設定漂移會等到最不方便的時候才爆開 - log 要活得比容器久
- 告警寄得出去還不夠,要送到自己一定會看的地方
- 監控要放在被監控的機器以外
論壇仍然站在 eq2.3d-olg.net/community 與 eq.3d-olg.net。下一次凌晨 3 點的重開,它應該會自己站起來。
系列文 6 篇之 #6,phpBB Restore Series 完。
留言討論