07/18 強震即時警報轉發誤送測試電文說明
- 發生時間
- 2026/07/18 08:29 (UTC+8) 左右
- 觸發條件
- 服務重構測試過程中
- 問題描述
- 轉發流程送出測試電文
- 根本原因
- 測試電文經 NATS Supercluster 進到生產環境
2026/07/18 08:29(臺灣時間)左右,我們在測試 cwa-xml-go 與 cwa-eew-go 的合併,測試電文經 NATS Supercluster 進到生產環境。誤發的是轉發流程送出的測試電文,不是中央氣象署的警報,也不是我們自行發布的地震警報。08:31 我們阻斷了這則電文。我們向收到這則測試電文的使用者道歉。
時間 (UTC+8)
- 嚴重
轉發流程送出測試電文
- 取證
確認問題,開始處理
- 修正
阻斷這則電文
當天早上重構 cwa-xml-go,要把 cwa-xml-go 與 cwa-eew-go 合成一個服務,降低系統複雜度,也減少處理延遲。cwa-eew-go 負責轉發中央氣象署的強震即時警報。
中央氣象署(CWA)的方塊裡有 DCSN1、EIP,以及一個標示「?」的方塊,DCSN1 的箭頭指向 EIP。core-tyo1 與 core-tnn1 兩組各有 cwa-xml-go、cwa-eew-go、eew-server-go 與 Nginx + Lua;lb-khh1 與 lb-tnn1 兩組各有一個 Nginx + Lua。從 EIP 指向兩組 cwa-xml-go 的箭頭標示 HTTP GET(multipart/form-data);從「?」指向兩組 cwa-eew-go 的箭頭標示 HTTP GET(application/json)。標示 NATS 的箭頭:每個 cwa-xml-go 指向兩組的 cwa-eew-go,每個 cwa-eew-go 指向兩組的 eew-server-go,每個 eew-server-go 指向 core-tyo1、core-tnn1、lb-khh1、lb-tnn1 的四個 Nginx + Lua。使用者的箭頭指向 lb-khh1 與 lb-tnn1 的 Nginx + Lua,標示 HTTP GET(application/json);另有兩條虛線箭頭指向 core-tyo1 與 core-tnn1 的 Nginx + Lua,同樣標示 HTTP GET(application/json)。
服務之間用 NATS 傳電文。NATS Supercluster 會把電文同步到另一個機房,供異地雙活備援使用。測試機和生產環境接在同一組 Supercluster 上,測試機可以對生產環境訂閱的 subject 發布。下游服務沒有區分測試電文和正式電文,收到之後就照正式電文處理,轉發流程因此把測試電文送出去。
-
限制測試機的發布權限,避免測試電文進到生產環境訂閱的 subject。
-
把測試與生產環境的訊息通道分開。
-
檢查其餘服務有沒有同樣的權限設定,並一併修正。
