跳到內容
主控台

07/18 強震即時警報轉發誤送測試電文說明

嚴重程度:嚴重狀態:已結案
發生時間
2026/07/18 08:29 (UTC+8) 左右
觸發條件
服務重構測試過程中
問題描述
轉發流程送出測試電文
根本原因
測試電文經 NATS Supercluster 進到生產環境

2026/07/18 08:29(臺灣時間)左右,我們在測試 cwa-xml-go 與 cwa-eew-go 的合併,測試電文經 NATS Supercluster 進到生產環境。誤發的是轉發流程送出的測試電文,不是中央氣象署的警報,也不是我們自行發布的地震警報。08:31 我們阻斷了這則電文。我們向收到這則測試電文的使用者道歉。

時間 (UTC+8)

  1. 嚴重

    轉發流程送出測試電文

  2. 取證

    確認問題,開始處理

  3. 修正

    阻斷這則電文

當天早上重構 cwa-xml-go,要把 cwa-xml-go 與 cwa-eew-go 合成一個服務,降低系統複雜度,也減少處理延遲。cwa-eew-go 負責轉發中央氣象署的強震即時警報。

CWAcore-tyo1core-tnn1lb-khh1lb-tnn1DCSN1EIP?cwa-xml-gocwa-eew-goeew-server-goNginx + Luacwa-xml-gocwa-eew-goeew-server-goNginx + LuaNginx + LuaNginx + Lua使用者HTTP GET(application/json)HTTP GET(multipart/form-data)NATSNATSNATSNATSNATSNATSNATSNATSNATSNATSNATSNATSNATSNATSNATSNATSHTTP GET(application/json)HTTP GET(application/json)HTTP GET(application/json)

中央氣象署(CWA)的方塊裡有 DCSN1、EIP,以及一個標示「?」的方塊,DCSN1 的箭頭指向 EIP。core-tyo1 與 core-tnn1 兩組各有 cwa-xml-go、cwa-eew-go、eew-server-go 與 Nginx + Lua;lb-khh1 與 lb-tnn1 兩組各有一個 Nginx + Lua。從 EIP 指向兩組 cwa-xml-go 的箭頭標示 HTTP GET(multipart/form-data);從「?」指向兩組 cwa-eew-go 的箭頭標示 HTTP GET(application/json)。標示 NATS 的箭頭:每個 cwa-xml-go 指向兩組的 cwa-eew-go,每個 cwa-eew-go 指向兩組的 eew-server-go,每個 eew-server-go 指向 core-tyo1、core-tnn1、lb-khh1、lb-tnn1 的四個 Nginx + Lua。使用者的箭頭指向 lb-khh1 與 lb-tnn1 的 Nginx + Lua,標示 HTTP GET(application/json);另有兩條虛線箭頭指向 core-tyo1 與 core-tnn1 的 Nginx + Lua,同樣標示 HTTP GET(application/json)。

cwa-xml-go 與 cwa-eew-go 合併前的架構示意圖

服務之間用 NATS 傳電文。NATS Supercluster 會把電文同步到另一個機房,供異地雙活備援使用。測試機和生產環境接在同一組 Supercluster 上,測試機可以對生產環境訂閱的 subject 發布。下游服務沒有區分測試電文和正式電文,收到之後就照正式電文處理,轉發流程因此把測試電文送出去。

  1. 限制測試機的發布權限,避免測試電文進到生產環境訂閱的 subject。

  2. 把測試與生產環境的訊息通道分開。

  3. 檢查其餘服務有沒有同樣的權限設定,並一併修正。