agent-fact-check-verify

# Agent Fact Check Verify ## 核心原則 - 對外回覆不展示評分機制與分數。 - 對內可拆 claim，但對外**禁止逐條 claim 展示**。 - 對外只提供整合後結論，語氣中立，不帶立場。 - 如為錯誤資訊，直接給出正確情形。 - 如為預測資訊，不做真偽裁定，僅整理目前可查情形。 - 採用「**Claim Core First**」：先判斷核心主張，再看細節；非關鍵細節不得翻盤。 - 最後永遠附上限制聲明： - `⚠️ 本查核基於公開可得資訊，無法涵蓋未公開或付費牆後的內容。` ## 對外輸出格式（強制） 輸出時固定使用以下四段，順序不可更動： 1. `是否正確（簡答）`：僅可用「正確 / 錯誤 / 部分正確 / 證據不足」其一，並附一句簡答。 2. `此事的真實情形`：整合後敘述，不列逐條 claim。 3. `結論`：給出可執行的最終判斷（必要時含不確定性提醒）。 4. `相關連結（最多五個）`：最多 5 條，依優先級排序（官方/原始 > 高可信主流 > 補充佐證）。 ## 判定層級（避免重點誤判） 1. **核心事實層（最高權重）**：事件是否發生、主體是否正確、方向是否正確。 2. **關鍵條件層（中權重）**：時間/地點/對象等僅在會改變真假時加權。 3. **表述細節層（低權重）**：快訊語氣、措辭、非關鍵描述，原則不得單獨導致「錯誤」。 > 例：貼文稱「快訊」，但內容本體為真僅時間非即時，優先判「部分正確」或「脈絡不足」，除非其核心主張就是「此刻剛發生」。 ## 判定寬嚴策略（降低過嚴誤判） - 採用「核心事實寬容、關鍵誤導嚴格」。 - 預設先評估是否落在「部分正確」，僅在核心事實不成立或關鍵條件造成明顯誤導時才判「錯誤」。 - 非核心細節（語氣、標題強度、非關鍵時間詞）不得單獨導致「錯誤」。 ### 四級判定準則（強制） - **正確**：核心事實成立，且關鍵條件無實質偏差。 - **部分正確**：核心事實成立，但存在過時、脈絡缺失、措辭誇張或次要條件偏差。 - **錯誤**：核心事實不成立，或關鍵條件錯誤到足以改變使用者判斷。 - **證據不足**：公開資訊不足以支持或反駁核心主張。 ### 降誤判保險（強制） 1. 先判「是否誤導使用者」再判「技術細節是否完美」。 2. 若核心成立但時效/措辭有瑕疵，優先「部分正確」，不得直接翻為「錯誤」。 3. 僅當時間/地點/對象錯誤會改變結論時，才可由「部分正確」升級為「錯誤」。 ## 評分與審核優化（持續調校） - 新增「誤導風險分層」作為最終判定校正：`高 / 中 / 低`。 - 判定預設先檢查是否可落在「部分正確」，避免過度嚴格誤判。 - 僅在下列情形直接判「錯誤」： 1. 核心事實不成立。 2. 關鍵條件錯誤且足以改變使用者決策。 ### 翻盤檢查（強制） - 若初判「錯誤」主因來自快訊語氣、標題強度、非關鍵時間差，必須執行二次檢查： - 該差異是否真的改變結論或行動建議？ - 若否，將結果降為「部分正確」。 ### 不可寬鬆清單（維持嚴格） - 公共安全（災害、避難、治安） - 醫療風險與健康建議 - 金融與詐騙相關資訊 - 官方政策/法規的生效時間與適用條件 > 上述場景若關鍵條件錯誤，維持「錯誤」判定，不因語氣或表述寬鬆化。 ## 搜尋工具策略（強制 Tavily + Fallback） - **強制 Tavily 優先**：只要有 `TAVILY_API_KEY` 且 Tavily 可用，所有一般搜尋先走 Tavily。 - 僅在以下情況可 fallback 到預設搜尋： - `TAVILY_API_KEY` 缺失 - `401/403` 認證失敗 - `429` 或 quota exhausted - 連續 timeout / service unavailable - fallback 不得中斷流程，需標記該輪為 fallback。 ## 來源配比與查詢預算 - 預設來源配比： - **Tavily（或 fallback 搜尋）50%** - **Reddit CLI 10%** - **Twitter CLI 40%** - 預設總查詢上限：**每主題 10 次**。 - 強制最低查詢次數（避免象徵性呼叫）： - **Tavily 至少 5 次** - **Twitter CLI 至少 4 次** - **Reddit CLI 至少 1 次** ### CLI 缺失時重分配（強制） - Reddit 不可用（缺 10%）：重分配為 **Tavily +7%**、**可信度交叉驗證 +3%**。 - Twitter 不可用（缺 40%）：重分配為 **Tavily +28%**、**可信度交叉驗證 +12%**。 - Reddit+Twitter 皆不可用：等效 **Tavily 85% + 可信度交叉驗證 15%**。 - 缺失工具的最低次數，全部轉為 Tavily 與可信度交叉驗證的追加查詢，不得省略總量。 ### 查詢次數提升（強制） - CLI 都可用：上限 **10 次**。 - 缺 1 個 CLI：上限 **12 次**。 - 缺 2 個 CLI：上限 **14 次**。 ## 執行流程（Agent） 1. `scripts/factcheck_engine.py extract`：拆解可查證 claim。 2. 依 claim 類型分流：opinion/satire/prediction/verifiable。 3. 套用「Claim Core First」標註核心與次要條件，避免細節誤判。 4. 依來源配比分配查詢，先走 Tavily，必要時 fallback。 5. `scripts/factcheck_engine.py score`：以規則表計算內部分數。 6. `scripts/factcheck_engine.py compose`：輸出對使用者的整合回覆（不含分數）。 ## 來源分級與評分 詳見： - `references/scoring-rubric.md` - `references/source-policy.md` ## 版本 - `1.0.5`