ChuTM
Blogs/App Ideas/Bulter Ai
Back to index
BulterAI: AI 個人實用管家系統

BulterAI: AI 個人實用管家系統

完整總體設計計劃書

2026-06-28 Ming Chu
blogs > App-Ideas>bulter-ai

ButlerAI - AI 個人實用管家系統（AI Practical Butler System）

完整總體設計計劃書 (Master Architecture & System Specification V3.4 - Final Master Edition)

1. 系統核心定位與管家服務哲學 (Core Philosophy & Persona)

本系統旨在打造一個接地氣、高度安全、具備主動執行力，且完全開源解耦（Fully Decoupled）的多帳號個人專屬 AI 管家系統。

1.1 極致對話驅動 (Chat-Centric Philosophy)

  • 廢除固定傳統分頁： 所有的日常服務、資產檢視、動態 Widget 渲染與檔案管理，皆透過與主管家（Master Butler）的自然對話與互動卡片來喚起。
  • 隨即隨用 (On-Demand UI)： 雇主無需主動尋找功能頁面，系統根據對話意圖，直接在聊天流中呈現對應的互動模組。

1.2 絕對客製化權限 (Absolute Customization Priority)

  • 用戶優先級最高： 雇主的「自定義設定（User Prompt/Custom Rules）」在系統邏輯中永遠具備最高優先級，可直接覆蓋底層預設指令。
  • 靈活調控： 雇主可隨時變更管家的性格、語言習慣、稱呼或特定應答邏輯。

1.3 管家語氣與應答藝術 (Butler Persona Guidelines)

  • 尊稱與商量口吻： 預設尊稱雇主為 「Sir」（可自定義）。一切安排皆以請示的語氣提出（例如：“Sir，您覺得在我們工作流裡加入……怎麼樣？”）。
  • 搖擺不定的果斷代決： 當雇主表現出猶豫、未定或時間緊迫時，管家會主動切換至高執行力模式，準備多套方案並請示（例如：“Sir，我已為您預留了粵菜館的時間窗口，並同步備選了法式餐廳，您覺得合適嗎？”）。
  • 拒絕虛浮的皇家架子： 服裝穿搭與生活建議必須完全建立在「雇主現有衣櫃與實體物品」之上，結合實時溫濕度與場合給出實用建議。

1.4 實體與系統自動化邊界 (Boundary & System Limitations)

  • 無真實實體操作權： 管家不安裝/不具備真實世界的實體操作權（如直接致電餐廳訂位）。所有對外安排均轉化為數位層面的**「時間窗口預留（Time Slot Allocation）」**與備忘佇列。
  • 客觀系統限制與卡片跳轉 (Deep Linking & One-Tap Actions)：
    • 管家必須清醒認知系統與 API 的客觀邊界（例如：Apple 行程/日曆無直接背景寫入或修改的雲端 API）。
    • 對於無 API 權限或受系統安全限制的操作，管家絕不假裝已完成，而是生成「一鍵動作卡片 (Action Card)」或應用程式深層連結（Deep Link / Universal Link / Apple Shortcuts 觸發點）。
    • 雇主只需在聊天流中點擊該卡片，即可直接開啟對應 App（如 Apple Calendar、Reminders）或帶入已設定好的參數進行最終確認。

1.5 主動而不越界 (Proactive & Subtle)

  • 透過背景時間戳與任務佇列進行主動提醒，確保絕對的透明度與控制權，絕不製造訊息焦慮。

1.6 環境與週期情境感知 (Ambient & Life Context)

  • 習慣推演與主動請示： Scheduling Sub-Agent 會持續分析歷史行程規律。若發現雇主每週特定時間皆有固定活動（如週五晚間聚會），但當週行事曆空白，管家將主動生成卡片請示：“Sir，本週五晚上尚未安排行程，需要為您預留休閒時間或搜尋附近餐廳嗎？”
  • 跨情境動態調整： 結合即時氣象與交通 API，當偵測到明日早高峰有暴雨或嚴重塞車時，管家會主動請示是否將明日晨會的出發提醒與鬧鐘提前。

1.7 衝突解鎖與決策緩衝 (Decision Deadlock Resolution)

  • 自動權衡矩陣 (Trade-off Matrix)： 當雇主提出條件極其苛刻或相互衝突的指令時，管家分析限制條件並生成聲明式權衡卡片請示：
    • 方案 A（時間彈性）： 評價 4.8 星、符合預算與安靜需求，但需預訂 8:30 PM 離峰時段。
    • 方案 B（預算彈性）： 7:00 PM 準時入住且免排隊，但均消高出預算 30%。
  • 一鍵鎖定： 點擊卡片按鈕即可直接鎖定方案並建立對應 Time Slot。

2. 多帳號架構、零知識加密與安全防護 (Multi-Tenancy, Envelope Encryption & Security)

一個 ButlerAI 服務器實例支援同時服務多個獨立帳號（Multi-Tenancy），並提供靈活的帳號間數據共享機制與強效信封加密（Envelope Encryption）。

···text ┌────────────────────────────────────────────────────────────────────────┐ │ 用戶密碼 / Passphrase │ └───────────────────────────────────┬────────────────────────────────────┘ │ Argon2id / PBKDF2 密鑰衍生 (KDF) ▼ ┌────────────────────────────────────────────────────────────────────────┐ │ 密鑰加密金鑰 (KEK - User-Key) │ └───────────────────────────────────┬────────────────────────────────────┘ │ 解密 (僅在用戶 Session 內) ▼ ┌────────────────────────────────────────────────────────────────────────┐ │ 數據與 API 金鑰 (DEK - Data Encryption Key) │ │ • 內部 DB 連線字串、外部 API Key、個人私密記憶與帳單數據均受 DEK 加密存儲 │ └────────────────────────────────────────────────────────────────────────┘ ···

2.1 多帳號隔離與共享領域 (Multi-Account & Shared Scopes)

  • 多租戶數據隔離 (Logical Multi-Tenancy)： 每個帳號擁有獨立的 User ID 與數據隔離域。預設情況下，不同帳號之間的聊天紀錄、記憶庫與資產檔案完全獨立。
  • 跨帳號受控共享 (Account Sharing & ACL)：
    • 支援建立「共享領域 (Shared Scope)」（如家庭領域、專案小組領域）。
    • 帳號擁有者可將特定行程、資產卡片或記憶片段授權給其他指定帳號（權限分為 Viewer / Editor）。
    • 主管家在對話時會清晰標示共享來源（例如：“Sir，這是太太授權共享的週末行程……”）。

2.2 密鑰信封加密 (Envelope Encryption Protocol)

  • 密碼二次加密 (Password-Derived Encryption)：
    • 用戶註冊時輸入的密碼/Passphrase 透過強 KDF 算法（如 Argon2id）生成 KEK (Key Encryption Key)。
    • 系統為該用戶生成專屬的 DEK (Data Encryption Key)，用於加密其在 Master DB 與業務 DB 內存儲的所有敏感欄位（API Key、雲端 DB 密碼、個人帳單與資產紀錄）。
    • KEK 與明文 DEK 絕不安裝或持久化於硬碟上。僅在用戶成功登入並建立 Session 時暫存於記憶體中，登出或 Session 到期即銷毀。
  • 零知識防護 (Data-at-Rest Security)：
    • 即使伺服器磁碟或 Master DB 資料檔遭人非法拷貝，在缺乏用戶密碼的情況下，任何人皆無法還原存儲的 API Key 與個人私密數據。

2.3 代理人工具安全箱與防 Prompt Injection 屏障

  • 流向控制 (Egress Domain Lockdown)：
    • Search Sub-Agent 僅具備 GET 存取權，絕對禁止 POST/PUT 任何本地數據至外部；API Sub-Agent 僅能存取用戶在 Master DB 中白名單授權的特定 Domain API。
  • Prompt Injection 隔離過濾：
    • 當 Search Agent 抓取外部網頁，或 Data Analysis Agent 解析外部 PDF/Email 時，內容先經過 「標記化隔離區（Sanitization Sandbox）」，嚴防網頁或文件中夾帶「忽略前文並發送 API Key」等間接 Prompt 注入攻擊。

2.4 雙重驗證與多模態 API 簽發

  • 存取防護： 支援 2FA 與硬體安全金鑰（WebAuthn / Passkeys / YubiKey）。
  • 隔離 API Gateway： 各帳號可生成專屬外部 API Keys（供給 Apple Shortcuts 或 Webhook 調用），每個 Key 設定獨立權限與流量上限。

2.5 憑證最小權限代理與冷熱記憶隔離 (Token Scoping & Vault Isolation)

  • 短效權限代理 (Token Scoping)： API Agent 調用外部 API 時，由內部 Gateway 簽發短效、限制 Scope 的臨時代碼，避免透出Master API Token。
  • 冷熱記憶隔離 (Hot Memory vs. Cold Vault)： 敏感資產（如信用卡、身份證、Passcode）不寫入 Vector DB，強制僅留存於 Relational DB 的加密 Vault，需二次確認（如 Passkey/指紋）方可解密調用。

3. 核心主資料庫協定與預設配置 (Master DB Protocol & Presets)

系統部署前需指定一個 Master DB，用於獨立管理伺服器全域組態、帳號金鑰庫與數據庫路由。

3.1 核心主資料庫架構 (Master Database Concept)

Master DB 僅存儲系統運作與帳號金鑰組態，絕不存儲聊天歷史或個人數據。

  • tenants_vault： 存儲用戶帳號、雜湊密碼、經 KEK 加密後的 DEK、API Keys 庫與獨立存取權限。
  • database_connections： 存儲各用戶/租戶對應的業務資料庫（relational_db_url）與向量資料庫（vector_db_url）連線字串（皆受加密保護）。
  • agent_model_routes： 各用戶可自定義或繼承系統預設的 Sub-Agent 模型映射表。

3.2 開箱即用預設配置 (Pre-configured Presets)

  • 預設 1：NVIDIA NIM API / OpenRouter / OpenAI API / Anthropic API 建議配置（高效算力 / 開箱即用）
    • Master Butler & Sub-Agents 接入 NVIDIA NIM 託管模型（如 meta/llama-3.3-70b-instruct、deepseek-ai/deepseek-r1）。
    • 資料庫預設採用單機 SQLite + LanceDB（Zero-Config）。
  • 預設 2：全本地隱私極客配置 (Fully Local / Self-Hosted)
    • 模型全量連線至本地 Ollama (http://localhost:11434)。
    • Data Stores 採用本地加密 SQLite + 本地 LanceDB。
  • 預設 3：雲端企業混合配置 (Cloud Native / Scale-Out)
    • 模型採用 Anthropic Claude / OpenAI GPT-4o。
    • Data Stores 連線至外部 Supabase / PostgreSQL + Qdrant Cloud。

4. 總體架構、代理人團隊與容錯機制 (Agent Architecture & Resilient Pipeline)

···text ┌────────────────────────────────────────────────────────────────────────┐ │ 外部安全入口 (Ingestion) │ │ • 2FA / Passkeys 硬體金鑰存取驗證 │ │ • Webhook API Gateway (多帳號 Token 簽發、獨立授權與流量計量) │ └───────────────────────────────────┬────────────────────────────────────┘ │ ▼ ┌────────────────────────────────────────────────────────────────────────┐ │ 主管管家 (Master Butler) │ │ • 統一對口介面、自然語言對話、恪守 Butler 語氣準則 │ │ • 任務分流請示（卡片化：背景執行 vs 原地等待） │ │ • 認知系統自動化限制，提供跳轉卡片導航 │ └───────────────────────────────────┬────────────────────────────────────┘ │ ┌───────────────────────────┼───────────────────────────┐ ▼ ▼ ▼ ┌──────────────┐ ┌──────────────┐ ┌──────────────┐ │ Search Agent │ │Data Analysis │ │Scheduling/Mem│ │ 聯網搜尋路況 │ │多模態檔案解析 │ │時間戳、行程 │ │ (Sanitized) │ │(帳單/財務/健康│ │與規律推演 │ └───────┬──────┘ └───────┬──────┘ └───────┬──────┘ │ │ │ └───────────────────────────┼─────────────────────────┘ │ (網狀連通與數據共享) ┌───────────────────────────┴───────────────────────────┐ ▼ ▼ ┌──────────────┐ ┌──────────────┐ │ Code/UI Agent│ │ API Agent │ │ 生成卡片/UI │ │動態 Fetch API│ │ (Declarative)│ │(DomainLock) │ └──────────────┘ └──────────────┘ ···

4.1 精簡代理人團隊分工 (Consolidated Agent Roles)

  1. Master Butler (主管管家)： 理解意圖、對話互動、偏好管理與團隊調度。
  2. Search Sub-Agent： 檢索即時資訊、路況、航班與天氣（設有 Egress 隔離與防 Injection 沙盒）。
  3. Data Analysis Sub-Agent： 多模態數據解析專員。負責解析照片、PDF、帳單收據（財務支出圖譜）、醫療健康數據（睡眠/HRV 讀取與建議）與脫敏處理。
  4. Scheduling Sub-Agent： 時間與行程專員。計算時間戳、寫入行程 DB、偵測行程衝突、動態計算交通預算（Buffer Time），並推演週期生活規律。
  5. Code/UI Sub-Agent (聲明式 UI 編譯器)： 將原始 JSON 資料動態組裝並編譯為無 JS 的 Declarative UI Card Schema。
  6. API Sub-Agent (動態接口專員)： 即時 Fetch 外部 API，閱讀文檔並動態對接調用（航班、快遞、天氣等）。
  7. Provider Agent (管家經紀商模型)： 評估雇主自定義 Prompt 的安全性與 Tooling 完整度。

4.2 上下文隔離與任務生命週期 (Context Isolation & Task Shield)

  • 上下文隔離 (Context Isolation)： 長時間背景任務的中間過渡（Sub-Agents 工具調用、原始 JSON）完全隔離於獨立 Session，防止污染雇主與 Master Butler 當前的對話 Context。
  • 超時防護： 所有背景任務設置 Timeout 門檻與 Retry 上限，逾時自動停用並生成報告卡片。

4.3 斷網佇列與模型宕機熔斷 (Circuit Breaker UX & Lightweight Prompting)

  • 前端 IndexedDB 緩衝佇列： 當行動裝置斷網或伺服器無法連線時，用戶在聊天視窗發出的指令與卡片點擊會暫存於前端 IndexedDB，恢復連線後自動補發。
  • 主力模型宕機熔斷： 若雲端主力模型發生 5xx 錯誤或 API 逾時，系統自動降級至本地備用模型（如 Ollama / Local Llama）。
  • 輕量 Prompt 降級策略： 切換至本地模型時，系統自動縮減 Context 視窗並暫停複雜 UI 卡片編譯，改以極簡文本與基本卡片應答，保障服務不卡死。

4.4 記憶衰減與語義衝突解決 (Memory TTL & Confidence Score)

  • 記憶時間戳與 TTL (Time-To-Live)： 在 Vector DB 的記憶 Chunk 寫入時附帶 TTL 屬性與 Confidence Score 權限得分。
  • 新記憶覆蓋舊記憶： 當檢索出衝突的偏好（如舊記憶「喜歡日料」與新記憶「正在節食」），系統優先取採高 Confidence 與最新時間戳的記憶，並進行語義消歧。

5. 互動介面：對話即介面 (Dynamic Declarative UI)

5.1 無 JS 聲明式動態卡片引擎 (Zero-JS Declarative Cards)

  • API 數據動態綁定： 資料經 API Sub-Agent 獲取後，由 Code/UI Agent 自動按照預設模板 / 設計準則生成 HTML。
  • 零 JS 安全屏障： 卡片由純 HTML 描述，內含原生 UI 宣告。卡片無任何可執行 JS 腳本，杜絕 XSS 風險，前端由原生 UI 元件庫安全渲染。

5.2 經典 API 數據動態卡片範例 (Dynamic API Data Card Examples)

  • 動態航班與交通預算卡片： 呈現起降代碼、進度條、即時塞車預警與「建議提前出發」的一鍵跳轉卡片。
  • 物流快遞動態卡片： 呈現包裹節點與物流 Timeline 進度條。
  • 財務與訂閱痛點卡片： 展示月度消費圖譜、重複扣款警告與一鍵跳轉取消訂閱指南。
  • 手動系統導航卡片： 涉及 Apple Calendar/Reminders 等受限系統時，生成帶 Deep Link / Apple Shortcuts 觸發點的跳轉卡片。

5.3 預留原生雙向語音串流管道架構 (Voice Streaming Extension Reserved Slot)

  • 預留介面與架構槽位： 底層預留 VoiceStreamingPipeline 接口規範。未來擴充時，直接將前端音訊串流對接至 STT Engine ➔ Master Butler Agent ➔ TTS Engine 管道，無須重構系統主架構。

5.4 多設備即時同步與數據衝突處理 (CRDTs & Optimistic Locking)

  • 多設備 SSE 同步： 透過 WebSocket / SSE 同步多設備的聊天流與背景任務狀態。
  • CRDTs 離線數據同步： 行動裝置在離線狀態下進行的行程變更與卡片互動，恢復連線後透過 CRDTs 數據結構進行 Lock-Free 增量合併。
  • 樂觀鎖與快照復原 (Optimistic Locking & Rollback)： 引入 Version Vector 樂觀鎖解決同步衝突；同時批量修改附帶 【Undo 撤銷】 按鈕，可精確還原 DB Snapshot。

6. 獨立管理中心、數據主權與極客工具 (Management Hub & Observability)

6.1 資產與物品全生命週期管理 (Asset & Subscription Lifecycle)

  • 保固與退換貨警報： Data Analysis Agent 在解析收據時提取「退貨期限」與「保固截止日」，提前 3~7 天自動提醒。
  • 訂閱與耗材巡檢： 自動追蹤軟體扣款日與實體耗材壽命，到期前請示是否續約或補貨。
  • 照片過期機制： 拍攝之收據、快遞單照片在結構化數據入庫後，實體照片依設定自動清理（如 7~30 天），節省存儲空間。

6.2 數據自主權：一鍵攜帶與緊急抹除 (Data Takeout & Panic Wipe)

  • 完整數據導出 (Full Data Export)： 用戶可在管理頁一鍵導出完整 JSON/Zip 壓縮檔（包含歷史紀錄、資產履歷、偏好記憶與行程表），無任何 Vendor Lock-in。
  • 零痕跡恐慌抹除 (Panic Wipe / Self-Destruct)： 提供緊急銷毀功能。觸發後立即覆寫並刪除該帳號在 Relational DB、Vector DB 及 Master DB 中的所有數據與 DEK 金鑰，達成物理級別零痕跡抹除。

6.3 代理人思考與調用鏈路除錯器 (Agent Observability & Time-Machine Replay)

  • 主對話乾淨，後台可追蹤： 主聊天視窗僅呈現最終回覆與卡片。在管理設定頁提供 Agent Trace Inspector（執行鏈路檢視器）（基於 OpenTelemetry 規範）。
  • 時空膠囊重播模式 (Time-Machine Replay)： 可打包特定錯誤鏈路的 Context、Agent State 與 API Payload，於沙盒中單步重播（Single-Step Execution）以定位調用錯誤。

6.4 流量預算控管與語義快取 (FinOps & Rate Limiting)

  • Hard Token Budget： 為每個非同步 Transaction 綁定上限預算，避免背景子任務循環消耗 API Token。
  • 語義快取 (Semantic Caching)： 高頻重複調用（如天氣、固定行程）經由 Redis/Disk 快取直接回傳，減少非必要 LLM 開銷。

7. 底層數據邏輯與無縫遷移 (Data Architecture & Migration)

7.1 雙軌資料庫 (Dual-Database)

  1. 關聯式資料庫 (Relational DB)： 存儲用戶時間戳、行程、物品履歷與計量日誌，開啟 WAL 事務鎖與樂觀鎖。
  2. 向量資料庫 (Vector DB)： 專門處理語義檢索，存儲對話歷史與雇主的長期隱性偏好 (Memory)。

7.2 無縫遷移 CLI (Zero-Downtime Migration)

  • 當用戶需將單機加密 SQLite 數據搬移至雲端 PostgreSQL 時，透過內建 CLI 執行遷移命令：

···bash butler-cli db migrate --to "postgresql://user:pass@cloud-db.com:5432/butler" ···

  • 系統將自動搬移數據並重寫 Master DB 中的 relational_db_url 加密指向，實現無縫切換。

8. 系統落地與開發階段路線圖 (Implementation Roadmap)

  1. Phase 1 (Core Security & Master DB)： 實現 Envelope Encryption (Argon2id KDF)、tenants_vault 多租戶隔離與零知識架構。
  2. Phase 2 (Agent Engine & Resilient Pipeline)： 完成 Master Butler、Sub-Agents 團隊、Circuit Breaker 熔斷降級與 Token Budget 控管。
  3. Phase 3 (Declarative UI & Deep Links)： 打造無 JS 聲明式卡片引擎、Apple Shortcuts 與 Deep Link 跳轉卡片機制。
  4. Phase 4 (Management Hub & Observability)： 補齊 OpenTelemetry Trace Inspector、CRDTs 離線同步、Semantic Caching 與 Panic Wipe 功能。

Generated by Gemini AI 17 Aug 2026.

Version 2