35KB 的前置提示詞搬不走:開發者自架 LLM 遇到的真實牆，揭露自託管 AI 的殘酷學費

一個 35KB 的文字檔，正在測試整個自架 AI 運動的極限。

2026 年 9 月中，開發者 Patrick McCanna 在個人部落格發表一篇遷移筆記，記錄他如何把龐大的前置提示詞（preprompts）從 Anthropic 的 Claude Opus 搬到自架的 Ollama 上，以及沿途撞上的每一道牆（來源:https://patrickmccanna.net/notes-on-migrating-large-prompts-away-from-anthropic-openai-to-self-hosted-llms/）。這類文章不會登上科技媒體頭條，但對真正在評估「去雲端化」的技術團隊而言，它比任何市調報告都誠實——因為它寫的是學費，不是願景。

核心論點是:遷移的痛點不在模型，在提示詞的「隱性合約」。

大型前置提示詞是為特定模型的高度指令遵循能力量身打造的。McCanna 的筆記標題本身就點出關鍵字:gotchas（陷阱）。當提示詞膨脹到數萬位元組，它實質上已經變成一份與閉源模型之間的隱性合約——模型會照辦、會記住脈絡、不會中途走神。換到自架模型上，這份合約條款全部失效，開發者必須重寫而非移植。這正是「API 鎖定」最隱蔽的形態:不是資料被綁架，而是工作流被綁架。

生態系正在補位，而且速度很快。

同一段時間，社群出現兩個指標性案例。一是 Reddit 上有開發者推出 MIT 授權的自架 AI 工作區，疊在 Ollama 之上，提供 agent 任務、MCP 工具與深度研究功能，一鍵安裝，且能對接任何 OpenAI 相容端點（來源:https://www.reddit.com/r/ollama/comments/1w83m7x/）。二是 Eidon，一個打包進單一 Docker 容器的全功能平台，涵蓋聊天、agent、自動化與工具整合，採 AGPL 授權，支援 Ollama 與 LM Studio（來源:https://www.reddit.com/r/LocalLLaMA/comments/1w8asps/）。

把三條線放在一起看，輪廓就清楚了:模型層（Ollama）已經夠成熟，現在的戰場移到它上面那一層——誰能提供堪比 ChatGPT 或 Claude 桌面端的 agent 體驗，誰就拿到下一波開發者的注意力。

競爭版圖:三種路線的現況

路線	代表	授權	現況
閉源 API	Anthropic Opus	商業	體驗最佳，成本與鎖定最高
自架工作層	MIT 自架工作區	MIT	相容 OpenAI 端點，彈性最大
一體化平台	Eidon	AGPL	單一 Docker 容器，部署最簡

對台灣讀者，這件事有三層意義。第一，資料主權:台灣企業面對個資法與客戶資料出境的合規壓力，自架路線的成熟度直接決定採用時機；OpenAI 相容端點成為事實標準，代表切換成本正在下降。第二，人才:能在地端模型上調校大型提示詞的工程師，未來兩年會是稀缺職缺，這不是雲端呼叫 API 的技能。第三，硬體:自架需求成長，受惠的正是台灣供應鏈——從 GPU 到伺服器整機，這條需求線比消費端聊天機器人更貼近台灣的產業位置。

未來情境怎麼走？

基準情境:自架與雲端長期共存，敏感資料走地端、一般任務走 API，混合架構成為企業標配。樂觀情境:開源模型的指令遵循能力追上閉源，35KB 提示詞可以直接搬遷，觸發條件是新一代地端模型上市。悲觀情境:閉源模型持續拉開差距，自架永遠停在「堪用但痛苦」的折衷位置，McCanna 這類筆記就是證據。

筆者可能錯在哪裡？ 這三份來源都是開發者自述與社群貼文，樣本極小，且發文者有推廣自身專案的動機；McCanna 遇到的陷阱未必具普遍性。自架陣營若低估閉源模型迭代速度，這篇分析的方向就會過於樂觀。

但方向不變:那個 35KB 的檔案，會繼續變大。牆，也會繼續長高。