【實戰架構】拒絕訂閱制勒索：以 Ollama 與 Open WebUI 建構台灣在地化邊緣運算節點

本文由軟體架構師視角出發，解析如何利用開源堆疊（Ollama 與 Open WebUI）在本地端部署私有 AI 推論系統。我們將探討從雲端租賃（OpEx）轉向本地算力（CapEx）的經濟與隱私優勢，並深入技術細節：包含 GGUF 量化格式對記憶體頻寬的影響、Docker 容器化部署的網路拓撲，以及如何透過 Modelfile 定製化系統提示詞，讓模型精準理解 PTT 次文化與台灣在地語境，實現真正的數據主權。

1. 緒論：從租賃算力到數據主權

在計算機科學的歷史長河中，我們正處於一個鐘擺回盪的時刻。過去十年，我們見證了從本地伺服器向雲端（SaaS, IaaS）的大規模遷移；然而，隨著大型語言模型（LLM）的興起，隱私洩露風險與高昂的 API 訂閱費用（Subscription Fatigue），正在推動計算力重回「邊緣（Edge）」。

作為一名架構師，我主張「First Principles」的思考方式：為什麼要將你的私密數據發送到遠端伺服器進行矩陣運算，再花費網路延遲傳回結果？今天，我們將構建一個本地推論堆疊（Inference Stack），不僅完全免費，更重要的是，它理解台灣的語言細微差別，甚至懂 PTT 的「梗」。

2. 系統架構解析

我們將採用的堆疊由兩個核心組件構成，這類似於經典的 Client-Server 架構：

後端（Inference Engine）：Ollama Ollama 是一個基於 Go 語言開發的輕量級框架，其底層封裝了 llama.cpp。它的核心價值在於對異構硬體的抽象化。它能將 PyTorch 訓練出的權重檔案（通常是 16-bit 或 32-bit float），透過量化（Quantization）技術轉換為 GGUF 格式。這使得我們能在消費級 GPU（如 RTX 3060/4090）甚至純 CPU 環境下，利用系統 RAM 進行高效推論。
前端（Interaction Layer）：Open WebUI 這是一個現代化的 React/Svelte 前端容器，提供了類似 ChatGPT 的使用者體驗。它透過 REST API 與 Ollama 通訊，並支援 RAG（檢索增強生成），讓我們能掛載本地文檔。

3. 硬體瓶頸分析 (The Bottleneck)

在開始之前，必須理解底層限制。LLM 的推論速度主要受限於記憶體頻寬（Memory Bandwidth）而非計算核心頻率。

VRAM 是關鍵：如果你希望模型回應流暢，必須將整份模型權重載入 GPU 的 VRAM。
量化的藝術：一個 70 億參數（7B）的模型，若使用 FP16 精度約需 14GB VRAM。透過 4-bit 量化（q4_k_m），我們可以將其壓縮至約 4GB，從而適配大多數現代筆電。

4. 實戰部署：手把手架構指南

步驟一：部署推論引擎 (Ollama)

在 Linux 或 WSL2 (Windows Subsystem for Linux) 環境下，這是最優雅的解決方案。終端機執行：

curl -fsSL https://ollama.com/install.sh | sh

此腳本會安裝 daemon 並監聽 11434 端口。這是典型的微服務設計，只負責計算，不負責介面。

步驟二：模型選擇與「台灣化」 (The Localization)

標準的 Llama 3 或 Mistral 模型雖然強大，但其中文訓練語料多來自簡體中文互聯網，對台灣用語（如「隱分母」、「水桶」、「雞排」）缺乏語境理解。

我們需要具有台灣在地語料微調（Fine-tuning）的模型，例如聯發科的 Breeze (微風) 或 Llama-3-TW 系列。

在終端機拉取模型：

ollama pull breathe/breeze-7b-instruct-v1_0
# 或其他社群微調版

步驟三：容器化前端 (Open WebUI)

為了保持系統潔淨，我們使用 Docker 部署前端。這體現了「不可變基礎設施（Immutable Infrastructure）」的原則。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui ghcr.io/open-webui/open-webui:main

-p 3000:8080: 將容器的 8080 端口映射到本機的 3000。
--add-host: 這至關重要，它允許容器內部的網路請求「穿透」回宿主機，訪問我們在步驟一安裝的 Ollama 服務。

5. 進階調優：注入 PTT 靈魂 (Modelfile Engineering)

這一步是讓 AI 從「通用工具」變成「懂你的鄉民」的關鍵。我們不只是運行模型，我們要透過 Modelfile 定義其系統提示詞（System Prompt）。

創建一個名為 Modelfile_PTT 的文件：

FROM breathe/breeze-7b-instruct-v1_0

# 設置參數，增加創造性 (Temperature)
PARAMETER temperature 0.7

# 系統提示詞工程 (Prompt Engineering)
SYSTEM """
你是 PTT 資深鄉民助手，熟悉台灣網路文化、次文化梗以及正體中文語境。
回答風格需具備批判性思考，偶爾可以使用 PTT 術語（如：推文、高調、甚至反諷），但核心建議必須專業且中立。
絕不使用中國大陸用語（如：視頻、質量、水平），請自動轉換為台灣用語（影片、品質、水準）。
"""

然後編譯這個自定義模型：