📝 NLP 自然語言處理 | BERT・傳統算法 vs LLM 選型

🎯 先說結論：LLM 很強，但不是唯一答案

ChatGPT、Gemini、Claude 等大型語言模型確實能完成文本分類、NER、問答等幾乎所有 NLP 任務，且效果往往超越傳統模型。但這不代表傳統 NLP 算法已死。

現實是：每呼叫一次 GPT-4o 處理一筆文本，費用約 0.01–0.1 美元；一個日均百萬筆請求的客服系統，光 API Token 費用一個月就燒掉幾十萬台幣。反觀一個微調好的 BERT-base 模型，部署在 CPU 伺服器上，推論一筆僅需 0.1 秒，每月邊際成本趨近於零。

💡 選型黃金法則：任務定義清晰、標籤固定、資料量足夠？→ 傳統 BERT 微調，便宜、快速、可控。需要開放域理解、多步推理、零樣本泛化？→ LLM（RAG + prompt engineering）。兩者可以也應該混用。

傳統 NLP vs LLM 成本效益對照

維度	傳統 NLP（BERT 微調）推薦：封閉域任務	大型語言模型（GPT/Gemini/Claude）推薦：開放域任務
推論成本	每千筆 <$0.01（GPU/CPU 自架）	每千筆 $5–100（視 Token 量）
延遲	CPU 0.1s / GPU <0.01s	API 0.5–5s（網路+推論）
訓練數據量	需 1,000–10,000 筆標注數據	零樣本可用，少量 few-shot 即強
可控性	輸出格式穩定，分類 100% 可控	需 prompt engineering，有幻覺風險
部署靈活度	可完全私有化部署，無資安外洩疑慮	雲端 API 有資料外洩風險；私有化需要 A100
新任務擴充	需重新標注、重新訓練	修改 prompt 即可，幾乎零額外成本
適用場景	固定分類、批量處理、即時低延遲、隱私敏感	開放問答、摘要、多步推理、新場景快速驗證

💡 混用策略前端用 BERT 分類/過濾 → 符合條件者才送 LLM 深度處理，可降低 80% 以上的 Token 費用。

五大 NLP 任務導覽

📂

文本分類 Classification

判斷「這句話屬於哪一類」。HAN → BiLSTM+Attention → BERT-base-chinese，12 類電話助理場景，F1=83.5%，CPU 0.1s/筆。

✅ 最適合傳統算法的場景 · 成本最低

🏷️

命名實體識別 NER

抽取「誰、在哪、什麼組織」。BERT+CRF 或 PaddleNLP UIE，醫療診斷書與對話槽位填充，含注音/拼音品牌識別實驗。

✅ 封閉實體類型：傳統；新類型/複雜語境：LLM

🔗

文本相似度 Similarity

比對「這兩句是同一個意思嗎」。Siamese-BERT / ALBERT，80/20 Q&A 比對法，聊天機器人前端快速過濾，解決「廁所」vs「洗手間」場景。

✅ 高頻檢索：傳統 embedding；語意理解：LLM

📖

機器閱讀理解 MRC

從文件中找答案。BiDAF → QANet → BERT，博物館/展場導覽機器人場景，DRCD + 自建繁中數據集，多文件推理挑戰。

⚖️ 固定知識庫：BERT；開放問答：LLM+RAG

✍️

文本糾錯 Correction

修正 ASR 輸出的同音異字。pycorrector → ConvSeq2Seq → MacBERT，商場機器人字幕修正場景，投入 ~100 天，有 HuggingFace DEMO。

⚖️ 同音字替換：傳統；語法/語意錯誤：LLM

NLP 技術演進脈絡 (2018–2026)

Pre-2018

TF-IDF、SVM、CRF、n-gram、詞向量（word2vec / FastText）；騰訊 ChineseEmbedding 需載入 16GB。規則+統計的時代，能做到的效果有限但成本低。

2018-11

BERT 橫空出世（Google），Transformer 雙向預訓練，屌打所有 NLP 下游任務。Hugging Face Transformers 生態讓 BERT 微調變得唾手可得。

2019–2020

ALBERT（輕量化 BERT）、ELECTRA（超越 BERT）、MacBERT（中文優化版），以及 RoBERTa、XLNet。BERT 微調成為 NLP 工程的標配。

2021–2022

GPT-3 展示 few-shot 能力，Instruction Tuning 概念確立。LLM 開始展現通用 NLP 的潛力，但 API 費用極高、部署困難。

2023–2024

ChatGPT 引爆 LLM 浪潮，RAG 架構讓 LLM 接入企業知識庫。開源 LLaMA/Qwen/Gemma 系列讓私有化部署可行。傳統 NLP 應用迅速被 LLM 挑戰。

2025–2026

雙軌並行時代：高頻、固定任務仍用 BERT 族；創意、推理、多步任務用 LLM。Embedding 模型（BGE、E5、nomic-embed）成為 RAG 的核心橋樑，兼具兩者優點。

中文 NLP 特殊挑戰

⚠️ 公開資料集的台灣適用性問題：幾乎所有中文公開數據集（CMRC、AISHELL、ChineseNLPCorpus）都是中國大陸用語與簡體中文。台灣場景需要自行標注繁體中文與在地用語，這是投入時間最多、最容易被低估的成本項目。

⚠️ 斷詞的永恆之痛：中文沒有空格分隔單詞，Jieba（繁中版）是最常用但仍不完美的選擇。pkuseg 稍弱一點；CKIP（中研院）是台灣最佳選擇，但整合門檻較高。新詞、專有名詞（品牌名、藥名）是重災區。

✅ 核心建議：「算法模型效果其實都差不多，如果你想將算法落地，請好好處理數據，這是最關鍵的地方。」——不管選傳統算法還是 LLM，數據品質永遠是瓶頸。

各任務選型快速建議

任務	場景描述	優先選擇	備用方案
📂 文本分類	固定 N 類、批量、即時	BERT 微調 F1 83–92%，CPU 0.1s	新類別快速驗證用 LLM few-shot
🏷️ NER	固定實體類型（人名/地名/時間）	BERT+CRF / UIE	新領域實體（醫療/法律）→ LLM+prompt
🔗 文本相似度	Q&A 比對、知識庫檢索	Sentence-BERT / BGE Embedding	語意理解（反諷/隱語）→ LLM reranker
📖 MRC	固定文件庫問答（FAQ/知識庫）	BERT + RAG 混合	開放域、多步推理 → LLM (GPT/Gemini)
✍️ 糾錯	ASR 同音字錯誤（即時修正）	MacBERT / pycorrector	語法/語意錯誤（長文修改）→ LLM

📝

查看完整論文解析與選型指南

包含 Transformer / BERT / LLM 完整技術脈絡、GitHub 論文列表與 HuggingFace 模型資源。

完整版 NLP 資源 → GitHub ⭐

返回 AI 總覽文本分類 NER 相似度 MRC 糾錯