標籤
大型語言模型
9 篇文章
產業動態/6月28日
Meta 用 AI 取代審核員，省錢先上
Meta 正把內容審核交給大型語言模型，部分類別的人工作業可能砍掉 90% 以上。這篇整理它怎麼省錢、風險在哪裡，以及和其他平台的差異。
產業動態/6月22日
llama.cpp vs vLLM：本機模型引擎怎麼選
這篇比較 llama.cpp 和 vLLM，幫你判斷是要用 CPU 友善、適合單人本機推理的方案，還是適合多使用者、高併發服務的 GPU 推理引擎。
產業動態/6月5日
PEFT vs 全量微調
PEFT 適合多數大型語言模型微調情境，全量微調則適合需要深度改動模型行為的少數案例。
工具應用/6月4日
Modulate 用 AWS 把語音聊天做成訊號
我拆 Modulate 的 AWS 架構，整理成台灣開發者可直接抄的語音分析管線、排隊策略與模板。
產業動態/6月3日
7 個 MiniMax 模型選擇
7 個 MiniMax 模型一次看懂，從代理式應用、語音到影像與影片，快速判斷哪一款最適合你的產品。
工具應用/5月31日
LoRA 讓 LLM 微調更實用
LoRA 只訓練小型 adapter，就能微調 LLM，省下 VRAM、時間與成本，讓中小團隊也能玩得起。
技術研究/5月21日
大型語言模型是什麼，怎麼運作
大型語言模型把海量文字學成可預測 Token 的系統，能寫作、摘要、翻譯，也會胡說八道。
產業動態/5月11日
為什麼企業 AI 應該先用小型語言模型，而不是 LLM 優先
企業 AI 的預設架構應該是小型語言模型，而不是大型 LLM，因為多數工作更便宜、更快，也更容易控管風險。
技術研究/4月3日
Claude Opus 4.5 和 GPT 到底多大
GPT-4 常被估到 1.6 兆參數，但 GPT-4o 可能只有 200B 到 300B。Claude Opus 4.5 的真實大小沒公開，重點其實是成本、延遲和效能比。