Ollama跑本機LLM AI

Ollama是一個讓個人電腦也能在本機跑大型語言模型的自由開源軟體，整合llama.cpp量化模型技術降低本機執行LLM的性能需求。

（1）下載Ollama安裝

Windows和MacOS版有很簡單直覺的圖形界面，這裡主要講Linux下載：

curl -fsSL https://ollama.com/install.sh | sh

（2）安裝LLM並執行

從Ollama官網找一個模型下載和執行，以gpt-oss 20b為例。

ollama run gpt-oss

根據我的實際測試，gpt-oss 20b在Linux電腦最低性能需求為Intel i5 12代+16G RAM，建議有個獨立顯示卡增加流暢度，Windows或MacOS則需要更高規格。

一些Ollama常用指令

列出已安裝模型

ollama list

移除模型

ollama rm (模型名稱)

儲存LLM輸出文字結果

/save session1

Loading 已儲存的LLM文字

/load session1

登入和登出Ollama帳號

ollama signin
ollama signout

停止一個正在跑的模型

ollama stop gemma3

推薦的輕量化模型列表

（1）gemma3n：2025 Google公開此模型，其中e2b版本性能需求降低到2020~2025 intel Core i5文書筆電都能順利本機執行的程度。

（2）llama3.1 8b：2024 Meta更新版本，性能需求和gemma3n相差不大。

（3）phi4-mini：微軟釋出的輕量模型，在4B參數以下的LLM中性能出色。

（4）mistral 7b：由法國Mistral AI公開的模型，在Apache自由開源許可證下。

另外Ollama也能下載到解除限制的uncensored模型可供測試。