前言
DeepSeek 是中國深度求索(DeepSeek)公司開發的 AI 模型。其中 DeepSeek-R1 是開源模型,官方表示 性能表現與 OpenAI o1 相當。
DeepSeek 官方網站:https://www.deepseek.com/
DeepSeek-R1 GitHub:https://github.com/deepseek-ai/DeepSeek-R1
本文教學如何離線使用開源的 DeepSeek-R1 模型。
安裝 Ollama
Ollama 可以在本地端(Windows、macOS、Linux)運行語言模型,包括 Llama 3.3、DeepSeek-R1、Phi-4 等其他模型。本次示範 Windows 版本,其餘作業系統操作邏輯大同小異。
Ollama 網站:https://ollama.com/
Ollama GitHub:https://github.com/ollama/ollama
進入官網後,點選「Downloads」,選擇對應的操作系統安裝。
Ollama 安裝完成後它會自動啟動,可以在常駐列看到。瀏覽器網址輸入:127.0.0.1:11434
,可以看到「Ollama is running」訊息。
如果不使用 Ollama,常駐列右鍵圖示選擇「Quit Ollama」即可。
下載 DeepSeek 模型
預設 Ollama 沒有安裝任何模型,本文示範安裝 DeepSeek-R1 模型。
找到 Ollama 安裝位置,通常在 [使用者]\AppData\Local\Programs\Ollama
底下,接著我們用 cmd.exe
進入 Ollama 目錄,再輸入 ollama.exe
,會看到 Ollama 指令說明。
> cd C:\Users\Peel\AppData\Local\Programs\Ollama
> ollama.exe
Usage:
ollama [flags]
ollama [command]
Available Commands:
serve Start ollama
create Create a model from a Modelfile
show Show information for a model
run Run a model
stop Stop a running model
pull Pull a model from a registry
push Push a model to a registry
list List models
ps List running models
cp Copy a model
rm Remove a model
help Help about any command
Flags:
-h, --help help for ollama
-v, --version Show version information
Use "ollama [command] --help" for more information about a command.
Ollama 官網有 DeepSeek 模型介紹頁:https://ollama.com/library/deepseek-r1。
選擇適合的訓練參數,右邊的指令下載 LLM 模型,本文示範使用 deepsekk-r1:8b
,輸入 ollama run deepseek-r1:8b
,下載 DeepSeek-R1 8b 模型。
> ollama run deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0... 100% ▕████████████████████████████████████████████████████████▏ 4.9 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏ 148 B
pulling 0cb05c6e4e02... 100% ▕████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)
模型下載成功後,可以直接在下方輸入文字內容與 DeepSeek 對話。
>>> 你好
<think>
</think>
你好!很高兴见到你,有什么我可以帮忙的吗?
>>> 請問你是什麼模型
<think>
嗯,你好呀!我是由中国的深度求索(DeepSeek)公司独立开发的智能助手DeepSeek-R1-Lite-Preview,很高兴为您提供服务!
</think>
嗯,你好呀!我是由中国的深度求索(DeepSeek)公司独立开发的智能助手DeepSeek-R1-Lite-Preview,很高兴为您提供服务!
>>> Send a message (/? For help)
使用 Open WebUI 介面
雖然我們成功和 DeekSeek 對話,但這種對話方式不好用,我們可以使用類似與 Chat-GPT 對話的介面來更方便對話。
透過 Open WebUI 可以實現類似 Chat-GPT 介面,它是開源的項目。
Open WebUI 官方網站:https://openwebui.com
Opeb WebUI GitHub:https://github.com/open-webui/open-webui
可以使用 Docker 或是 uv(Python 套件管理工具)安裝,更多詳細可以參考 官方 Docs,本文示範 uv
安裝。
使用 Powershell 輸入以下指令:
powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"
設定環境變數和下載所需要的檔案:
$env:DATA_DIR="C:\open-webui\data"; uvx --python 3.11 open-webui@latest serve
中間如果跳出存取應用程式請按「允許」。
一切就緒如下,瀏覽器輸入 127.0.0.1:8080
,就可以使用 Open WebUI。
⠦ Preparing packages... (127/299)
INFO: Started server process [16896]
INFO: Waiting for application startup.
INFO: Application startup complete.
INFO: Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)
點選「開始使用」建立管理者帳號。
登入熟悉的介面,此時會看到先前已經安裝 DeepSeek 模型(須確保 Ollama 已運行)。可用往常方式與 LLM 對話,DeepSeek 支援上傳檔案。
以上是 DeepSeek-R1 搭配 Ollama 與 Open WebUI 的使用教學,其餘模型也可以透過此方式使用。
另外 Open WebUI 支援 OpenAI API 串接,詳情參考部落格文章「使用 OpenAI API 與 GPT 對話」。