前言

DeepSeek 是中國深度求索(DeepSeek)公司開發的 AI 模型。其中 DeepSeek-R1 是開源模型,官方表示 性能表現與 OpenAI o1 相當。

DeepSeek 官方網站:https://www.deepseek.com/

DeepSeek-R1 GitHub:https://github.com/deepseek-ai/DeepSeek-R1

本文教學如何離線使用開源的 DeepSeek-R1 模型。

DeepSeek-R1

安裝 Ollama

Ollama 可以在本地端(Windows、macOS、Linux)運行語言模型,包括 Llama 3.3、DeepSeek-R1、Phi-4 等其他模型。本次示範 Windows 版本,其餘作業系統操作邏輯大同小異。

Ollama 網站:https://ollama.com/

Ollama GitHub:https://github.com/ollama/ollama

進入官網後,點選「Downloads」,選擇對應的操作系統安裝。

Download_Ollama

Ollama 安裝完成後它會自動啟動,可以在常駐列看到。瀏覽器網址輸入:127.0.0.1:11434,可以看到「Ollama is running」訊息。

Ollama_Tray

如果不使用 Ollama,常駐列右鍵圖示選擇「Quit Ollama」即可。

下載 DeepSeek 模型

預設 Ollama 沒有安裝任何模型,本文示範安裝 DeepSeek-R1 模型。

找到 Ollama 安裝位置,通常在 [使用者]\AppData\Local\Programs\Ollama 底下,接著我們用 cmd.exe 進入 Ollama 目錄,再輸入 ollama.exe,會看到 Ollama 指令說明。

> cd C:\Users\Peel\AppData\Local\Programs\Ollama
> ollama.exe
Usage:
  ollama [flags]
  ollama [command]

Available Commands:
  serve       Start ollama
  create      Create a model from a Modelfile
  show        Show information for a model
  run         Run a model
  stop        Stop a running model
  pull        Pull a model from a registry
  push        Push a model to a registry
  list        List models
  ps          List running models
  cp          Copy a model
  rm          Remove a model
  help        Help about any command

Flags:
  -h, --help      help for ollama
  -v, --version   Show version information

Use "ollama [command] --help" for more information about a command.

Ollama 官網有 DeepSeek 模型介紹頁:https://ollama.com/library/deepseek-r1

Download_DeepSeek

選擇適合的訓練參數,右邊的指令下載 LLM 模型,本文示範使用 deepsekk-r1:8b,輸入 ollama run deepseek-r1:8b,下載 DeepSeek-R1 8b 模型。

> ollama run deepseek-r1:8b
pulling manifest
pulling 6340dc3229b0... 100% ▕████████████████████████████████████████████████████████▏ 4.9 GB
pulling 369ca498f347... 100% ▕████████████████████████████████████████████████████████▏ 387 B
pulling 6e4c38e1172f... 100% ▕████████████████████████████████████████████████████████▏ 1.1 KB
pulling f4d24e9138dd... 100% ▕████████████████████████████████████████████████████████▏ 148 B
pulling 0cb05c6e4e02... 100% ▕████████████████████████████████████████████████████████▏ 487 B
verifying sha256 digest
writing manifest
success
>>> Send a message (/? for help)

模型下載成功後,可以直接在下方輸入文字內容與 DeepSeek 對話。

>>> 你好
<think>
</think>
你好很高兴见到你有什么我可以帮忙的吗
>>> 請問你是什麼模型
<think>
你好呀我是由中国的深度求索DeepSeek公司独立开发的智能助手DeepSeek-R1-Lite-Preview很高兴为您提供服务
</think>
你好呀我是由中国的深度求索DeepSeek公司独立开发的智能助手DeepSeek-R1-Lite-Preview很高兴为您提供服务
>>> Send a message (/? For help)

使用 Open WebUI 介面

雖然我們成功和 DeekSeek 對話,但這種對話方式不好用,我們可以使用類似與 Chat-GPT 對話的介面來更方便對話。

透過 Open WebUI 可以實現類似 Chat-GPT 介面,它是開源的項目。

Open WebUI 官方網站:https://openwebui.com

Opeb WebUI GitHub:https://github.com/open-webui/open-webui

可以使用 Docker 或是 uv(Python 套件管理工具)安裝,更多詳細可以參考 官方 Docs,本文示範 uv 安裝。

使用 Powershell 輸入以下指令:

powershell -ExecutionPolicy ByPass -c "irm https://astral.sh/uv/install.ps1 | iex"

設定環境變數和下載所需要的檔案:

$env:DATA_DIR="C:\open-webui\data"; uvx --python 3.11 open-webui@latest serve

中間如果跳出存取應用程式請按「允許」。

WebUI_Firewall

一切就緒如下,瀏覽器輸入 127.0.0.1:8080,就可以使用 Open WebUI。

 Preparing packages... (127/299)
INFO:     Started server process [16896]
INFO:     Waiting for application startup.
INFO:     Application startup complete.
INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)

Open_WebUI

點選「開始使用」建立管理者帳號。

Create_Account

登入熟悉的介面,此時會看到先前已經安裝 DeepSeek 模型(須確保 Ollama 已運行)。可用往常方式與 LLM 對話,DeepSeek 支援上傳檔案。

DeepSeek-R1

以上是 DeepSeek-R1 搭配 Ollama 與 Open WebUI 的使用教學,其餘模型也可以透過此方式使用。

另外 Open WebUI 支援 OpenAI API 串接,詳情參考部落格文章「使用 OpenAI API 與 GPT 對話」。

參考資料

Ollama Docs

Open WebUI Docs