我把DeepSeek裝進(jìn)了電腦里：生成能力一般，但確實(shí)很好玩

　　這個(gè)春節(jié)假期，要說“紅得發(fā)紫”的科技產(chǎn)品，DeepSeek應(yīng)該當(dāng)之無愧。

　　甚至平時(shí)對(duì)科技新聞毫不在意的長輩們，也走過來問小雷有沒有聽說過DeepSeek。在我的印象中，上一次AI大模型如此深入人心的，還是OpenAI的ChatGPT。

　　大紅大紫的背后，是DeepSeek遭受連續(xù)且高強(qiáng)度的網(wǎng)絡(luò)攻擊，大部分時(shí)候官網(wǎng)都沒辦法正常生成內(nèi)容，即便關(guān)閉聯(lián)網(wǎng)搜索，具備深度推理能力的DeepSeek-R1在線模型還是無法正常使用。好在，在華為等眾多科技公司的支持下，第三方平臺(tái)紛紛接入DeepSeek的API，讓穩(wěn)定在線使用成為了可能。

　　不過這些渠道本質(zhì)上還是線上訪問，春節(jié)期間休息的小雷，還想玩一把更大的，比如把DeepSeek大模型部署到本地。

　　于是，在春節(jié)期間，小雷動(dòng)起手來實(shí)踐了一下。

　　下載慢還得敲代碼，打造“AI電腦”不容易

　　事實(shí)上，無論是不是DeepSeek，想要在自己電腦部署一個(gè)本地大模型，執(zhí)行的步驟并不多，難點(diǎn)在于尋找到對(duì)應(yīng)的資源和命令。但需要注意的一點(diǎn)是，本地大模型雖說是已經(jīng)訓(xùn)練好的成品，但也需要有一定的硬件基礎(chǔ)，體驗(yàn)才算得上好。

　　(圖片來自O(shè)llama)

　　首先，我們可以到Ollama官網(wǎng)下載一個(gè)桌面端應(yīng)用，這個(gè)應(yīng)用相當(dāng)于一個(gè)承載本地大模型的“盒子”，除了DeepSeek之外，你可以在Ollama官網(wǎng)的模型庫中找到許多開源大模型。

　　Ollama桌面端并不提供任何控制界面，想要將大模型下載到本地，需要在Ollama官網(wǎng)的模型庫當(dāng)中找到對(duì)應(yīng)模型的代碼，復(fù)制到PowerShell(Win+R輸入PowerShell回車打開)當(dāng)中，就可以執(zhí)行模型數(shù)據(jù)的拉取和安裝。

　　(圖片來自雷科技)

　　小雷選的是DeepSeek-R1模型當(dāng)中的7b版本，也就是帶有70億參數(shù)的DeepSeek-R1模型，占用4.7GB。本地大模型參數(shù)量越大自然是越好，可以提供更精準(zhǔn)的語言理解和更高質(zhì)量的文本生成能力，具備更強(qiáng)的邏輯推理和學(xué)習(xí)能力，同時(shí)知識(shí)儲(chǔ)備和泛化能力。但本地大模型依賴電腦計(jì)算能力，每個(gè)人對(duì)大模型的需求不同，不應(yīng)該“硬來”。

　　一般來說，運(yùn)行1.5B參數(shù)的模型最低需要4GB顯存的GPU以及16GB的內(nèi)存，如果達(dá)不到要求，則會(huì)強(qiáng)行使用CPU進(jìn)行計(jì)算，硬件負(fù)擔(dān)更大，且推理的時(shí)間會(huì)更長。而滿血版的DeepSeek-R1參數(shù)量為671b，體積達(dá)到404GB，需要更高規(guī)格的計(jì)算硬件才能負(fù)擔(dān)得起，對(duì)于個(gè)人部署需求，小雷建議1.5b-8b參數(shù)最為適合。

　　(圖片來自雷科技)

　　模型數(shù)據(jù)拉取完畢，系統(tǒng)則會(huì)自動(dòng)執(zhí)行安裝，完成之后就可以直接在PowerShell窗口當(dāng)中直接調(diào)取剛下載的DeepSeek-R1模型，輸入框填寫問題發(fā)送，本地大模型就會(huì)推理并生成。

　　到這里，DeepSeek-R1本地大模型的部署就完成了，理論上大家也可以根據(jù)這樣的方法去部署其它大模型上電腦。

　　但每次開啟電腦都要打開PowerShell界面才能激活大模型，對(duì)于普通用戶而言并不方便，這個(gè)時(shí)候我們需要給DeepSeek-R1安裝一套更直觀的交互界面。小雷選擇了在Docker應(yīng)用(圖標(biāo)是一個(gè)藍(lán)色海豚)上添加一個(gè)Open-WebUI組件，讓DeepSeek-R1可以通過瀏覽器界面交互，并賦予它聯(lián)系上下文的能力。

　　具體來看，需要先下載Docker桌面端，按照默認(rèn)的引導(dǎo)完成安裝之后(可跳過賬號(hào)注冊(cè)等步驟)，再次打開PowerShell界面復(fù)制并執(zhí)行以下這條指令，小雷幫大家省下去Github查找的時(shí)間了：

　　docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

　　如果是使用NVIDIA GPU的小伙伴，則需要使用以下這條指令：

　　docker run -d -p 3000:8080 --gpus all --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:cuda

　　拉取大模型文件和Open WebUI組件需要一個(gè)比較漫長的過程，尤其是網(wǎng)絡(luò)不太理想(或者沒有科學(xué)上網(wǎng))的環(huán)境，下載器會(huì)不斷重試/切換線路，出現(xiàn)下載進(jìn)度丟失的問題。

　　安裝完成之后，Docker應(yīng)用中就會(huì)出現(xiàn)一個(gè)Open-WebUI的相關(guān)組件，把它勾選啟動(dòng)，再點(diǎn)擊“3000:8080”字樣的鏈接，系統(tǒng)就會(huì)跳轉(zhuǎn)到網(wǎng)頁。

　　(圖片來自雷科技)

　　這個(gè)時(shí)候，你就獲得了一臺(tái)帶有AI本地大模型的真正的“AI電腦”了。

　　小雷體驗(yàn)了整個(gè)部署過程，步驟并不算復(fù)雜，系統(tǒng)的數(shù)據(jù)拉取和安裝都是自動(dòng)化的，主要還是在搜索命令行和安裝資源，以及拉取和安裝組件時(shí)花了比較多的時(shí)間，Ollama和Docker都可以通過百度搜索到，小雷也在上面提供了對(duì)應(yīng)的跳轉(zhuǎn)鏈接，動(dòng)手能力且有興趣的各位可以嘗試嘗試。

　　當(dāng)然了，本地部署大模型的方法并不只有這一個(gè)，像華為剛推出的ModelEngine等，具備一站式訓(xùn)練優(yōu)化和一鍵部署的能力，應(yīng)該是面向企業(yè)端的開發(fā)工具。

　　離線使用是好事，但生成能力不如云端版

　　國內(nèi)的AI大模型應(yīng)用選擇很多，而且網(wǎng)頁端服務(wù)很齊全，那么本地部署的意義在哪里?

　　前面鋪墊了這么多工作準(zhǔn)備本地大模型，關(guān)鍵有兩點(diǎn)：第一，本地大模型的所有模型數(shù)據(jù)和對(duì)話記錄都是完全離線，存儲(chǔ)在本地，本地推理響應(yīng)時(shí)間更快，也避免了敏感內(nèi)容泄露。同時(shí)在飛機(jī)等無網(wǎng)環(huán)境之下，也可以正常使用大模型;第二，本地部署支持各種開源模型，個(gè)人用戶可以靈活擴(kuò)展和切換，也可以根據(jù)自身需求進(jìn)行優(yōu)化和工具集成，總之操作空間會(huì)比線上大模型更多。

　　不過小雷部署的時(shí)間還不長，許多功能還沒摸清楚，這次就簡單討論一下本地大模型的體驗(yàn)如何。

　　小雷安裝DeepSeek-R1 7b模型的電腦是機(jī)械革命無界14X，輕薄本定位，運(yùn)行內(nèi)存為24GB，并沒有配備獨(dú)立顯卡這種硬件，不在本地部署大模型的推薦配置范圍內(nèi)，算是一個(gè)“反面教材”。換句話說，DeepSeek-R1 7b模型在這款電腦上，需要更多的推理時(shí)間和資源占用才能夠正常生成內(nèi)容。

　　(圖片來自雷科技)

　　像“飯后脹氣”等問題的討論和答案，大模型需要思考30秒-1分鐘才到答案生成階段，期間電腦的負(fù)載會(huì)達(dá)到高峰，CPU和內(nèi)存幾乎被占滿，可以想象沒有獨(dú)立顯卡的電腦帶動(dòng)本地大模型會(huì)比較吃力，小雷認(rèn)為給出的答案的確有一定的正向參考的作用。

　　(圖片來自雷科技)

　　相比于答案，小雷更感興趣的還是DeepSeek擬人化的思考過程，很少有AI助手把思考的過程做到如此擬人化，不管生成的答案是否準(zhǔn)確，它的擬人化推理過程似乎也能激起許多普通用戶的興趣。

　　如果把同樣的問題放在網(wǎng)頁端的DeepSeek大模型，并啟用R1深度思考，直接生成了一個(gè)“服務(wù)器繁忙”的回饋，密集的訪問的確給DeepSeek造成了不少困擾，這個(gè)時(shí)候想要正常地和它交談，本地部署能力不一定很強(qiáng)，至少能夠訪問得到。

　　(圖片來自DeepSeek)

　　再換一個(gè)問題，小雷用了一道經(jīng)典的概率題目向本地DeepSeek-R1 7b發(fā)起提問。網(wǎng)頁端DeepSeek-R1持續(xù)繁忙中，本地DeepSeek可能也有一些手足無措，列舉了多種情況后又自行駁回，最后還混入了之前提問的“飯后脹氣”的內(nèi)容，畫面顯得相當(dāng)滑稽。

　　(圖片來自雷科技)

　　本地DeepSeek在連續(xù)輸出十多分鐘后也沒有提供答案，考慮到時(shí)間有限，小雷還是停止了生成。

　　只能說數(shù)學(xué)題目對(duì)于70億參數(shù)的DeepSeek-R1 7b還是過于復(fù)雜，在線大模型都不一定能夠輸出準(zhǔn)確答案，本地就更成問題了，同時(shí)高參數(shù)的本地大模型推理的過程中，電腦的負(fù)載壓力也會(huì)拉滿。

　　從開源的角度去分析，本地大模型的擴(kuò)張性和可玩性會(huì)比傳統(tǒng)的線上大模型更好玩。但本地大模型的部署大家也很清楚，操作起來并不是很容易，想要挖掘更多玩法，還是要靠動(dòng)手能力強(qiáng)的用戶。

　　本地部署DeepSeek，只是圖個(gè)新鮮好玩?

　　那么，本地大模型值得人手一個(gè)嗎?小雷的答案是否定的。

　　就現(xiàn)階段的生成能力來說，本地大模型很難跟線上大模型媲美，參數(shù)規(guī)模和計(jì)算能力擺在那，肯定沒法跟正規(guī)大模型公司背后的算力集群對(duì)比。本地大模型適合動(dòng)手能力強(qiáng)的電腦用戶折騰，深度發(fā)掘的確能帶來一些功能上的便利，畢竟本地大模型在系統(tǒng)底層中運(yùn)行，能夠更好地與硬件結(jié)合。

　　但作為普通用戶，部署本身也算不上是一件多容易的事情，大模型的周邊配套并沒有想象中成熟，Ollama官網(wǎng)全是英文，Docker應(yīng)用也不提供中文支持，本身在部署上就有較高的門檻。小雷部署一個(gè)本地DeepSeek大模型，只是圖個(gè)新鮮，平均生成用時(shí)20秒起步，除了可以離線隨處用，普通的生成需求，體驗(yàn)還是不如在線大模型。

　　像讀取文件分析、聯(lián)網(wǎng)收集數(shù)據(jù)分析這些能力，還需要用戶自己來折騰，小雷目前部署的DeepSeek還只是個(gè)開始。另外如果你有一天不用了想要?jiǎng)h掉大模型數(shù)據(jù)，還需要學(xué)習(xí)步驟來清除，否則它就會(huì)一直占用系統(tǒng)盤的存儲(chǔ)空間。

　　在小雷看來，DeepSeek走開源道路，最主要的原因還是為了打響市場影響力，先行占據(jù)市場地位，吸引行業(yè)圍繞它來建立完善的服務(wù)體系。拋開Ollama這些不說，國內(nèi)眾多大模型平臺(tái)率先接入DeepSeek的API，就是開源帶來的直接結(jié)果。

　　可以想象，攜帶超高熱度的DeepSeek完成各行業(yè)的應(yīng)用和滲透，個(gè)人本地部署的需求也會(huì)變得遠(yuǎn)比現(xiàn)在簡單，調(diào)起PowerShell界面、敲代碼這些事情甚至都不需要用戶來做。

　　至于DeepSeek會(huì)發(fā)展成什么樣，小雷還無法預(yù)測，被行業(yè)高度關(guān)注利大于弊，不穩(wěn)定的服務(wù)只是短痛，能夠提高市場占比走到普通用戶身邊，滲透到各個(gè)設(shè)備，到那個(gè)時(shí)候，本地部署這件事情或許本身就沒有必要了。