手把手教你本地部署deepseek大模型 - 果核剥壳

文章来自于果核剥壳公众号首发：https://mp.weixin.qq.com/s/W_i_fJ82114G-ilHn_lDGQ

要说这段时间，科技圈什么最火，那肯定是deepseek大模型了。

新出的DeepSeek R1模型，其中思维能力，已经超过了Chatgpt O1的思考模型。

果核作为资深的AI爱好者，在DeepSeek出来的时候，就已经体验了他们家的模型，当时还是在用DeepSeek的Code模型，用起来还是挺不错的。

后面在Chatgpt出来O1以后，果核就开了高级套餐，每个月额度都不够用。

自从DeepSeek R1出来以后，基本上给替代了。经过对比，DeepSeek是能够满足日常使用的，并且还说免费，你说香不香

可能是全球爆火，用的人太多了，并且也经常被攻击，所以DeepSeek经常出现用不了的情况。

好在官方知道这个情况，所以直接王炸开源，把模型丢给你，让咱们自己来玩

那么既然这样，今天的教程，果核就手把手教大家，如何本地部署大模型，实现大模型自由。

本教程直接使用最简单的方案，图形化程序一步一步的教大家完成。所有的资源，都在末尾下载地址给打包了。

1、可视化程序安装

目前针对大模型，有很多的程序可以直接使用。本教程使用比较简单的程序，LM Studio来做演示。

LM Studio是一款通用的模型调用工具，集成了环境，只要一个软件，就能直接使用开源模型的文件。

下载安装很简单，并且果核上还有windows绿色版本，可以根据自己的环境来选择。

下载以后，第一次打开是英文的。先点击右上角的跳过介绍。

然后，点击右下角的设置图标。

在语言里面，找到简体中文即可将程序切换成中文。

软件是一个空壳的，没有任何模型，需要我们自己下载模型。

软件的发现里面有模型选择，但是需要代理的，速度非常慢。果核会给大家提供网盘和其他的下载地址。

2、模型选择

虽然说都叫R1模型，但是模型也分成很多个版本。根据自己的电脑显卡配置选择。

其中，1.5B的模型，体积只有1.8G，基本上所有电脑都可以跑。可以先下载来体验一下。

下载好以后，选择一个空间比较大的目录，例如D盘根目录，创建一个文件夹，不要有空格和中文。你可以像果核这样，在D盘创建一个ai的文件夹，并且在ai目录下，创建一个名为module的目录。

然后，把下载的模型文件，按照名称命名，1.5B的这个目录下，果核就放的是模型“DeepSeek-R1-Distill-Qwen-1.5B-Q8_0.gguf”

接下来，点击侧边的文件夹，然后更改一下模型目录。这个时候，就选择根目录，D:\ai。

至于为什么要这么做，软件是只能识别2级目录，也就是说，你选择的模型目录，模型文件要有2级目录，否则软件不能正常识别。

设置好以后，就能在软件里面，看到模型了

接下来，在聊天的页面，选择要用的模型即可。

可以根据需要，配置一些模型参数，也可以直接点击加载模型

至此，加载成功后，模型就能正常的使用了。

阿里做了一个模型站，上面有各种各样的模型可以下载。大家可以根据自己的喜好，来选择模型。

最后，再附上所有资料下载地址

https://pan.quark.cn/s/07d2fe54607e

最后的最后，再B几句，本地部署的大模型，只能将就用用，问一些常见的问题，如果不是怕泄露隐私，还是建议使用在线的版本。因为我们本地是跑不了在线版本的大模型的，光显存就可能要几个T，一般家庭是玩不转的，所以就没那么聪明。

但是，话又说回来，一些小模型，用在开发上倒是非常舒服的，让模型做个选择，匹配个正则着一些的工作，很轻松就能胜任。再或者，搭建本地知识库，用本地小模型，也可以完成。所以，就看自己的选择了。