投稿

DeepSeek R1 推理模型完全本地部署保姆级教程断网运行无惧隐私威胁大语言模型推理时调参 CPU GPU 混合推理 32B 轻松本地部署

第306期每周必看

220.0万

1280

2025-01-27 14:33:33

未经作者授权，禁止转载

正在缓冲...

DeepSeek R1 推理模型的蒸馏模型通过LM Studio完全断网地本地部署，并使用Windows防火墙禁用入站出站规则，完全禁用网络，本地运行。使用Huggingface和LM Studio下载更多模型和Q4 Q8量化精度，使用LM Studio进行CPU GPU混合推理，让你的笔记本轻松支持32B 大模型！跟着我的教程做，再模型推理调参提高性能，帮助你探索、科研。【新视频来了】原始教程视频: https://www.bilibili.com/video/BV1NGf2YtE8r/ (LM Studio的下载/完全禁用防火墙实现超级隐私) 答疑视频1: https://www.bilibili.com/video/BV1atfQYQE9P/ (一键包的安装和使用/镜像站下载模型/参数调整) 答疑视频2: https://www.bilibili.com/video/BV1H2FWefEVq/ (疑问解答/模型选择/4GB显存实测32B Q4模型数学题) 性能调优: https://www.bilibili.com/video/BV1qoFGepEhL/ (QB的权衡取舍/上下文长度/GPU Offload/CPU 线程数/KMM/KV Cache/以及实测正确调优的提升) 本系列完结~ 全新3.9版本+模型全掌握: https://www.bilibili.com/video/BV1cjNPe7E31/ 【一键包】很多人说国内上不了huggingface，我临时制作了一个一键包。链接如下，使用方法见txt。装好一键包后可以选装其他模型，参考底下的可选装模型链接。此外还需要跟着视频调整防火墙。 √ 我将资源分享成了一个notion共享文档，大家可以在共享文档中找到最新的资源(网盘) √ truthful-busby-322点notion点site斜杠NathMath-LLM-18e45165050a80408586c3f2bf93ce68 √ 请将上述 "点"修改为"."，"斜杠"修改为"/" 后访问虽然不用私信回复了但还是求个关注 ❓ notion打不开的同学还是可以私信"一键包"获取的~ UP设有自动回复~ 【重要问题】使用Huggingface可能需要梯|子如果没有的话可能需要大家手动从镜像站下载模型，然后复制到LM Studio的模型文件夹里，支持任何模型包括并不限于DeepSeek的模型，大家可以搜索hf-mirror自行下载。【后续】我这两天还会根据我这边朋友的反馈和B站网友的反馈更新新的视频，如果有无法安装的朋友首先请尝试一键包，此外可以等待我之后的视频。【模型选择】没有GPU：1.5B Q8推理或者 8B Q4推理 4G GPU：8B Q4推理 8G GPU：32B Q4推理或者 8B Q4推理 16G GPU：32B Q4推理或者 32B Q8推理 24G GPU: 32B Q8推理或者 70B Q2推理 Qwen底模除了1.5B其他不建议，真的太辣跨；Llama底模推荐。【可供大家测试的数学题】 1117117是否是素数？（是） 2024^2025和2025^2024哪个大？（前者） sin(x) + xcos(x)在(-pi, pi)中有几个零点？（三个）请手动计算并给出前5个梅森素数（自己WIKI）定义W(t)是标准布朗运动，求f(x)使得W(t)^2 + f(t)是一个鞅。(f(t) = -t) 【感谢大家的支持】 DeepSeek R1模型本身到此结束。但是我们的LLM本地部署系列才刚刚开始。大家学会了本地部署模型，那么，对某一特定任务(例如编程/小说)，选择什么样的模型好？无限模型？选对了模型，我们应当怎么使用呢？Prompt工程之后敬上~ 让你的AI听你的话，干你的活。干活当然是处理PDF, TXT, 没错，怎么让AI服服帖帖帮你“读书”？当然是推理时指引不满足窗口调用，想用API？我们可以调取API将大语言模型与其他AI结合在一起，例如创建文本生成-TTS工作流，让AI用甜美的声音说出来不满足于公有模型？可以用大家或者公司私有的数据进行微调，让你的AI长久地熟悉你所在的领域。 ... 保姆级教程。旅程刚刚开始，祝大家AI旅程愉快。