发现辩驳区好多一又友的使用场景对秘要性要求很高伪娘 拳交，但愿能全链路（包括大模子）腹地部署，通盘RAG过程完全在内网，这么才略保证数据安全。
图片伪娘 拳交
图片
图片
图片
天然腹地学问库 大模子API 也还算安全，但由于RAG的经过是阐发问题检索关系实验当作险峻文，连同问题一齐发送给大模子。是以通过API辛苦调用大模子，表面上如实是存在数据露出风险的。
我为什么一直没出：腹地学问库 腹地大模子的著作呢？
主如充饥地部署大模子，并取得大模子API较为繁琐，对小白很不友好。况兼还需要科学上网，不然模子下载速率巨慢。
关联词这两天不测中发现了一个国产开源器用--AingDesk
它天然是最近刚开源的一个名堂，现在Star只好635，但如实有不少惊艳到我的方位（况兼完万能餍足大家的需求）。
Github地址：https://github.com/aingdesk/AingDesk
CNB地址：https://cnb.cool/aingdesk/AingDesk
图片
优点主要有：
1.开源，免费，无领域；
2.无需独特装配ollama，复古腹地模子一键装配（就点一下，等着下载好就ok了），况兼不需要科学上网，下载速率马上~
3.复古联网、学问库的文献上传复古险些悉数步地，莫得复杂的成就，然而学问库检索相配准确；
4.器用复古windows、mac一键装配，同期也复古docker部署；
5.搭建好的智能体还可以一键共享给家东说念主、一又友、共事使用。
好了，不啰嗦了，咱们胜利开整！
AingDesk搭建秘要学问库接下来咱们将在腹地搭建一个完全秘要的学问库
学问库、言语模子、索引模子彻底用腹地的，此次是果真不联网也完全可以用了，再也不必牵记数据露出~
友情教导：本期器用不必docker部署，下载后一键装配。
最初胜利去官网下载aingdesk：https://www.aingdesk.com/zh/
图片
如下图，成就要求可以说相配低了。
图片
选拔合适的平台进行下载。
图片
接下来等于傻瓜式装配
图片
装配好之后双击掀开
点击左下角【腹地模子】，有300个模子供你挑选，包含带视觉功能的模子，索引模子，复古器用调用的模子。看中哪款，点击装配就行。
图片
以至可以一键装配满血版的DeepSeek...（天然，雷同复古最强32B模子QWQ）
图片
接下来咱们搭建学问库（需要索引模子，言语模子），我的电脑成就不高
我的电脑成就：显卡-8G显存的3060TI，CPU-AMD Ryzen 7 5800X 8-Core 3.80 GHz，内存-32G
腹地大模子主要仍是吃显存，教大家一个选拔相宜本机模子的才略：
模子所需显存大小≈模子大小×1.2
大言语模子，我选拔qwen2.5:14b（如下图 大小是9G）
9×1.2=10.8G，是以运行qwen2.5:14b所需的显存约莫是10.8G，插插插网我的显存大小只好8G，但仍是拼凑可以跑起来，只不外输出略微慢一些。
图片
索引模子我选拔beg-m3:567m
图片
看这模子下载速率：134MB/s，我莫得开魔法上网（对国内用户相配友好）
图片
模子已备好，接下来咱们开动搭建学问库
图片
创建学问库，镶嵌模子选拔刚刚下载的beg-m3:567m
图片
上传文献，这里复古险些悉数文献类型（咱们先试试公众号著作pdf）
19个pdf文献约莫1分半措置完结
图片
创建智能体（现在十分于一个教导词模板）
图片
保存之后，选拔刚刚新建的智能体，干与对话
右下角学问库->选拔刚刚创建好的学问库。
图片
经过测试，发现小模子内部还得是qwen蒸馏出来的deepseek-r1模子牛逼。
回答的没啥相当，等于不够夺目。
韩国裸舞学问库检索准确度相配高，然而思要修起的实验更准确，仍是得用更强的言语模子，腹地有条目最佳上QWQ:32b
图片
从下图中可以看出，上传的pdf被瓦解成markdown步地文献了，瓦解出来的实验仍是挺准确的。
图片
接着，我又测试了一下Excel步地的文献
问答恶果也挺可以，Excel亦然瓦解成了markdown步地
图片
图片
试了一下，上传图片到学问库，发现现在图片瓦解还不太行
图片
图片
它的学问库，我体验下来，创建和使用齐相配浅易，检索的准确度以至可以比好意思fastgpt了，况兼复古险些悉数的文献步地（齐是把文献瓦解成markdown）
腹地索引模子 胜利上小参数目的beg-m3:567m，检索恶果就很好了，瓶颈在言语模子上。腹地算力够的一又友推选胜利上QWQ:32b。
成就第三方模子API以硅基流动为例
点击第三方模子API->硅基流动->成就apikey->保存API
底下会自动搜索出模子。
图片
说真话，用上头的腹地8b、14b的小参数言语模子测试，回答恶果如实一般
但换成硅基的DeepSeek V3满血版之后，熟练的嗅觉又讲求了，回答的既准确，又夺目。
PS：索引模子仍是没变，仍是之前成就的腹地索引模子：beg-m3:567m
图片
联网搜索修复->默许搜索引擎，彻底是国内搜索，也齐是免费调用（对国内用户来说相配友好了）
测试一个问题：搜索当天热门AI资讯
会联网搜索10条实验当作参考
日历25年3月26，正确，况兼今天刚好出了Mureka O1音乐大模子，给出的热门也完全没相当。
图片
一键共享 本站仅提供存储管事，悉数实验均由用户发布，如发现存害或侵权实验，请点击举报。