我有别称AI助手，名字叫'老六'。为什么呢？是因为它有技能会一册肃穆的瞎掰八谈。

没错，这是大模子的弱点——'幻觉'。是以LLMs+常识库是措置'幻觉'的设施。

同期关于企业来说，需要接头信息安全，企业独到的常识库意见不可把握公域的大模子。那么搭建一套基于腹地大模子的个东谈主/企业常识库，是一个很好的措置有贪图。

1. 搭建腹地大模子

装配Ollama

咱们先干与Ollama的官网，下载对应操作系统的装配包。下载完成后，径直装配即可，莫得任何选项。

https://ollama.com

图片

拉取大模子

在Ollama的官网上不错干与Models页面中梭巡不错下载的模子，其中Meta的Llama2 7b版块需要大要8GB内存就不错跑起来。淌若你条目饱和，不错跑13b和70b版块，分离对应16GB和64GB内存。除了Meta的Llama模子，你也不错下载其它的模子。

图片

掀开末端，键入如下代码，即可自动下载模子。

ollama run llama2

图片

恭候下载完成后，你就不错径直在末端中与大模子进行对话了。怎样样，如斯浅易你就领有了一个属于你我方私东谈主的chatAI。

然则不是以为末端里运行对话不那么顺眼，你但愿在chatGPT那样的网页上进行对话。没问题，让open WebUI来帮你措置问题。

2. 搭建用户界面

Open WebUI是一个可彭胀的、功能丰富的、用户友好的自托管网页用户界面，旨在十足离线运行。它撑捏多样LLM运行门径，包括与Ollama和openAI兼容的API。

装配Docker

在此之前，需要先装配Docker，它就像一个容器，为每个名堂装载了必备的环境和必要条目。

领先咱们去Docker官网，下载Docker Desktop的装配包，并进行装配。

图片

装配完成后，恭候门径加载完成，即可干与Docker。淌若你是初次使用，则Containers中是莫得任何项主张。

装配open WebUI

刚才也曾装完ollama以及成效装配并运行模子后。在末端中运行以下代码，即可初始装配WebUI。

docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main

图片

恭候下载和装配完成后，干与Docker Desktop中，即可看见装配成效的WebUI名堂。

图片

此时，干与率性浏览器中，在地址栏中输入：http://localhost:3000 即可造访WebUI。

图片

初次登录，输入邮箱密码注册，即可登录。

图片

聘用模子llama2，即可在对话框中输入笔墨，初始对话。界面是不是很老到，很像chatGPT，用着顺遂多了。

open WebUI还有好多其它功能，比如它本人自带RAG。不错在对话框中输入“#”，然后跟上网址，即可造访网页的施行信息，并进行本色生成。

还不错上传文档，基于文本进行更深头绪的常识交互。淌若你对常识库的要求不高，作念到这小数以后，基本能知足大盛大个东谈主的需求了。

3. 与常识库不息

淌若你对常识库交互有更大的需求，不错装配以下这款应用。

AngthingLLM

https://useanything.com

这是一个不错基于大模子的常识库交互软件，不错应用腹地大模子，或调用公域大模子API。常识库也相通不错使用腹地的，何况险些不占用很大的资源。

图片

完成装配后，先会要求建立大模子。这里不错聘用Ollama的腹地模子，聘用Llama2 7b。

图片

然后会让你聘用镶嵌模式和向量数据库，咱们聘用默许的即可，或者接入外部API。

图片

建立完成后，再为你的责任空间起个名字，即可干与AnythingLLM中。

图片

在讲求使用前，你需要上传你的常识文档，撑捏多种花式，但图片花式PDF不可读取。

图片

终末，你就不错在对话框中，和你的常识进行对话疏导了。

图片

这么，你就领有了一个腹地化的大模子，且能和你我方的常识库交互，信息安全，本色可靠。还等什么，飞速建立起来吧。

图片

—— E N D ——

笔墨：Jason

封面、配图：GPT4 DALLE3 MJ

本站仅提供存储行状，所有本色均由用户发布，如发现存害或侵权本色，请点击举报。