LangchainOllamaDocker快速搭建本地语言模型服务教程

本文将介绍如何在 Docker 环境中部署 LangChain 与 Ollama，实现高效的本地语言模型服务。主要解决在本地快速搭建集成 LangChain 和 Ollama 的解决方案，无需依赖外部 API 服务。

环境准备

确保已安装以下软件：

• Docker
• Docker Compose
• Git

检查 Docker 是否正常运行：

docker --version

部署 Ollama 服务

首先创建 Ollama 的 Docker 网络：

docker network create ollama_net

从 Ollama 官方镜像仓库拉取最新模型镜像：

docker pull ollama/ollama:latest

启动 Ollama 容器，并指定数据持久化目录：

docker run -d --name ollama_container -p 11434:11434 -v $(pwd)/ollama_data:/root/.ollama ollama/ollama:latest

验证服务是否启动成功：

curl http://localhost:11434/api/tags

配置 LangChain

克隆 LangChain 示例代码：

git clone https://github.com/langchain-ai/langchain.git

进入示例目录并安装依赖：

cd langchain/examples/local/ollama
pip install -e .

编写集成代码

编辑 local_ollama.py 文件，配置 Ollama 连接参数：

from langchain.llms import Ollama

llm = Ollama(model="mistral", base_url="http://localhost:11434")
response = llm("What is the capital of France?")
print(response)

运行测试脚本：

python local_ollama.py

高级配置选项

可以调整以下参数：

1. 模型选择：如 “llama3”, “mistral” 等
2. 推理温度：通过 `temperature` 参数控制生成内容的随机性
3. 并发连接：修改 Docker 容器启动参数以支持多客户端

示例：使用 Llama3 模型并设置温度为 0.7：

llm = Ollama(model="llama3", temperature=0.7)

安全注意事项

生产环境下建议：

• 使用 Docker secrets 管理敏感配置
• 限制 Ollama API 访问 IP 白名单



• 定期更新模型版本以获取安全修复