提交 395b530b authored 作者: zhangqianwei's avatar zhangqianwei

cfm_完成 Milvus 向量数据库docker部署

上级 4ab993d9
# Milvus Lab 使用说明
本目录包含 Milvus 向量数据库的本地实验环境,基于 Docker Compose 部署 Milvus Standalone,配合 Attu 可视化管理界面和 Python SDK 客户端脚本。
## 目录结构
```
milvus-lab/
├── compose/
│ └── milvus-standalone.yml # Docker Compose 编排文件
├── configs/
│ ├── milvus.yaml # Milvus 服务端配置(已启用 GPU)
│ ├── milvus-connection-template.yml # Python SDK 连接配置模板
│ ├── milvus-connection-template.py # 连接配置的 Python 实现
│ └── .env.example # 环境变量示例
├── scripts/
│ ├── 01_bootstrap.py # 创建集合 + 建索引
│ ├── 02_insert.py # 批量插入向量数据
│ ├── 03_search_perf.py # 检索性能基准测试
│ └── import_data.py # 快速导入测试数据
├── outputs/
│ ├── results/ # 测试结果 JSON(脚本自动写入)
│ ├── vectors/ # 导出的向量数据
│ └── screenshots/ # 截图存档
└── README.md
```
---
## 服务架构
| 容器名 | 镜像 | 端口 | 说明 |
|--------|------|------|------|
| `milvus-etcd` | quay.io/coreos/etcd:v3.5.9 | 2379 | 元数据存储 |
| `milvus-minio` | minio/minio:RELEASE.2024-01-16 | 9010 (API) / 9011 (Console) | S3 兼容对象存储 |
| `milvus-standalone` | milvusdb/milvus:v2.4.4 | 19530 (gRPC) / 9091 (HTTP) | Milvus 主服务,已挂载 GPU |
| `milvus-attu` | zilliz/attu:v2.4 | 9867 | Attu Web 可视化界面 |
---
## 快速启动
### 1. 启动全部服务
```bash
cd milvus-lab/compose
docker compose -f milvus-standalone.yml up -d
```
### 2. 确认容器状态
```bash
docker ps --format "table {{.Names}}\t{{.Status}}"
```
所有容器显示 `Up` 且 etcd/minio 显示 `(healthy)` 即为就绪。
### 3. 验证服务可用性
```bash
# Attu HTTP 检查
curl -s -o /dev/null -w "%{http_code}" http://localhost:9867
# 期望输出: 200
# Milvus gRPC 检查(返回 404 是正常的,gRPC 非 HTTP)
curl -s -o /dev/null -w "%{http_code}" http://localhost:19530
# GPU 显存检查
docker exec milvus-standalone nvidia-smi --query-gpu=index,name,memory.used,memory.total --format=csv,noheader
```
---
## Attu 可视化管理
**访问地址:** `http://localhost:9867`
**连接配置:**
| 字段 | 值 |
|------|-----|
| Address | `milvus-standalone:19530`(容器内网访问) |
| | 或 `localhost:19530`(从宿主机访问) |
| Database | `default` |
| Username | (留空,standalone 默认无认证) |
连接后在左侧 **Collections** 列表可以看到所有集合,点击进入可查看字段、索引、数据量和执行检索。
---
## Python 客户端使用
### 环境依赖
```bash
conda run -n studyweb python /home/admin2/studyweb/milvus-lab/scripts/import_data.py
```
> 需确保 conda 环境 `studyweb` 中已安装 `pymilvus`。
### 连接配置(参考 `.env.example`)
```bash
export MILVUS_HOST=127.0.0.1
export MILVUS_PORT=19530
```
### 快速导入测试数据
```bash
conda run -n studyweb python milvus-lab/scripts/import_data.py
```
该脚本会:
1. 删除旧集合 `demo_vector_db`(如存在)
2. 创建新集合,1536 维向量,GPU_IVF_FLAT 索引,指定第 6 号 GPU
3. 插入 1000 条随机向量
4. 执行一次检索验证
5. 输出集合信息
**预期输出:**
```
集合: demo_vector_db
维度: 1536
向量数量: 1000
索引: GPU_IVF_FLAT (GPU 6)
检索验证: 返回 5 条结果, 示例 id=[xxx, xxx, xxx, xxx, xxx]
```
---
## GPU 使用说明
Milvus Standalone 容器通过 Docker `--gpus` 参数挂载了 1 块 GPU(默认使用第 6 号卡)。
如需调整 GPU 编号,修改 `compose/milvus-standalone.yml` 中 `deploy.resources.reservations.devices` 的 `id` 字段:
```yaml
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
device_ids: ["6"] # 改为其他 GPU id
```
重启服务使配置生效。
GPU 显存占用可通过以下命令查看:
```bash
docker exec milvus-standalone nvidia-smi
```
---
## 数据持久化
所有数据通过 Docker Volume 持久化,容器重启后数据保留:
| Volume | 路径 | 内容 |
|--------|------|------|
| `etcd-data` | `/etcd` | 元数据 |
| `minio-data` | `/minio` | 向量文件 |
| `milvus-data` | `/var/lib/milvus` | Milvus WAL 和索引缓存 |
---
## 常见操作
### 停止服务
```bash
cd milvus-lab/compose
docker compose -f milvus-standalone.yml down
```
### 重启服务
```bash
cd milvus-lab/compose
docker compose -f milvus-standalone.yml down
docker compose -f milvus-standalone.yml up -d
```
### 清空所有数据(重建)
```bash
cd milvus-lab/compose
docker compose -f milvus-standalone.yml down -v # -v 同时删除 volumes
docker compose -f milvus-standalone.yml up -d
```
### 进入 Milvus 容器调试
```bash
docker exec -it milvus-standalone bash
```
---
## 服务端配置说明
`configs/milvus.yaml` 已做以下定制:
- **GPU 支持**:已启用 GPU 相关配置
- **etcd 端点**:`etcd:2379`(Docker 网络内)
- **MinIO 端点**:`minio:9000`(Docker 网络内)
- **监控端口**:9091(HTTP API)
如需修改服务端参数(内存限制、线程数、日志级别等),编辑 `configs/milvus.yaml` 后重启 `milvus-standalone` 容器。
---
## 端口汇总
| 端口 | 协议 | 用途 |
|------|------|------|
| 19530 | gRPC | Milvus 客户端连接 |
| 9091 | HTTP | Milvus 健康检查 / 监控指标 |
| 2379 | HTTP | etcd 客户端(容器内) |
| 9000 | HTTP | MinIO API(宿主机 9010) |
| 9001 | HTTP | MinIO Console(宿主机 9011) |
| 3000 | HTTP | Attu Web(容器内) |
| 9867 | HTTP | Attu Web(宿主机) |
x-common: &common
logging:
driver: json-file
options:
max-size: "20m"
max-file: "5"
restart: unless-stopped
services:
etcd:
<<: *common
image: quay.io/coreos/etcd:v3.5.9
hostname: etcd
container_name: milvus-etcd
volumes:
- etcd-data:/etcd
environment:
- ETCD_AUTO_COMPACTION_RETENTION=1000
- ETCD_QUOTA_BACKEND_BYTES=4294967296
- ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
- ETCD_ADVERTISE_CLIENT_URLS=http://0.0.0.0:2379
healthcheck:
test: ["CMD", "etcdctl", "endpoint", "health"]
interval: 5s
timeout: 5s
retries: 12
minio:
<<: *common
image: minio/minio:RELEASE.2024-01-16
hostname: minio
container_name: milvus-minio
ports:
- "9010:9000"
- "9011:9001"
volumes:
- minio-data:/minio
environment:
- MINIO_ROOT_USER=admin
- MINIO_ROOT_PASSWORD=admin123
- MINIO_BROWSER_REDIRECT_URL=http://localhost:9011
- MINIO_CONFIG_ENV_FILE=
- MINIO_ACCESS_KEY_FILE=
- MINIO_SECRET_KEY_FILE=
- MINIO_ROOT_USER_FILE=
- MINIO_ROOT_PASSWORD_FILE=
command: minio server /minio --console-address ":9001"
healthcheck:
test: ["CMD-SHELL", "curl -f http://localhost:9000/minio/health/ready || exit 1"]
interval: 5s
timeout: 5s
retries: 20
milvus:
<<: *common
image: milvusdb/milvus:v2.4.4
hostname: milvus
container_name: milvus-standalone
ports:
- "19530:19530"
- "9091:9091"
deploy:
resources:
reservations:
devices:
- driver: nvidia
count: 1
capabilities: [gpu]
volumes:
- milvus-data:/var/lib/milvus
- /home/admin2/studyweb/milvus-lab/configs/milvus.yaml:/milvus/configs/milvus.yaml:ro
command: milvus run standalone
environment:
- ETCD_ENDPOINTS=etcd:2379
- COMMON_PROXY_IP=0.0.0.0
depends_on:
etcd:
condition: service_healthy
minio:
condition: service_healthy
attu:
<<: *common
image: zilliz/attu:v2.4
hostname: attu
container_name: milvus-attu
ports:
- "9867:3000"
environment:
- MILVUS_URL=milvus:19530
depends_on:
milvus:
condition: service_started
volumes:
etcd-data:
driver: local
minio-data:
driver: local
milvus-data:
driver: local
from __future__ import annotations
import os
from dataclasses import dataclass, field
from typing import Any
from pymilvus import connections
@dataclass
class MilvusConnectionConfig:
alias: str = "default"
host: str = os.environ.get("MILVUS_HOST", "127.0.0.1")
port: str = os.environ.get("MILVUS_PORT", "19530")
user: str = os.environ.get("MILVUS_USER", "")
password: str = os.environ.get("MILVUS_PASSWORD", "")
db_name: str = os.environ.get("MILVUS_DB", "default")
timeout: str = os.environ.get("MILVUS_TIMEOUT", "30")
max_retries: int = int(os.environ.get("MILVUS_MAX_RETRIES", "3"))
backoff_seconds: float = float(os.environ.get("MILVUS_BACKOFF_SECONDS", "1.0"))
max_connections: int = int(os.environ.get("MILVUS_MAX_CONNECTIONS", "8"))
# MinIO / S3 兼容对象存储(Milvus standalone 内部使用)
minio_endpoint: str = os.environ.get("MINIO_ENDPOINT", "127.0.0.1:9010")
minio_access_key: str = os.environ.get("MINIO_ACCESS_KEY", "admin")
minio_secret_key: str = os.environ.get("MINIO_SECRET_KEY", "admin123")
minio_use_ssl: bool = os.environ.get("MINIO_USE_SSL", "false").lower() in ("true", "1", "yes")
minio_bucket: str = os.environ.get("MINIO_BUCKET", "milvus-bucket")
minio_root_path: str = os.environ.get("MINIO_ROOT_PATH", "files")
def connect_milvus(config: MilvusConnectionConfig | None = None) -> str:
config = config or MilvusConnectionConfig()
connections.connect(
alias=config.alias,
host=config.host,
port=config.port,
user=config.user or None,
password=config.password or None,
db_name=config.db_name,
timeout=int(config.timeout),
)
return config.alias
DEFAULT_CONFIG = MilvusConnectionConfig()
DEFAULT_COLLECTION_NAME = os.environ.get("MILVUS_LAB_COLLECTION", "test_vectors")
DEFAULT_INDEX_PARAMS: dict[str, Any] = {
"index_type": "IVF_FLAT",
"metric_type": "COSINE",
"params": {"nlist": 128},
}
DEFAULT_SEARCH_PARAMS: dict[str, Any] = {
"metric_type": "COSINE",
"params": {"nprobe": 16},
}
DEFAULT_SEARCH_KWARGS: dict[str, Any] = {
"limit": 10,
"output_fields": ["id", "text", "category"],
"consistency_level": "Bounded",
}
# Milvus 连接配置模板
#
# 用法:
# 1. 复制本文件
# 2. 按实际环境修改 env 或 values
# 3. 优先通过环境变量注入,不要提交真实密码
milvus:
# ------- 基础连接 -------
# 开发环境通常用 standalone
# 测试/生产可按需切到 milvus-cluster
deployment: standalone
connection:
alias: default
host: "${MILVUS_HOST:127.0.0.1}"
port: "${MILVUS_PORT:19530}"
user: "${MILVUS_USER:}"
password: "${MILVUS_PASSWORD:}"
db_name: "${MILVUS_DB:default}"
timeout: "${MILVUS_TIMEOUT:30}"
# ------- 客户端行为 -------
retry:
max_retries: 3
backoff_seconds: 1
retry_on:
- connection_error
- timeout
pool:
max_connections: 8
min_idle_connections: 1
# ------- MinIO / S3 兼容对象存储 -------
# Milvus standalone 内部使用 MinIO 存储向量数据
minio:
endpoint: "${MINIO_ENDPOINT:127.0.0.1:9010}"
access_key: "${MINIO_ACCESS_KEY:admin}"
secret_key: "${MINIO_SECRET_KEY:admin123}"
use_ssl: false
bucket: "${MINIO_BUCKET:milvus-bucket}"
root_path: "${MINIO_ROOT_PATH:files}"
# ------- 健康检查建议 -------
healthcheck:
enabled: true
collection: "__test_health"
probe_top_k: 5
check_interval_seconds: 60
# ------- 集合命名规范 -------
naming:
prefix: "${PROJECT_PREFIX:}"
separator: "_"
max_length: 64
examples:
- "${PROJECT_PREFIX:rag}_doc_${VERSION:v1}"
- "${PROJECT_PREFIX:chat}_memory_${ENV:dev}"
# ------- 今日测试常用参数 -------
defaults:
collection: test_vectors
dimension: 1536
metric_type: COSINE
consistency_level: Bounded
primary_field: id
vector_field: embedding
# ------- 索引参数示例 -------
indexes:
cosine_small:
index_type: IVF_FLAT
metric_type: COSINE
params:
nlist: 128
cosine_medium:
index_type: IVF_SQ8
metric_type: COSINE
params:
nlist: 256
l2_small:
index_type: IVF_FLAT
metric_type: L2
params:
nlist: 128
# ------- 检索参数示例 -------
search:
default_top_k: 10
default_nprobe: 16
consistency_level: Bounded
output_fields:
- id
- text
- category
# ------- 环境变量覆盖表 -------
# 在对应环境文件中按需要覆盖即可
env_overrides:
dev:
host: 127.0.0.1
port: 19530
retry.max_retries: 2
test:
host: "${MILVUS_TEST_HOST}"
port: 19530
retry.max_retries: 3
prod:
host: "${MILVUS_PROD_HOST}"
port: 19530
retry.max_retries: 5
pool.max_connections: 20
差异被折叠。
Markdown 格式
0% 或
您添加了 0 人 到此讨论。请谨慎行事。
请先完成此评论的编辑!
请 注册 或者 后发表评论