Skip to content
项目
群组
代码片段
帮助
当前项目
正在载入...
登录 / 注册
切换导航面板
S
studyweb
项目
项目
详情
活动
周期分析
仓库
仓库
文件
提交
分支
标签
贡献者
图表
比较
统计图
议题
0
议题
0
列表
看板
标记
里程碑
合并请求
0
合并请求
0
CI / CD
CI / CD
流水线
作业
日程
统计图
Wiki
Wiki
代码片段
代码片段
成员
成员
折叠边栏
关闭边栏
活动
图像
聊天
创建新问题
作业
提交
问题看板
Open sidebar
project
studyweb
Commits
395b530b
提交
395b530b
authored
7月 13, 2026
作者:
zhangqianwei
浏览文件
操作
浏览文件
下载
电子邮件补丁
差异文件
cfm_完成 Milvus 向量数据库docker部署
上级
4ab993d9
全部展开
隐藏空白字符变更
内嵌
并排
正在显示
5 个修改的文件
包含
508 行增加
和
0 行删除
+508
-0
README.md
milvus-lab/README.md
+228
-0
milvus-standalone.yml
milvus-lab/compose/milvus-standalone.yml
+101
-0
milvus-connection-template.py
milvus-lab/configs/milvus-connection-template.py
+62
-0
milvus-connection-template.yml
milvus-lab/configs/milvus-connection-template.yml
+117
-0
milvus.yaml
milvus-lab/configs/milvus.yaml
+0
-0
没有找到文件。
milvus-lab/README.md
0 → 100644
浏览文件 @
395b530b
# Milvus Lab 使用说明
本目录包含 Milvus 向量数据库的本地实验环境,基于 Docker Compose 部署 Milvus Standalone,配合 Attu 可视化管理界面和 Python SDK 客户端脚本。
## 目录结构
```
milvus-lab/
├── compose/
│ └── milvus-standalone.yml # Docker Compose 编排文件
├── configs/
│ ├── milvus.yaml # Milvus 服务端配置(已启用 GPU)
│ ├── milvus-connection-template.yml # Python SDK 连接配置模板
│ ├── milvus-connection-template.py # 连接配置的 Python 实现
│ └── .env.example # 环境变量示例
├── scripts/
│ ├── 01_bootstrap.py # 创建集合 + 建索引
│ ├── 02_insert.py # 批量插入向量数据
│ ├── 03_search_perf.py # 检索性能基准测试
│ └── import_data.py # 快速导入测试数据
├── outputs/
│ ├── results/ # 测试结果 JSON(脚本自动写入)
│ ├── vectors/ # 导出的向量数据
│ └── screenshots/ # 截图存档
└── README.md
```
---
## 服务架构
| 容器名 | 镜像 | 端口 | 说明 |
|--------|------|------|------|
|
`milvus-etcd`
| quay.io/coreos/etcd:v3.5.9 | 2379 | 元数据存储 |
|
`milvus-minio`
| minio/minio:RELEASE.2024-01-16 | 9010 (API) / 9011 (Console) | S3 兼容对象存储 |
|
`milvus-standalone`
| milvusdb/milvus:v2.4.4 | 19530 (gRPC) / 9091 (HTTP) | Milvus 主服务,已挂载 GPU |
|
`milvus-attu`
| zilliz/attu:v2.4 | 9867 | Attu Web 可视化界面 |
---
## 快速启动
### 1. 启动全部服务
```
bash
cd
milvus-lab/compose
docker compose
-f
milvus-standalone.yml up
-d
```
### 2. 确认容器状态
```
bash
docker ps
--format
"table {{.Names}}
\t
{{.Status}}"
```
所有容器显示
`Up`
且 etcd/minio 显示
`(healthy)`
即为就绪。
### 3. 验证服务可用性
```
bash
# Attu HTTP 检查
curl
-s
-o
/dev/null
-w
"%{http_code}"
http://localhost:9867
# 期望输出: 200
# Milvus gRPC 检查(返回 404 是正常的,gRPC 非 HTTP)
curl
-s
-o
/dev/null
-w
"%{http_code}"
http://localhost:19530
# GPU 显存检查
docker
exec
milvus-standalone nvidia-smi
--query-gpu
=
index,name,memory.used,memory.total
--format
=
csv,noheader
```
---
## Attu 可视化管理
**访问地址:**
`http://localhost:9867`
**连接配置:**
| 字段 | 值 |
|------|-----|
| Address |
`milvus-standalone:19530`
(容器内网访问) |
| | 或
`localhost:19530`
(从宿主机访问) |
| Database |
`default`
|
| Username | (留空,standalone 默认无认证) |
连接后在左侧
**Collections**
列表可以看到所有集合,点击进入可查看字段、索引、数据量和执行检索。
---
## Python 客户端使用
### 环境依赖
```
bash
conda run
-n
studyweb python /home/admin2/studyweb/milvus-lab/scripts/import_data.py
```
> 需确保 conda 环境 `studyweb` 中已安装 `pymilvus`。
### 连接配置(参考 `.env.example`)
```
bash
export
MILVUS_HOST
=
127.0.0.1
export
MILVUS_PORT
=
19530
```
### 快速导入测试数据
```
bash
conda run
-n
studyweb python milvus-lab/scripts/import_data.py
```
该脚本会:
1.
删除旧集合
`demo_vector_db`
(如存在)
2.
创建新集合,1536 维向量,GPU_IVF_FLAT 索引,指定第 6 号 GPU
3.
插入 1000 条随机向量
4.
执行一次检索验证
5.
输出集合信息
**预期输出:**
```
集合: demo_vector_db
维度: 1536
向量数量: 1000
索引: GPU_IVF_FLAT (GPU 6)
检索验证: 返回 5 条结果, 示例 id=[xxx, xxx, xxx, xxx, xxx]
```
---
## GPU 使用说明
Milvus Standalone 容器通过 Docker
`--gpus`
参数挂载了 1 块 GPU(默认使用第 6 号卡)。
如需调整 GPU 编号,修改
`compose/milvus-standalone.yml`
中
`deploy.resources.reservations.devices`
的
`id`
字段:
```
yaml
deploy
:
resources
:
reservations
:
devices
:
-
driver
:
nvidia
count
:
1
capabilities
:
[
gpu
]
device_ids
:
[
"
6"
]
# 改为其他 GPU id
```
重启服务使配置生效。
GPU 显存占用可通过以下命令查看:
```
bash
docker
exec
milvus-standalone nvidia-smi
```
---
## 数据持久化
所有数据通过 Docker Volume 持久化,容器重启后数据保留:
| Volume | 路径 | 内容 |
|--------|------|------|
|
`etcd-data`
|
`/etcd`
| 元数据 |
|
`minio-data`
|
`/minio`
| 向量文件 |
|
`milvus-data`
|
`/var/lib/milvus`
| Milvus WAL 和索引缓存 |
---
## 常见操作
### 停止服务
```
bash
cd
milvus-lab/compose
docker compose
-f
milvus-standalone.yml down
```
### 重启服务
```
bash
cd
milvus-lab/compose
docker compose
-f
milvus-standalone.yml down
docker compose
-f
milvus-standalone.yml up
-d
```
### 清空所有数据(重建)
```
bash
cd
milvus-lab/compose
docker compose
-f
milvus-standalone.yml down
-v
# -v 同时删除 volumes
docker compose
-f
milvus-standalone.yml up
-d
```
### 进入 Milvus 容器调试
```
bash
docker
exec
-it
milvus-standalone bash
```
---
## 服务端配置说明
`configs/milvus.yaml`
已做以下定制:
-
**GPU 支持**
:已启用 GPU 相关配置
-
**etcd 端点**
:
`etcd:2379`
(Docker 网络内)
-
**MinIO 端点**
:
`minio:9000`
(Docker 网络内)
-
**监控端口**
:9091(HTTP API)
如需修改服务端参数(内存限制、线程数、日志级别等),编辑
`configs/milvus.yaml`
后重启
`milvus-standalone`
容器。
---
## 端口汇总
| 端口 | 协议 | 用途 |
|------|------|------|
| 19530 | gRPC | Milvus 客户端连接 |
| 9091 | HTTP | Milvus 健康检查 / 监控指标 |
| 2379 | HTTP | etcd 客户端(容器内) |
| 9000 | HTTP | MinIO API(宿主机 9010) |
| 9001 | HTTP | MinIO Console(宿主机 9011) |
| 3000 | HTTP | Attu Web(容器内) |
| 9867 | HTTP | Attu Web(宿主机) |
milvus-lab/compose/milvus-standalone.yml
0 → 100644
浏览文件 @
395b530b
x-common
:
&common
logging
:
driver
:
json-file
options
:
max-size
:
"
20m"
max-file
:
"
5"
restart
:
unless-stopped
services
:
etcd
:
<<
:
*common
image
:
quay.io/coreos/etcd:v3.5.9
hostname
:
etcd
container_name
:
milvus-etcd
volumes
:
-
etcd-data:/etcd
environment
:
-
ETCD_AUTO_COMPACTION_RETENTION=1000
-
ETCD_QUOTA_BACKEND_BYTES=4294967296
-
ETCD_LISTEN_CLIENT_URLS=http://0.0.0.0:2379
-
ETCD_ADVERTISE_CLIENT_URLS=http://0.0.0.0:2379
healthcheck
:
test
:
[
"
CMD"
,
"
etcdctl"
,
"
endpoint"
,
"
health"
]
interval
:
5s
timeout
:
5s
retries
:
12
minio
:
<<
:
*common
image
:
minio/minio:RELEASE.2024-01-16
hostname
:
minio
container_name
:
milvus-minio
ports
:
-
"
9010:9000"
-
"
9011:9001"
volumes
:
-
minio-data:/minio
environment
:
-
MINIO_ROOT_USER=admin
-
MINIO_ROOT_PASSWORD=admin123
-
MINIO_BROWSER_REDIRECT_URL=http://localhost:9011
-
MINIO_CONFIG_ENV_FILE=
-
MINIO_ACCESS_KEY_FILE=
-
MINIO_SECRET_KEY_FILE=
-
MINIO_ROOT_USER_FILE=
-
MINIO_ROOT_PASSWORD_FILE=
command
:
minio server /minio --console-address ":9001"
healthcheck
:
test
:
[
"
CMD-SHELL"
,
"
curl
-f
http://localhost:9000/minio/health/ready
||
exit
1"
]
interval
:
5s
timeout
:
5s
retries
:
20
milvus
:
<<
:
*common
image
:
milvusdb/milvus:v2.4.4
hostname
:
milvus
container_name
:
milvus-standalone
ports
:
-
"
19530:19530"
-
"
9091:9091"
deploy
:
resources
:
reservations
:
devices
:
-
driver
:
nvidia
count
:
1
capabilities
:
[
gpu
]
volumes
:
-
milvus-data:/var/lib/milvus
-
/home/admin2/studyweb/milvus-lab/configs/milvus.yaml:/milvus/configs/milvus.yaml:ro
command
:
milvus run standalone
environment
:
-
ETCD_ENDPOINTS=etcd:2379
-
COMMON_PROXY_IP=0.0.0.0
depends_on
:
etcd
:
condition
:
service_healthy
minio
:
condition
:
service_healthy
attu
:
<<
:
*common
image
:
zilliz/attu:v2.4
hostname
:
attu
container_name
:
milvus-attu
ports
:
-
"
9867:3000"
environment
:
-
MILVUS_URL=milvus:19530
depends_on
:
milvus
:
condition
:
service_started
volumes
:
etcd-data
:
driver
:
local
minio-data
:
driver
:
local
milvus-data
:
driver
:
local
milvus-lab/configs/milvus-connection-template.py
0 → 100644
浏览文件 @
395b530b
from
__future__
import
annotations
import
os
from
dataclasses
import
dataclass
,
field
from
typing
import
Any
from
pymilvus
import
connections
@dataclass
class
MilvusConnectionConfig
:
alias
:
str
=
"default"
host
:
str
=
os
.
environ
.
get
(
"MILVUS_HOST"
,
"127.0.0.1"
)
port
:
str
=
os
.
environ
.
get
(
"MILVUS_PORT"
,
"19530"
)
user
:
str
=
os
.
environ
.
get
(
"MILVUS_USER"
,
""
)
password
:
str
=
os
.
environ
.
get
(
"MILVUS_PASSWORD"
,
""
)
db_name
:
str
=
os
.
environ
.
get
(
"MILVUS_DB"
,
"default"
)
timeout
:
str
=
os
.
environ
.
get
(
"MILVUS_TIMEOUT"
,
"30"
)
max_retries
:
int
=
int
(
os
.
environ
.
get
(
"MILVUS_MAX_RETRIES"
,
"3"
))
backoff_seconds
:
float
=
float
(
os
.
environ
.
get
(
"MILVUS_BACKOFF_SECONDS"
,
"1.0"
))
max_connections
:
int
=
int
(
os
.
environ
.
get
(
"MILVUS_MAX_CONNECTIONS"
,
"8"
))
# MinIO / S3 兼容对象存储(Milvus standalone 内部使用)
minio_endpoint
:
str
=
os
.
environ
.
get
(
"MINIO_ENDPOINT"
,
"127.0.0.1:9010"
)
minio_access_key
:
str
=
os
.
environ
.
get
(
"MINIO_ACCESS_KEY"
,
"admin"
)
minio_secret_key
:
str
=
os
.
environ
.
get
(
"MINIO_SECRET_KEY"
,
"admin123"
)
minio_use_ssl
:
bool
=
os
.
environ
.
get
(
"MINIO_USE_SSL"
,
"false"
)
.
lower
()
in
(
"true"
,
"1"
,
"yes"
)
minio_bucket
:
str
=
os
.
environ
.
get
(
"MINIO_BUCKET"
,
"milvus-bucket"
)
minio_root_path
:
str
=
os
.
environ
.
get
(
"MINIO_ROOT_PATH"
,
"files"
)
def
connect_milvus
(
config
:
MilvusConnectionConfig
|
None
=
None
)
->
str
:
config
=
config
or
MilvusConnectionConfig
()
connections
.
connect
(
alias
=
config
.
alias
,
host
=
config
.
host
,
port
=
config
.
port
,
user
=
config
.
user
or
None
,
password
=
config
.
password
or
None
,
db_name
=
config
.
db_name
,
timeout
=
int
(
config
.
timeout
),
)
return
config
.
alias
DEFAULT_CONFIG
=
MilvusConnectionConfig
()
DEFAULT_COLLECTION_NAME
=
os
.
environ
.
get
(
"MILVUS_LAB_COLLECTION"
,
"test_vectors"
)
DEFAULT_INDEX_PARAMS
:
dict
[
str
,
Any
]
=
{
"index_type"
:
"IVF_FLAT"
,
"metric_type"
:
"COSINE"
,
"params"
:
{
"nlist"
:
128
},
}
DEFAULT_SEARCH_PARAMS
:
dict
[
str
,
Any
]
=
{
"metric_type"
:
"COSINE"
,
"params"
:
{
"nprobe"
:
16
},
}
DEFAULT_SEARCH_KWARGS
:
dict
[
str
,
Any
]
=
{
"limit"
:
10
,
"output_fields"
:
[
"id"
,
"text"
,
"category"
],
"consistency_level"
:
"Bounded"
,
}
milvus-lab/configs/milvus-connection-template.yml
0 → 100644
浏览文件 @
395b530b
# Milvus 连接配置模板
#
# 用法:
# 1. 复制本文件
# 2. 按实际环境修改 env 或 values
# 3. 优先通过环境变量注入,不要提交真实密码
milvus
:
# ------- 基础连接 -------
# 开发环境通常用 standalone
# 测试/生产可按需切到 milvus-cluster
deployment
:
standalone
connection
:
alias
:
default
host
:
"
${MILVUS_HOST:127.0.0.1}"
port
:
"
${MILVUS_PORT:19530}"
user
:
"
${MILVUS_USER:}"
password
:
"
${MILVUS_PASSWORD:}"
db_name
:
"
${MILVUS_DB:default}"
timeout
:
"
${MILVUS_TIMEOUT:30}"
# ------- 客户端行为 -------
retry
:
max_retries
:
3
backoff_seconds
:
1
retry_on
:
-
connection_error
-
timeout
pool
:
max_connections
:
8
min_idle_connections
:
1
# ------- MinIO / S3 兼容对象存储 -------
# Milvus standalone 内部使用 MinIO 存储向量数据
minio
:
endpoint
:
"
${MINIO_ENDPOINT:127.0.0.1:9010}"
access_key
:
"
${MINIO_ACCESS_KEY:admin}"
secret_key
:
"
${MINIO_SECRET_KEY:admin123}"
use_ssl
:
false
bucket
:
"
${MINIO_BUCKET:milvus-bucket}"
root_path
:
"
${MINIO_ROOT_PATH:files}"
# ------- 健康检查建议 -------
healthcheck
:
enabled
:
true
collection
:
"
__test_health"
probe_top_k
:
5
check_interval_seconds
:
60
# ------- 集合命名规范 -------
naming
:
prefix
:
"
${PROJECT_PREFIX:}"
separator
:
"
_"
max_length
:
64
examples
:
-
"
${PROJECT_PREFIX:rag}_doc_${VERSION:v1}"
-
"
${PROJECT_PREFIX:chat}_memory_${ENV:dev}"
# ------- 今日测试常用参数 -------
defaults
:
collection
:
test_vectors
dimension
:
1536
metric_type
:
COSINE
consistency_level
:
Bounded
primary_field
:
id
vector_field
:
embedding
# ------- 索引参数示例 -------
indexes
:
cosine_small
:
index_type
:
IVF_FLAT
metric_type
:
COSINE
params
:
nlist
:
128
cosine_medium
:
index_type
:
IVF_SQ8
metric_type
:
COSINE
params
:
nlist
:
256
l2_small
:
index_type
:
IVF_FLAT
metric_type
:
L2
params
:
nlist
:
128
# ------- 检索参数示例 -------
search
:
default_top_k
:
10
default_nprobe
:
16
consistency_level
:
Bounded
output_fields
:
-
id
-
text
-
category
# ------- 环境变量覆盖表 -------
# 在对应环境文件中按需要覆盖即可
env_overrides
:
dev
:
host
:
127.0.0.1
port
:
19530
retry.max_retries
:
2
test
:
host
:
"
${MILVUS_TEST_HOST}"
port
:
19530
retry.max_retries
:
3
prod
:
host
:
"
${MILVUS_PROD_HOST}"
port
:
19530
retry.max_retries
:
5
pool.max_connections
:
20
milvus-lab/configs/milvus.yaml
0 → 100644
浏览文件 @
395b530b
差异被折叠。
点击展开。
编写
预览
Markdown
格式
0%
重试
或
添加新文件
添加附件
取消
您添加了
0
人
到此讨论。请谨慎行事。
请先完成此评论的编辑!
取消
请
注册
或者
登录
后发表评论