提交 073bfdf2 authored 作者: caifuming's avatar caifuming

修改识别PDF,下载了OCR模型

上级 ed020ab6
# Docker 恢复情况报告
## 恢复状态总结
### ✅ 已成功恢复
1. **Docker 服务** - 已重新安装并运行
- 版本: Docker 29.1.3
- 状态: Active (running)
2. **容器元数据** - 23 个容器信息保留
```
- e75819f0b6e4 (Redis)
- 77570a71a0ba, 879e649b5e19 (应用容器)
- 21accd10593c, 91870c6b2ead (测试容器)
- a90b4ec6bba6 (code-server)
- 504303ba3e2b, de6072c667f5, 4b6e3ca53085 (监控服务)
- f060ff22099d, fed7b241ae41 (MySQL)
- 4c2e7e92150c, b4edca519a12 (Milvus + etcd)
- 以及其他应用容器
```
3. **Docker 卷** - 19 个卷完整保留
```
- ai-assitant_redis_data
- compose_etcd-data
- compose_milvus-data
- compose_minio-data
- jenkins_home
- studyweb_loki_data
- studyweb_minio_data
- studyweb_mysql_data
- studyweb_redis_data
- 以及其他数据卷
```
### ❌ 无法恢复
1. **Docker 镜像** - 所有镜像数据已丢失
- 原因: 清理 `/var/lib/containerd` 时删除了镜像存储层
- 影响: 无法直接启动现有容器
2. **镜像层数据** - 底层文件系统数据被清理
- 位置: `/var/lib/docker/overlay2/` (已清空)
- 结果: 容器文件系统不可用
---
## 问题原因分析
在清理根分区空间时,执行了以下操作:
```bash
# 这一步删除了 containerd 的所有数据,包括 Docker 镜像层
sudo rm -rf /var/lib/containerd/*
# 之后又删除了整个目录
sudo rm -rf /var/lib/containerd
```
**containerd 是 Docker 的底层运行时**,它存储了:
- 镜像层 (image layers)
- 容器快照 (container snapshots)
- 镜像元数据 (image metadata)
删除这些数据后,虽然容器配置还在 `/var/lib/docker/containers/`,但实际的镜像文件已经无法恢复。
---
## 当前系统状态
### Docker 服务
```bash
$ docker --version
Docker version 29.1.3
$ sudo systemctl status docker
● docker.service - Docker Application Container Engine
Active: active (running)
```
### 容器状态
```bash
$ docker ps -a | wc -l
23 # 23 个容器(全部 Exited 状态)
$ docker images
REPOSITORY TAG IMAGE ID CREATED SIZE
# 空的 - 所有镜像丢失
```
### 数据卷状态
```bash
$ docker volume ls | wc -l
19 # 19 个卷完整保留
```
---
## 解决方案
### 方案 1: 重新拉取镜像并重建容器 (推荐)
由于容器配置还在,可以查看容器使用的镜像名称,然后重新拉取:
```bash
# 查看容器信息(虽然镜像 ID 存在,但无法解析名称)
docker inspect <container_id> | grep Image
# 根据你的项目重新拉取镜像
# 例如 RAGFlow 项目:
cd /datacore/ragflow
docker compose -f docker/docker-compose-base.yml pull
docker compose -f docker/docker-compose-base.yml up -d
# Redis
docker pull redis:latest
# MySQL
docker pull mysql:8.0
# Elasticsearch
docker pull elasticsearch:8.9.0
# MinIO
docker pull minio/minio:latest
# 其他常用镜像
docker pull python:3.10
docker pull node:18
```
### 方案 2: 使用备份恢复 (如果有)
如果你有 Docker 镜像备份:
```bash
# 从 tar 文件加载镜像
docker load -i backup_images.tar
# 或从备份目录恢复
# (需要有完整的 /var/lib/docker 备份)
```
### 方案 3: 清理旧容器,重新开始
```bash
# 停止并删除所有容器
docker stop $(docker ps -aq) 2>/dev/null
docker rm $(docker ps -aq) 2>/dev/null
# 清理无用的卷(可选,谨慎操作)
# docker volume prune
# 重新创建服务
cd /datacore/ragflow
docker compose -f docker/docker-compose-base.yml up -d
```
---
## RAGFlow 服务启动指南
现在 Docker 已恢复,可以启动 RAGFlow 了:
### 1. 启动 RAGFlow 基础服务
```bash
cd /datacore/ragflow
# 拉取并启动基础服务
docker compose -f docker/docker-compose-base.yml pull
docker compose -f docker/docker-compose-base.yml up -d
# 等待服务启动
sleep 30
# 检查服务状态
docker compose -f docker/docker-compose-base.yml ps
```
### 2. 安装前端依赖(首次)
```bash
cd /datacore/ragflow/web
npm install
```
### 3. 启动 RAGFlow 应用
```bash
cd /datacore/ragflow
./scripts/ragflow_service.sh start
```
### 4. 查看服务状态
```bash
./scripts/ragflow_service.sh status
./scripts/ragflow_service.sh logs
```
---
## 验证 Docker 功能
```bash
# 测试 Docker 是否正常工作
docker run hello-world
# 查看 Docker 信息
docker info
# 检查存储驱动
docker info | grep "Storage Driver"
```
---
## 数据卷说明
**好消息**: 你的数据卷都还在,这些包含重要数据:
| 卷名称 | 用途 | 状态 |
|--------|------|------|
| studyweb_mysql_data | MySQL 数据库数据 | ✅ 保留 |
| studyweb_redis_data | Redis 缓存数据 | ✅ 保留 |
| studyweb_minio_data | MinIO 对象存储 | ✅ 保留 |
| compose_milvus-data | Milvus 向量数据库 | ✅ 保留 |
| jenkins_home | Jenkins 配置和数据 | ✅ 保留 |
重新创建容器时,只要使用相同的卷名称,数据就能恢复。
---
## 预防措施
为避免将来再次发生类似问题:
### 1. 定期备份 Docker 镜像
```bash
# 导出所有镜像
docker save $(docker images -q) -o /datacore/docker-images-backup.tar
# 或导出特定镜像
docker save redis:latest -o redis.tar
```
### 2. 使用 Docker 数据根目录迁移
将 Docker 数据移到空间充足的分区:
```bash
# 停止 Docker
sudo systemctl stop docker
# 移动数据
sudo mv /var/lib/docker /datacore/docker-data
# 创建软链接
sudo ln -s /datacore/docker-data /var/lib/docker
# 启动 Docker
sudo systemctl start docker
```
### 3. 清理空间时避免删除关键目录
**永远不要删除这些目录**:
- `/var/lib/docker/` - Docker 数据
- `/var/lib/containerd/` - containerd 运行时
- `/var/lib/kubelet/` - Kubernetes 数据(如果使用)
**安全的清理方法**:
```bash
# 清理 Docker 未使用资源
docker system prune -a
# 清理旧镜像
docker image prune -a
# 清理 build 缓存
docker builder prune -a
```
---
## 当前行动建议
立即执行以下步骤启动 RAGFlow:
```bash
# 1. 进入 RAGFlow 目录
cd /datacore/ragflow
# 2. 启动基础服务(会自动拉取镜像)
docker compose -f docker/docker-compose-base.yml up -d
# 3. 等待服务启动
sleep 60
# 4. 检查服务
docker compose -f docker/docker-compose-base.yml ps
# 5. 如果前端依赖未安装
cd web && npm install
# 6. 启动 RAGFlow
cd ..
./scripts/ragflow_service.sh start
```
---
## 总结
- ✅ Docker 服务已成功恢复
- ✅ 容器配置和数据卷完整保留
- ❌ 镜像需要重新拉取(无法恢复)
- ⚠️ 需要重新部署所有服务
**预计时间**: 重新拉取镜像和启动服务约需 10-20 分钟(取决于网络速度)
**数据安全**: 你的数据卷都在,重新创建容器后数据会自动恢复
# RAGFlow OCR 模型要求和验证方案
## 一、必需的模型文件清单
需要从 HuggingFace 仓库 `InfiniFlow/deepdoc` 下载以下文件到 `/datacore/ragflow/rag/res/deepdoc/` 目录:
### 1. OCR 核心模型(必需)
- **det.onnx** - 文本检测模型(识别文本区域)
- 格式:ONNX Runtime 模型
- 功能:检测图片中的文字区域,返回四边形边界框
- 预期大小:约 2-5 MB
- **rec.onnx** - 文本识别模型(识别文字内容)
- 格式:ONNX Runtime 模型
- 功能:识别裁剪后的文字区域内容
- **关键要求**:必须是支持中文的版本(PP-OCRv4 中文模型)
- 预期大小:约 10-15 MB
- 输入shape:[batch, 3, 48, 320]
- **ocr.res** - 字符字典文件
- 格式:文本文件,每行一个字符
- 功能:定义模型可识别的字符集
- **关键要求**:必须包含完整的中文字符集(简体+繁体)
- 预期大小:约 100-200 KB
- 预期字符数:7000+ 中文字符
### 2. 版面分析模型(可选但推荐)
- **layout.onnx** - 版面识别模型
- 格式:ONNX Runtime 模型
- 功能:识别文档版面结构(标题、段落、表格等)
- 预期大小:约 5-10 MB
### 3. 表格识别模型(可选)
- **tsr.onnx** - 表格结构识别模型
- 格式:ONNX Runtime 模型
- 功能:识别表格的行列结构
- 预期大小:约 3-8 MB
### 4. XGBoost 模型(PDF解析用)
- **updown_concat_xgb.model** - 文本拼接模型
- 格式:XGBoost 模型文件
- 功能:判断文本块的上下连接关系
- 预期大小:约 50-200 KB
## 二、中文质量评估标准
### 关键指标:
1. **字符覆盖率**
- 必须支持 GB2312(6763个常用汉字)
- 推荐支持 GBK/GB18030(21000+汉字)
- 必须支持常见标点符号和数字
2. **识别准确率**(在测试图片上)
- 简体中文识别率 > 90%
- 不应该出现"贴佟撩攘尔可"这种完全错误的输出
- 相似字混淆率 < 5%(如"己"和"已")
3. **模型来源验证**
- 必须是 PP-OCRv4 或更新版本
- 来自百度 PaddleOCR 官方训练的中文模型
- 不能用纯英文模型+中文字典的组合
## 三、验证方案
### 步骤1:检查模型元数据
```python
import onnx
model = onnx.load("rec.onnx")
print("模型输入:", model.graph.input[0])
print("模型输出:", model.graph.output[0])
print("模型版本:", model.producer_name)
```
### 步骤2:检查字符字典
```bash
# 统计字符数
wc -l ocr.res
# 检查是否包含中文
head -100 ocr.res | grep -P '[\x{4e00}-\x{9fa5}]'
# 验证常用汉字
echo "的一是在不了有和人这中大为上个国" | while read -n1 c; do grep -q "$c" ocr.res && echo "✓ $c" || echo "✗ $c"; done
```
### 步骤3:实际识别测试
创建测试脚本测试中文识别质量:
```python
from deepdoc.vision.ocr import OCR
import cv2
# 初始化OCR
ocr = OCR(model_dir="rag/res/deepdoc")
# 读取测试图片(包含中文)
test_image = cv2.imread("test_chinese.png")
# 执行识别
result = ocr(test_image)
# 检查结果
for box, (text, conf) in result:
print(f"识别文本: {text}")
print(f"置信度: {conf}")
print(f"是否包含乱码: {'是' if any(c in text for c in '贴佟撩攘') else '否'}")
```
### 步骤4:与已知文本对比
准备包含以下文本的测试图片:
- "欢迎来到旌渝企业知识库平台"
- "登录旌渝企业知识库平台"
- "姓名:张伟,性别:男"
- "合同编号:2024-001"
识别后对比准确率。
## 四、HuggingFace 仓库信息
**仓库地址**: https://huggingface.co/InfiniFlow/deepdoc
**下载方式**(需要在能访问 HuggingFace 的机器上):
```bash
# 方法1:使用 git-lfs
git lfs install
git clone https://huggingface.co/InfiniFlow/deepdoc
# 方法2:使用 huggingface-cli
pip install huggingface_hub
huggingface-cli download InfiniFlow/deepdoc --local-dir ./deepdoc_models
# 方法3:使用镜像站(如果有)
export HF_ENDPOINT=https://hf-mirror.com
python -c "from huggingface_hub import snapshot_download; snapshot_download('InfiniFlow/deepdoc', local_dir='./models')"
```
## 五、安装说明
下载完成后,将以下文件复制到 `/datacore/ragflow/rag/res/deepdoc/` 目录:
```
rag/res/deepdoc/
├── det.onnx # 必需
├── rec.onnx # 必需
├── ocr.res # 必需
├── layout.onnx # 推荐
├── tsr.onnx # 可选
└── updown_concat_xgb.model # 推荐
```
## 六、常见问题
### Q1: 如何确认下载的是中文模型?
A: 检查 `ocr.res` 文件,应该包含 7000+ 行,且前100行应该有大量中文字符。
### Q2: 模型文件多大算正常?
A:
- det.onnx: 2-5 MB
- rec.onnx: 10-15 MB(中文模型会比英文模型大)
- ocr.res: 100-200 KB
### Q3: 如何验证模型能在 RAGFlow 中使用?
A: 将文件放到正确位置后,重启服务,查看日志应该有:
```
load_model /datacore/ragflow/rag/res/deepdoc/det.onnx uses CPU
load_model /datacore/ragflow/rag/res/deepdoc/rec.onnx uses CPU
```
### Q4: 识别效果差怎么办?
A: 确认:
1. rec.onnx 是 PP-OCRv4 中文模型(不是 v3 或英文模型)
2. ocr.res 包含完整中文字符集
3. 图片质量足够(分辨率 > 300 DPI,无模糊)
## 七、紧急备选方案
如果实在无法下载 HuggingFace 模型,可以考虑:
1. **使用 RAGFlow 的 PaddleOCR API 模式**
- 修改知识库配置,在"分块方法"中使用 `@paddleocr` 后缀
- 需要配置 PADDLEOCR_BASE_URL 环境变量
- 使用在线 API 服务
2. **从其他镜像站下载**
- ModelScope(魔塔)可能有镜像
- 国内其他开源镜像站
3. **联系 RAGFlow 社区**
- GitHub Issues: https://github.com/infiniflow/ragflow/issues
- 可能有国内用户分享的模型文件
# RAGFlow 启动问题解决方案
## 问题总结
RAGFlow 服务启动脚本已创建并修复,但**无法完全启动**,主要原因如下:
### ✅ 已解决的问题
1. **缺少 quart-auth 0.12.0** - 已升级安装
2. **缺少 quart-schema 0.23.0** - 已安装
3. **缺少 .env 配置文件** - 已从示例文件创建
4. **启动脚本缺少环境检查** - 已添加完善的检查逻辑
### ❌ 当前阻塞问题
**RAGFlow 依赖的基础服务未运行:**
| 服务 | 端口 | 状态 | 说明 |
|------|------|------|------|
| MySQL | 3306 | ❌ 未运行 | 数据库服务 |
| Redis | 6379 | ❌ 未运行 | 缓存服务 |
| Elasticsearch | 1200 | ❌ 未运行 | 搜索引擎 |
| MinIO | 9000 | ❌ 未运行 | 对象存储 |
**根本原因:** 系统中**没有安装 Docker**,无法使用 `docker-compose` 启动基础服务。
---
## 解决方案
你有以下几种选择:
### 方案 1: 安装 Docker 并启动基础服务 (推荐)
这是最简单和官方推荐的方式。
#### 步骤 1: 安装 Docker
```bash
# 安装 Docker
sudo apt update
sudo apt install docker.io docker-compose -y
# 启动 Docker 服务
sudo systemctl start docker
sudo systemctl enable docker
# 将当前用户添加到 docker 组(避免每次都用 sudo)
sudo usermod -aG docker $USER
# 重新登录或执行以下命令使组权限生效
newgrp docker
```
#### 步骤 2: 启动 RAGFlow 基础服务
```bash
cd /datacore/ragflow
docker compose -f docker/docker-compose-base.yml up -d
```
#### 步骤 3: 检查服务状态
```bash
docker compose -f docker/docker-compose-base.yml ps
```
#### 步骤 4: 启动 RAGFlow
```bash
cd /datacore/ragflow
./scripts/ragflow_service.sh start
```
---
### 方案 2: 手动安装并配置基础服务
如果不想使用 Docker,需要手动安装和配置所有服务。
#### 安装 MySQL
```bash
sudo apt install mysql-server -y
sudo systemctl start mysql
sudo systemctl enable mysql
# 创建 RAGFlow 数据库和用户
sudo mysql -e "CREATE DATABASE ragflow CHARACTER SET utf8mb4 COLLATE utf8mb4_unicode_ci;"
sudo mysql -e "CREATE USER 'ragflow'@'localhost' IDENTIFIED BY 'ragflow_password';"
sudo mysql -e "GRANT ALL PRIVILEGES ON ragflow.* TO 'ragflow'@'localhost';"
sudo mysql -e "FLUSH PRIVILEGES;"
```
#### 安装 Redis
```bash
sudo apt install redis-server -y
sudo systemctl start redis-server
sudo systemctl enable redis-server
```
#### 安装 Elasticsearch
```bash
# 安装 Java (Elasticsearch 依赖)
sudo apt install openjdk-11-jdk -y
# 安装 Elasticsearch
wget -qO - https://artifacts.elastic.co/GPG-KEY-elasticsearch | sudo apt-key add -
echo "deb https://artifacts.elastic.co/packages/8.x/apt stable main" | sudo tee /etc/apt/sources.list.d/elastic-8.x.list
sudo apt update
sudo apt install elasticsearch -y
# 配置 Elasticsearch (监听 1200 端口)
sudo nano /etc/elasticsearch/elasticsearch.yml
# 修改: http.port: 1200
sudo systemctl start elasticsearch
sudo systemctl enable elasticsearch
```
#### 安装 MinIO
```bash
# 下载 MinIO
wget https://dl.min.io/server/minio/release/linux-amd64/minio
chmod +x minio
sudo mv minio /usr/local/bin/
# 创建数据目录
sudo mkdir -p /datacore/minio/data
# 创建 MinIO 服务
sudo tee /etc/systemd/system/minio.service > /dev/null <<EOF
[Unit]
Description=MinIO
After=network.target
[Service]
Type=simple
User=admin2
Group=admin2
ExecStart=/usr/local/bin/minio server /datacore/minio/data --address :9000 --console-address :9001
Restart=always
Environment="MINIO_ROOT_USER=admin"
Environment="MINIO_ROOT_PASSWORD=minioadmin"
[Install]
WantedBy=multi-user.target
EOF
sudo systemctl daemon-reload
sudo systemctl start minio
sudo systemctl enable minio
```
#### 更新 RAGFlow 配置
编辑 `/datacore/ragflow/docker/.env` 文件,配置正确的连接信息:
```bash
# 数据库配置
export MYSQL_HOST=localhost
export MYSQL_PORT=3306
export MYSQL_USER=ragflow
export MYSQL_PASSWORD=ragflow_password
export MYSQL_DB=ragflow
# Redis 配置
export REDIS_HOST=localhost
export REDIS_PORT=6379
# Elasticsearch 配置
export ES_HOST=localhost
export ES_PORT=1200
# MinIO 配置
export MINIO_HOST=localhost:9000
export MINIO_USER=admin
export MINIO_PASSWORD=minioadmin
```
---
### 方案 3: 使用已有的远程服务
如果你的环境中已经有运行的 MySQL、Redis、Elasticsearch 和 MinIO 服务(可能在其他服务器上),可以直接配置连接信息。
编辑 `/datacore/ragflow/docker/.env`:
```bash
# 远程服务配置示例
export MYSQL_HOST=192.168.1.100
export MYSQL_PORT=3306
export MYSQL_USER=ragflow
export MYSQL_PASSWORD=your_password
export MYSQL_DB=ragflow
export REDIS_HOST=192.168.1.101
export REDIS_PORT=6379
export REDIS_PASSWORD=your_redis_password
export ES_HOST=192.168.1.102
export ES_PORT=9200
export MINIO_HOST=192.168.1.103:9000
export MINIO_USER=your_access_key
export MINIO_PASSWORD=your_secret_key
```
然后运行启动脚本:
```bash
cd /datacore/ragflow
./scripts/ragflow_service.sh start
```
---
## 启动脚本功能说明
已创建的启动脚本 `/datacore/ragflow/scripts/ragflow_service.sh` 包含以下功能:
### ✅ 环境检查
- 检查 conda 虚拟环境
- 检查配置文件
- 检查前端依赖
- **检查基础服务连接** (MySQL/Redis/Elasticsearch/MinIO)
### ✅ 服务管理
```bash
./scripts/ragflow_service.sh start # 启动服务
./scripts/ragflow_service.sh stop # 停止服务
./scripts/ragflow_service.sh restart # 重启服务
./scripts/ragflow_service.sh status # 查看状态
./scripts/ragflow_service.sh logs # 查看日志
```
### ✅ 错误提示
- 当基础服务未运行时,会友好提示并询问是否继续
- 显示缺失服务和推荐的解决方法
---
## 前端服务说明
前端服务也需要单独处理:
### 安装前端依赖
```bash
cd /datacore/ragflow/web
# 首次运行需要安装 node_modules
npm install
```
### 注意事项
- 前端需要 **Node.js** 环境
- 检查是否已安装: `node --version` 和 `npm --version`
- 如果未安装,需要先安装 Node.js:
```bash
# 安装 Node.js (推荐使用 nvm)
curl -o- https://raw.githubusercontent.com/nvm-sh/nvm/v0.39.0/install.sh | bash
source ~/.bashrc
nvm install 18
nvm use 18
```
---
## 完整启动流程
假设选择**方案 1**(推荐),完整流程如下:
```bash
# 1. 安装 Docker
sudo apt update && sudo apt install docker.io docker-compose -y
sudo systemctl start docker
sudo usermod -aG docker $USER
newgrp docker
# 2. 启动基础服务
cd /datacore/ragflow
docker compose -f docker/docker-compose-base.yml up -d
# 3. 等待服务启动(约 30 秒)
sleep 30
# 4. 检查服务状态
docker compose -f docker/docker-compose-base.yml ps
# 5. 安装前端依赖(首次)
cd /datacore/ragflow/web
npm install
# 6. 启动 RAGFlow
cd /datacore/ragflow
./scripts/ragflow_service.sh start
# 7. 查看日志
./scripts/ragflow_service.sh logs
```
---
## 故障排查
### 检查基础服务是否运行
```bash
# 检查 MySQL
nc -zv localhost 3306
# 检查 Redis
nc -zv localhost 6379
# 检查 Elasticsearch
nc -zv localhost 1200
# 检查 MinIO
nc -zv localhost 9000
```
### 查看 Docker 服务日志
```bash
cd /datacore/ragflow
docker compose -f docker/docker-compose-base.yml logs -f
```
### 查看 RAGFlow 日志
```bash
# 后端日志
tail -f /datacore/ragflow/logs/backend.log
# 前端日志
tail -f /datacore/ragflow/logs/frontend.log
```
---
## 当前状态
| 项目 | 状态 | 说明 |
|------|------|------|
| Python 环境 | ✅ 正常 | conda 环境 ragflow,Python 3.13.15 |
| Python 依赖 | ✅ 已安装 | 483 个包,包括 quart-auth 0.12.0, quart-schema 0.23.0 |
| 启动脚本 | ✅ 已创建 | `/datacore/ragflow/scripts/ragflow_service.sh` |
| 配置文件 | ✅ 已创建 | `/datacore/ragflow/docker/.env` |
| MySQL | ❌ 未运行 | 需要安装或启动 |
| Redis | ❌ 未运行 | 需要安装或启动 |
| Elasticsearch | ❌ 未运行 | 需要安装或启动 |
| MinIO | ❌ 未运行 | 需要安装或启动 |
| Docker | ❌ 未安装 | 需要安装 |
| 前端依赖 | ❌ 未安装 | 需要运行 npm install |
---
## 推荐行动
**立即执行(推荐顺序):**
1. ✅ 安装 Docker: `sudo apt install docker.io docker-compose -y`
2. ✅ 启动 Docker: `sudo systemctl start docker`
3. ✅ 启动基础服务: `docker compose -f docker/docker-compose-base.yml up -d`
4. ✅ 安装前端依赖: `cd web && npm install`
5. ✅ 启动服务: `./scripts/ragflow_service.sh start`
---
## 联系支持
如遇到其他问题,请查看:
- RAGFlow 官方文档: https://github.com/infiniflow/ragflow
- 查看日志文件: `/datacore/ragflow/logs/`
- 检查配置文件: `/datacore/ragflow/docker/.env`
{
{
"factory_llm_infos": [
{
"name": "OpenAI-API-Compatible",
......
......@@ -11,7 +11,7 @@ mysql:
name: 'rag_flow'
user: 'root'
password: 'infini_rag_flow'
host: 'mysql'
host: 'localhost'
port: 3306
max_connections: 900
stale_timeout: 300
......@@ -19,7 +19,7 @@ mysql:
minio:
user: 'rag_flow'
password: 'infini_rag_flow'
host: 'localhost:7663'
host: 'localhost:9000'
bucket: ''
prefix_path: ''
es:
......@@ -46,7 +46,7 @@ redis:
db: 0
username: ''
password: 'infini_rag_flow'
host: 'redis:6379'
host: 'localhost:6379'
nats:
host: "localhost"
port: 4222
......
......@@ -67,7 +67,22 @@ class RAGFlowPdfParser:
"""
self.ocr = OCR()
# 优先使用 PaddleOCR 提供更好的中文识别
use_paddleocr = os.environ.get("USE_PADDLEOCR", "1") == "1"
if use_paddleocr:
try:
from deepdoc.vision.paddleocr_wrapper import PaddleOCRRecognizer
ocr_instance = OCR()
recognizer = PaddleOCRRecognizer(use_gpu=False)
if recognizer.available:
ocr_instance.text_recognizer = [recognizer]
logging.info("✓ 使用 PaddleOCR PP-OCRv5 中文识别器")
self.ocr = ocr_instance
except Exception as e:
logging.warning(f"PaddleOCR 加载失败: {e},使用默认 ONNX OCR")
self.ocr = OCR()
else:
self.ocr = OCR()
self.parallel_limiter = None
if settings.PARALLEL_DEVICES > 1:
self.parallel_limiter = [asyncio.Semaphore(1) for _ in range(settings.PARALLEL_DEVICES)]
......
......@@ -524,6 +524,9 @@ class OCR:
^_-
"""
# Check if PaddleOCR should be used for better Chinese recognition
use_paddleocr = os.environ.get("USE_PADDLEOCR", "1").lower() in ("1", "true", "yes")
if not model_dir:
try:
model_dir = os.path.join(get_project_base_directory(), "rag/res/deepdoc")
......@@ -534,10 +537,36 @@ class OCR:
self.text_recognizer = []
for device_id in range(settings.PARALLEL_DEVICES):
self.text_detector.append(TextDetector(model_dir, device_id))
self.text_recognizer.append(TextRecognizer(model_dir, device_id))
if use_paddleocr:
try:
from .paddleocr_wrapper import PaddleOCRRecognizer
recognizer = PaddleOCRRecognizer(use_gpu=False)
if recognizer.available:
self.text_recognizer.append(recognizer)
logging.info(f"使用 PaddleOCR 识别器 (设备 {device_id})")
else:
self.text_recognizer.append(TextRecognizer(model_dir, device_id))
except Exception as e:
logging.warning(f"PaddleOCR 加载失败: {e},使用默认识别器")
self.text_recognizer.append(TextRecognizer(model_dir, device_id))
else:
self.text_recognizer.append(TextRecognizer(model_dir, device_id))
else:
self.text_detector = [TextDetector(model_dir)]
self.text_recognizer = [TextRecognizer(model_dir)]
if use_paddleocr:
try:
from .paddleocr_wrapper import PaddleOCRRecognizer
recognizer = PaddleOCRRecognizer(use_gpu=False)
if recognizer.available:
self.text_recognizer = [recognizer]
logging.info("✓ 使用 PaddleOCR 中文识别器")
else:
self.text_recognizer = [TextRecognizer(model_dir)]
except Exception as e:
logging.warning(f"PaddleOCR 加载失败: {e},使用默认识别器")
self.text_recognizer = [TextRecognizer(model_dir)]
else:
self.text_recognizer = [TextRecognizer(model_dir)]
except Exception:
model_dir = snapshot_download(
......@@ -550,10 +579,32 @@ class OCR:
self.text_recognizer = []
for device_id in range(settings.PARALLEL_DEVICES):
self.text_detector.append(TextDetector(model_dir, device_id))
self.text_recognizer.append(TextRecognizer(model_dir, device_id))
if use_paddleocr:
try:
from .paddleocr_wrapper import PaddleOCRRecognizer
recognizer = PaddleOCRRecognizer(use_gpu=False)
if recognizer.available:
self.text_recognizer.append(recognizer)
else:
self.text_recognizer.append(TextRecognizer(model_dir, device_id))
except Exception as e:
self.text_recognizer.append(TextRecognizer(model_dir, device_id))
else:
self.text_recognizer.append(TextRecognizer(model_dir, device_id))
else:
self.text_detector = [TextDetector(model_dir)]
self.text_recognizer = [TextRecognizer(model_dir)]
if use_paddleocr:
try:
from .paddleocr_wrapper import PaddleOCRRecognizer
recognizer = PaddleOCRRecognizer(use_gpu=False)
if recognizer.available:
self.text_recognizer = [recognizer]
else:
self.text_recognizer = [TextRecognizer(model_dir)]
except Exception as e:
self.text_recognizer = [TextRecognizer(model_dir)]
else:
self.text_recognizer = [TextRecognizer(model_dir)]
self.drop_score = 0.5
self.crop_image_res_index = 0
......
# PaddleOCR wrapper for better Chinese OCR recognition
import os
import logging
import numpy as np
class PaddleOCRRecognizer:
"""PaddleOCR 文本识别器包装类,用于替代 ONNX TextRecognizer 提供更好的中文识别"""
def __init__(self, use_gpu=False):
try:
from paddleocr import PaddleOCR
logging.info("初始化 PaddleOCR PP-OCRv5 中文识别引擎...")
# 使用与 contract-ai-service 相同的配置
# PP-OCRv5 是最新版本,识别效果比 v4 更好
profile = os.getenv("OCR_MODEL_PROFILE", "mobile").strip().lower()
model_prefix = "server" if profile == "server" else "mobile"
options = {
"use_angle_cls": True,
"lang": "ch",
"use_gpu": use_gpu,
"show_log": False,
"text_detection_model_name": f"PP-OCRv5_{model_prefix}_det",
"text_recognition_model_name": f"PP-OCRv5_{model_prefix}_rec",
"use_doc_orientation_classify": False,
"use_doc_unwarping": False,
"use_textline_orientation": False,
"text_det_limit_type": "max",
"text_det_limit_side_len": 1200,
"text_recognition_batch_size": 64
}
logging.info(f"使用模型: PP-OCRv5_{model_prefix}_det + PP-OCRv5_{model_prefix}_rec")
try:
self.ocr = PaddleOCR(**options)
logging.info("✓ PaddleOCR PP-OCRv5 初始化成功")
except (TypeError, ValueError) as e:
# 如果 PP-OCRv5 参数不支持,回退到基础配置
logging.warning(f"PP-OCRv5 配置失败,使用默认配置: {e}")
self.ocr = PaddleOCR(use_angle_cls=True, lang='ch', use_gpu=use_gpu, show_log=False)
logging.info("✓ PaddleOCR 默认配置初始化成功")
self.available = True
except ImportError:
logging.warning("PaddleOCR 未安装,将使用默认 ONNX 识别器")
self.available = False
except Exception as e:
logging.warning(f"PaddleOCR 初始化失败: {e},将使用默认 ONNX 识别器")
self.available = False
def __call__(self, img_list):
"""
识别文本图片列表
Args:
img_list: 图片列表 (numpy arrays)
Returns:
识别结果列表 [[(text, confidence)], ...]
"""
if not self.available:
return [[("", 0.0)] for _ in img_list]
rec_res = []
for img in img_list:
try:
# PaddleOCR 识别
# 输入: numpy array 图片
# 输出: [[bbox, (text, confidence)], ...] 或 None
result = self.ocr.ocr(img, cls=True)
if result and result[0]:
# 合并所有识别到的文本
texts = []
confidences = []
for line in result[0]:
if line and len(line) >= 2:
text, conf = line[1]
texts.append(text)
confidences.append(conf)
if texts:
combined_text = " ".join(texts)
avg_confidence = sum(confidences) / len(confidences)
rec_res.append([(combined_text, avg_confidence)])
else:
rec_res.append([("", 0.0)])
else:
rec_res.append([("", 0.0)])
except Exception as e:
logging.warning(f"PaddleOCR 识别失败: {e}")
rec_res.append([("", 0.0)])
return rec_res
def close(self):
"""清理资源"""
if hasattr(self, 'ocr'):
del self.ocr
......@@ -240,17 +240,19 @@ run_mysql_migrations() {
}
prepare_for_go() {
if [ -d /usr/share/infinity/resource ]; then
# Use local resource directory instead of /usr/share/infinity (requires root)
RESOURCE_DIR="/datacore/ragflow/resource"
if [ -d "$RESOURCE_DIR" ]; then
echo "Resource directory already exists. Skipping preparation."
return
fi
mkdir -p /usr/share/infinity/resource
mkdir -p "$RESOURCE_DIR"
if [ "$NEED_MIRROR" == "1" ]; then
git clone --depth 1 --single-branch https://gitee.com/infiniflow/resource /tmp/resource;
else
git clone --depth 1 --single-branch https://github.com/infiniflow/resource.git /tmp/resource;
fi
cp -r /tmp/resource/* /usr/share/infinity/resource
cp -r /tmp/resource/* "$RESOURCE_DIR"
rm -rf /tmp/resource
}
......
# RAGFlow 服务管理脚本使用说明
## 脚本位置
```bash
/datacore/ragflow/ragflow_service.sh
```
## 功能特性
✅ **自动管理 conda 虚拟环境** (ragflow)
✅ **支持启动、停止、重启服务**
✅ **自动输出前端和后端日志**
✅ **进程状态监控**
✅ **优雅关闭和强制停止**
✅ **彩色日志输出**
## 基本用法
### 1. 启动服务
```bash
cd /datacore/ragflow
./ragflow_service.sh start
```
**启动流程:**
- 自动激活 conda 虚拟环境 `ragflow`
- 启动后端服务 (Python API)
- 启动前端服务 (npm dev server)
- 日志输出到 `logs/` 目录
**启动后输出示例:**
```
[INFO] ==========================================
[INFO] 启动 RAGFlow 服务
[INFO] ==========================================
[INFO] 启动后端服务...
[INFO] 后端服务启动成功 (PID: 12345)
[INFO] 后端日志: /datacore/ragflow/logs/backend.log
[INFO] 启动前端服务...
[INFO] 前端服务启动成功 (PID: 12346)
[INFO] 前端日志: /datacore/ragflow/logs/frontend.log
[INFO] 前端访问地址: http://localhost:8888
[INFO] ==========================================
[INFO] RAGFlow 服务启动完成
[INFO] ==========================================
```
### 2. 停止服务
```bash
./ragflow_service.sh stop
```
**停止流程:**
- 优雅关闭前端服务 (等待 10 秒)
- 优雅关闭后端服务 (等待 10 秒)
- 如果进程未响应,自动强制停止
- 清理 PID 文件
### 3. 重启服务
```bash
./ragflow_service.sh restart
```
**重启流程:**
- 先执行 stop 操作
- 等待 2 秒
- 执行 start 操作
### 4. 查看状态
```bash
./ragflow_service.sh status
```
**状态输出示例:**
```
[INFO] ==========================================
[INFO] RAGFlow 服务状态
[INFO] ==========================================
[INFO] 后端服务: 运行中 (PID: 12345)
[INFO] 前端服务: 运行中 (PID: 12346)
[INFO] ==========================================
```
### 5. 查看日志
```bash
# 查看所有日志 (前端+后端)
./ragflow_service.sh logs
# 只查看后端日志
./ragflow_service.sh logs backend
# 只查看前端日志
./ragflow_service.sh logs frontend
```
**按 Ctrl+C 退出日志查看**
## 日志文件位置
| 服务 | 日志路径 | 说明 |
|------|---------|------|
| 后端 | `/datacore/ragflow/logs/backend.log` | Python API 服务日志 |
| 前端 | `/datacore/ragflow/logs/frontend.log` | npm dev server 日志 |
| PID 文件 | `/datacore/ragflow/logs/*.pid` | 进程 ID 文件 |
## 手动查看日志
```bash
# 实时查看后端日志
tail -f /datacore/ragflow/logs/backend.log
# 实时查看前端日志
tail -f /datacore/ragflow/logs/frontend.log
# 同时查看所有日志
tail -f /datacore/ragflow/logs/*.log
```
## 配置说明
脚本中的配置项 (如需修改,编辑脚本顶部):
```bash
CONDA_ENV="ragflow" # conda 环境名
CONDA_PATH="/datacore/home/admin2/miniconda3" # conda 安装路径
PROJECT_ROOT="/datacore/ragflow" # 项目根目录
WEB_DIR="$PROJECT_ROOT/web" # 前端目录
LOGS_DIR="$PROJECT_ROOT/logs" # 日志目录
```
## 前置要求
### 后端服务
- ✅ Python 3.13+ (已在 conda 环境中安装)
- ✅ 所有 Python 依赖已安装
- ⚠️ Docker 基础服务需要运行 (MySQL/Redis/MinIO/Elasticsearch)
启动 Docker 基础服务:
```bash
cd /datacore/ragflow
docker compose -f docker/docker-compose-base.yml up -d
```
### 前端服务
- ⚠️ Node.js 和 npm 已安装
- ⚠️ 前端依赖需要安装
首次使用前安装前端依赖:
```bash
cd /datacore/ragflow/web
npm install
```
## 故障排查
### 1. 后端启动失败
**检查日志:**
```bash
cat /datacore/ragflow/logs/backend.log
```
**常见原因:**
- Docker 基础服务未启动
- Python 依赖缺失
- 端口被占用
### 2. 前端启动失败
**检查日志:**
```bash
cat /datacore/ragflow/logs/frontend.log
```
**常见原因:**
- `node_modules` 未安装 (运行 `cd web && npm install`)
- 端口 8888 被占用
- npm 版本不兼容
### 3. 进程无法停止
如果脚本无法停止服务,可以手动强制停止:
```bash
# 查看进程
ps aux | grep ragflow
ps aux | grep node
# 强制杀死进程
kill -9 <PID>
# 或者使用脚本的 PID 文件
kill -9 $(cat /datacore/ragflow/logs/backend.pid)
kill -9 $(cat /datacore/ragflow/logs/frontend.pid)
# 清理 PID 文件
rm -f /datacore/ragflow/logs/*.pid
```
### 4. 权限问题
如果遇到权限错误:
```bash
chmod +x /datacore/ragflow/ragflow_service.sh
chmod -R 755 /datacore/ragflow/logs
```
## 访问服务
启动成功后:
- **前端界面:** http://localhost:8888
- **后端 API:** 默认运行在配置的端口 (查看 `docker/.env` 文件)
## 开机自启动 (可选)
如果需要开机自启动,可以添加到 systemd:
```bash
sudo nano /etc/systemd/system/ragflow.service
```
内容:
```ini
[Unit]
Description=RAGFlow Service
After=network.target docker.service
[Service]
Type=forking
User=admin2
WorkingDirectory=/datacore/ragflow
ExecStart=/datacore/ragflow/ragflow_service.sh start
ExecStop=/datacore/ragflow/ragflow_service.sh stop
ExecReload=/datacore/ragflow/ragflow_service.sh restart
Restart=on-failure
[Install]
WantedBy=multi-user.target
```
启用服务:
```bash
sudo systemctl daemon-reload
sudo systemctl enable ragflow
sudo systemctl start ragflow
```
## 快速命令参考
| 命令 | 说明 |
|------|------|
| `./ragflow_service.sh start` | 启动所有服务 |
| `./ragflow_service.sh stop` | 停止所有服务 |
| `./ragflow_service.sh restart` | 重启所有服务 |
| `./ragflow_service.sh status` | 查看服务状态 |
| `./ragflow_service.sh logs` | 查看所有日志 |
| `./ragflow_service.sh logs backend` | 查看后端日志 |
| `./ragflow_service.sh logs frontend` | 查看前端日志 |
## 技术支持
如遇问题,请检查:
1. 日志文件 (`logs/*.log`)
2. Docker 基础服务状态 (`docker compose ps`)
3. conda 环境是否正确 (`conda env list`)
4. 端口占用情况 (`netstat -tulpn | grep 8888`)
#!/bin/bash
# RAGFlow 依赖安装脚本 - 分阶段安装避免依赖冲突
# 使用 conda 虚拟环境
set -e
echo "==================== RAGFlow 依赖安装计划 ===================="
echo "Python 版本要求: 3.13"
echo "安装目标: ragflow conda 虚拟环境"
echo ""
# 激活虚拟环境
echo "步骤 0: 激活虚拟环境"
source /datacore/ragflow/.venv/bin/activate
echo ""
echo "==================== 阶段 1: 核心基础包 ===================="
echo "安装 Python 核心工具和基础依赖"
pip install --no-deps \
setuptools==80.1.0 \
wheel \
pip==25.2
echo ""
echo "==================== 阶段 2: 底层依赖 ===================="
echo "安装底层 C 扩展和加密库"
pip install \
cffi==2.0.0 \
pycparser==2.23 \
cryptography==46.0.3 \
bcrypt==4.2.1 \
argon2-cffi==25.1.0 \
pycryptodomex==3.20.0
echo ""
echo "==================== 阶段 3: 数据处理核心 ===================="
echo "安装 numpy, pandas 等数据处理库"
pip install \
numpy==1.26.4 \
pandas==2.2.3 \
pillow==12.3.0 \
opencv-python==4.10.0.84 \
opencv-python-headless==4.10.0.84
echo ""
echo "==================== 阶段 4: 网络和异步库 ===================="
echo "安装 HTTP 客户端和异步框架"
pip install \
urllib3==2.7.0 \
certifi \
requests==2.32.3 \
aiohttp==3.14.3 \
httpx \
anyio \
sniffio
echo ""
echo "==================== 阶段 5: Web 框架 - Quart 优先 ===================="
echo "先安装 Quart 及其扩展(不要同时安装 Flask)"
pip install \
werkzeug==3.1.7 \
quart==0.20.0 \
quart-auth==0.11.0 \
quart-cors==0.8.0 \
quart-schema==0.23.0 \
hypercorn
echo ""
echo "==================== 阶段 6: Flask 扩展(兼容模式)===================="
echo "安装 Flask 扩展组件(不覆盖 Quart)"
pip install --no-deps \
flask-cors==6.0.2 \
flask-login==0.6.3 \
flask-mail==0.10.0 \
flask-session==0.8.0 \
flasgger==0.9.7.1
# 单独安装 Flask(如果需要)
pip install flask==3.0.3
echo ""
echo "==================== 阶段 7: 数据库驱动 ===================="
echo "安装数据库连接器"
pip install \
peewee==3.17.8 \
pymysql==1.1.1 \
mysql-connector-python==9.0.0 \
psycopg2-binary==2.9.11 \
redis==5.2.1 \
valkey==6.0.2
echo ""
echo "==================== 阶段 8: 搜索引擎客户端 ===================="
echo "安装 Elasticsearch 和 OpenSearch"
pip install \
elastic-transport==8.19.0 \
elasticsearch==8.12.0 \
elasticsearch-dsl==8.12.0 \
opensearch-py==2.7.1
echo ""
echo "==================== 阶段 9: 对象存储 ===================="
echo "安装 MinIO, S3, OSS 等"
pip install \
minio==7.2.4 \
boto3==1.28.0 \
oss2 \
cos-python-sdk-v5
echo ""
echo "==================== 阶段 10: 文件格式处理 ===================="
echo "安装文档和媒体文件处理库"
pip install \
python-docx==1.1.2 \
python-pptx==1.0.2 \
openpyxl==3.1.5 \
pypdf==6.16.1 \
pdfplumber==0.11.10 \
python-calamine==0.4.0 \
extract-msg==0.39.0 \
mammoth==1.11.0 \
reportlab==4.4.1
echo ""
echo "==================== 阶段 11: NLP 和文本处理 ===================="
echo "安装自然语言处理库"
pip install \
chardet==5.2.0 \
langdetect==1.0.9 \
nltk==3.10.0 \
jieba \
cn2an==0.5.22 \
roman-numbers==1.0.2 \
word2number==1.1 \
xpinyin==0.7.6
echo ""
echo "==================== 阶段 12: Spacy 和模型 ===================="
echo "安装 Spacy(不安装模型,避免 GitHub 超时)"
pip install spacy==3.8.14
echo ""
echo "==================== 阶段 13: AI/ML 库 ===================="
echo "安装机器学习和 AI 相关库"
pip install \
scikit-learn==1.5.0 \
xgboost==1.6.0 \
umap-learn==0.5.6 \
tiktoken==0.7.0 \
onnxruntime==1.23.2
echo ""
echo "==================== 阶段 14: LLM SDK ===================="
echo "安装各种 LLM 提供商的 SDK"
pip install \
openai \
anthropic==0.76.0 \
dashscope==1.25.11 \
cohere==5.6.2 \
groq==0.30.0 \
ollama==0.5.1 \
mistralai==2.7.2 \
replicate==0.31.0 \
voyageai==0.2.3 \
qianfan==0.4.6 \
litellm==1.84.0
echo ""
echo "==================== 阶段 15: 云服务 SDK ===================="
echo "安装云平台 SDK"
pip install \
azure-identity==1.25.3 \
azure-storage-file-datalake==12.16.0 \
google-api-python-client==2.190.0 \
google-auth-oauthlib==1.2.0 \
google-cloud-bigquery==3.25.0 \
google-cloud-storage==2.19.0 \
google-genai==1.41.0 \
tencentcloud-sdk-python==3.0.1478 \
volcengine==1.0.194
echo ""
echo "==================== 阶段 16: 协作工具 SDK ===================="
echo "安装 Slack, Discord, Telegram 等"
pip install \
slack-sdk==3.37.0 \
discord-py==2.3.2 \
python-telegram-bot==21.0 \
line-bot-sdk==3.0.0 \
wechatpy==1.8.18 \
atlassian-python-api==4.0.7 \
jira==3.10.5 \
pyairtable==3.3.0 \
pygithub==2.8.1 \
asana==5.2.2 \
python-gitlab==7.0.0 \
alibabacloud-dingtalk==2.0.0 \
lark-oapi==1.2.0
echo ""
echo "==================== 阶段 17: Web 爬虫和浏览器自动化 ===================="
echo "安装 Selenium, Playwright 等"
pip install \
selenium==4.22.0 \
selenium-wire==5.1.0 \
webdriver-manager==4.0.1 \
playwright \
beautifulsoup4 \
lxml==6.1.1 \
lxml-html-clean==0.4.5 \
html-text==0.6.2 \
trafilatura==2.0.0 \
readability-lxml==0.8.4 \
crawl4ai==0.9.2 \
duckduckgo-search==7.2.0
echo ""
echo "==================== 阶段 18: 数据源集成 ===================="
echo "安装各种数据源的客户端"
pip install \
dropbox==12.0.2 \
boxsdk==10.1.0 \
Office365-REST-Python-Client==2.6.2 \
webdav4==0.10.0 \
paramiko==3.5.1
echo ""
echo "==================== 阶段 19: 工具库 ===================="
echo "安装工具和辅助库"
pip install \
pyyaml \
ruamel-yaml==0.18.6 \
filelock \
loguru \
tenacity \
ormsgpack==1.6.0 \
xxhash==3.5.0 \
click==8.1.8 \
pyjwt \
python-dotenv==1.0.1 \
tabulate==0.9.0 \
tqdm \
regex==2025.11.3 \
rapidfuzz==3.14.5 \
demjson3==3.0.6 \
json-repair==0.60.1
echo ""
echo "==================== 阶段 20: 专用库 ===================="
echo "安装 RAGFlow 特定功能库"
pip install \
infinity-sdk==0.7.3 \
infinity-emb==0.0.66 \
langfuse==4.0.1 \
langgraph==1.2.0 \
mcp==1.28.1 \
agentrun-sdk==0.0.51 \
nest-asyncio==1.6.0 \
browser-use==0.11.1 \
ucloud-sandbox==1.4.2 \
zai-sdk==0.2.3 \
pyobvector==0.2.22 \
opendal==0.45.0 \
sqlglotrs==0.9.0 \
ranx==0.3.20 \
tavily-python==0.5.1 \
feedparser==6.0.11 \
arxiv==2.1.3 \
scholarly==1.7.11 \
wikipedia==1.4.0 \
yfinance==0.2.65 \
akshare==1.15.78 \
google-search-results==2.4.2 \
deepl==1.18.0 \
captcha==0.7.1 \
tika==2.6.0 \
pypandoc==1.16 \
markdown==3.8.1 \
markdown-to-json==2.1.1 \
markdownify==1.2.0 \
ffmpeg-python==0.2.0 \
mini-racer==0.12.4 \
pyclipper==1.4.0 \
pyodbc==5.2.0 \
pluginlib==0.10.0 \
exceptiongroup==1.3.0 \
beartype==0.20.0 \
bio==1.7.1 \
socksio==1.0.0 \
debugpy==1.8.13 \
aiosmtplib==5.1.1 \
moodlepy==0.23.0 \
mypy-boto3-s3==1.40.26 \
audioop-lts==0.2.1 \
protobuf==5.29.6 \
grpcio-status==1.67.1 \
trio==0.26.0
echo ""
echo "==================== 完成 ===================="
echo "依赖安装完成!"
echo ""
echo "注意事项:"
echo "1. Spacy 语言模型需要单独下载(避免 GitHub 超时):"
echo " python -m spacy download zh_core_web_sm"
echo " python -m spacy download en_core_web_sm"
echo ""
echo "2. 如果遇到包冲突,可以使用 pip install --force-reinstall 重装"
echo ""
echo "3. 验证安装:"
echo " cd /datacore/ragflow"
echo " python -c 'from api.db.db_models import init_database_tables; print(\"Success\")'"
echo ""
#!/bin/bash
# RAGFlow 快捷命令
# 将以下内容添加到 ~/.bashrc 或 ~/.zshrc 中,然后执行 source ~/.bashrc
# RAGFlow 服务管理别名
alias ragflow='/datacore/ragflow/ragflow_service.sh'
alias ragflow-start='/datacore/ragflow/ragflow_service.sh start'
alias ragflow-stop='/datacore/ragflow/ragflow_service.sh stop'
alias ragflow-restart='/datacore/ragflow/ragflow_service.sh restart'
alias ragflow-status='/datacore/ragflow/ragflow_service.sh status'
alias ragflow-logs='/datacore/ragflow/ragflow_service.sh logs'
alias ragflow-logs-backend='/datacore/ragflow/ragflow_service.sh logs backend'
alias ragflow-logs-frontend='/datacore/ragflow/ragflow_service.sh logs frontend'
# RAGFlow 快捷目录
alias cdragflow='cd /datacore/ragflow'
alias cdragflow-web='cd /datacore/ragflow/web'
alias cdragflow-api='cd /datacore/ragflow/api'
alias cdragflow-logs='cd /datacore/ragflow/logs'
echo "RAGFlow 快捷命令已加载!"
echo "使用 'ragflow' 查看帮助"
# RAGFlow 依赖清单 - 兼容版本
# 基于 pyproject.toml 生成,已解决循环依赖问题
# Python 版本: 3.13
# ==================== 核心基础 ====================
setuptools==80.1.0
wheel
pip==25.2
# ==================== 底层加密和安全 ====================
cffi==2.0.0
pycparser==2.23
cryptography==46.0.3
bcrypt==4.2.1
argon2-cffi==25.1.0
pycryptodomex==3.20.0
# ==================== 数据处理核心 ====================
numpy>=1.26.0,<2.0.0
pandas>=2.2.0,<3.0.0
pillow>=12.3.0,<13.0.0
opencv-python==4.10.0.84
opencv-python-headless==4.10.0.84
scikit-learn==1.5.0
xgboost==1.6.0
umap-learn==0.5.6
# ==================== 网络和 HTTP ====================
urllib3>=2.7.0
certifi
requests>=2.32.3,<3.0.0
aiohttp>=3.14.3
httpx
anyio
sniffio
socksio==1.0.0
# ==================== Web 框架(关键:顺序很重要!)====================
# 先安装 Quart 栈
werkzeug>=3.1.7,<4
quart==0.20.0
quart-auth==0.11.0
quart-cors==0.8.0
quart-schema==0.23.0
hypercorn
# Flask 扩展(不冲突)
flask-cors==6.0.2
flask-login==0.6.3
flask-mail>=0.10.0
flask-session==0.8.0
flasgger>=0.9.7.1,<0.10.0
# ==================== 数据库 ====================
peewee>=3.17.1,<4.0.0
pymysql>=1.1.1,<2.0.0
mysql-connector-python>=9.0.0,<10.0.0
psycopg2-binary>=2.9.11,<3.0.0
redis
valkey==6.0.2
# ==================== 搜索引擎 ====================
elastic-transport>=8.19.0
elasticsearch>=8.12.0
elasticsearch-dsl==8.12.0
opensearch-py==2.7.1
# ==================== 对象存储 ====================
minio==7.2.4
boto3>=1.28.0
oss2
cos-python-sdk-v5
mypy-boto3-s3==1.40.26
opendal>=0.45.0,<0.46.0
# ==================== 文档处理 ====================
python-docx>=1.1.2,<2.0.0
python-pptx>=1.0.2,<2.0.0
openpyxl>=3.1.0,<4.0.0
pypdf>=6.16.1
pdfplumber==0.11.10
python-calamine>=0.4.0
extract-msg>=0.39.0
mammoth>=1.11.0
reportlab>=4.4.1
tika==2.6.0
pypandoc>=1.16
# ==================== 网页解析 ====================
beautifulsoup4
lxml>=6.1.1
lxml-html-clean>=0.4.5
html-text==0.6.2
trafilatura>=2.0.0
readability-lxml>=0.8.4,<1.0.0
markdown>=3.8.1,<4.0.0
markdown-to-json==2.1.1
markdownify>=1.2.0
# ==================== NLP 核心 ====================
chardet>=5.2.0,<6.0.0
langdetect==1.0.9
nltk>=3.10.0
jieba
cn2an==0.5.22
roman-numbers==1.0.2
word2number==1.1
xpinyin==0.7.6
spacy==3.8.14
# Spacy 模型需要单独下载,避免 GitHub 超时
# ==================== AI/ML 框架 ====================
tiktoken==0.7.0
onnxruntime==1.23.2
# transformers # 可选,如果需要
# sentence-transformers # 可选,如果需要
# ==================== LLM SDK ====================
openai>=1.45.0
anthropic==0.76.0
dashscope==1.25.11
cohere==5.6.2
groq>=0.30.0,<1.0.0
ollama>=0.5.1
mistralai>=2.7.2,<3.0.0
replicate==0.31.0
voyageai==0.2.3
qianfan==0.4.6
litellm==1.84.0
google-genai>=1.41.0,<2.0.0
# ==================== 云服务 SDK ====================
azure-identity>=1.25.3
azure-storage-file-datalake==12.16.0
google-api-python-client>=2.190.0,<3.0.0
google-auth-oauthlib>=1.2.0,<2.0.0
google-cloud-bigquery>=3.25.0,<4.0.0
google-cloud-storage>=2.19.0,<3.0.0
tencentcloud-sdk-python==3.0.1478
volcengine==1.0.194
# ==================== 浏览器自动化 ====================
selenium==4.22.0
selenium-wire==5.1.0
webdriver-manager==4.0.1
playwright
crawl4ai>=0.9.2,<0.9.3
duckduckgo-search>=7.2.0,<8.0.0
browser-use>=0.11.1,<0.12.0
# ==================== 协作工具 SDK ====================
slack-sdk==3.37.0
discord-py==2.3.2
python-telegram-bot>=21.0
line-bot-sdk>=3.0.0
wechatpy>=1.8.18
atlassian-python-api==4.0.7
jira==3.10.5
pyairtable>=3.3.0
pygithub>=2.8.1
asana>=5.2.2
python-gitlab>=7.0.0
alibabacloud-dingtalk>=2.0.0
lark-oapi>=1.2.0
# ==================== 文件存储服务 ====================
dropbox==12.0.2
boxsdk>=10.1.0
Office365-REST-Python-Client==2.6.2
webdav4>=0.10.0,<0.11.0
paramiko>=3.5.1
# ==================== 工具库 ====================
pyyaml
ruamel-yaml>=0.18.6,<0.19.0
ruamel-base==1.0.0
filelock
loguru
tenacity
ormsgpack>=1.6.0
xxhash>=3.5.0,<4.0.0
click>=8.1.8
pyjwt
python-dotenv==1.0.1
python-dateutil==2.8.2
tabulate==0.9.0
tqdm
regex>=2025.11.3
rapidfuzz==3.14.5
demjson3==3.0.6
json-repair==0.60.1
six==1.16.0
# ==================== 数据和爬虫 ====================
feedparser>=6.0.11,<7.0.0
arxiv==2.1.3
scholarly==1.7.11
wikipedia==1.4.0
yfinance==0.2.65
akshare>=1.15.78,<2.0.0
google-search-results==2.4.2
# ==================== RAGFlow 专用 ====================
infinity-sdk==0.7.3
infinity-emb>=0.0.66,<0.0.67
langfuse>=4.0.1
langgraph==1.2.0
mcp>=1.28.1,<2.0.0
agentrun-sdk>=0.0.51,<1.0.0
nest-asyncio>=1.6.0,<2.0.0
ucloud-sandbox>=1.4.2,<2.0.0
zai-sdk>=0.2.3,<1.0.0
pyobvector==0.2.22
sqlglotrs==0.9.0
ranx==0.3.20
tavily-python==0.5.1
# ==================== 其他功能 ====================
deepl==1.18.0
captcha>=0.7.1
ffmpeg-python>=0.2.0
mini-racer>=0.12.4,<0.13.0
pyclipper>=1.4.0,<2.0.0
pyodbc>=5.2.0,<6.0.0
pluginlib>=0.10.0
exceptiongroup>=1.3.0,<2.0.0
beartype>=0.20.0,<1.0.0
bio==1.7.1
debugpy>=1.8.13
aiosmtplib>=5.1.1,<6.0.0
moodlepy>=0.23.0
audioop-lts>=0.2.1
protobuf>=5.29.6
grpcio-status==1.67.1
trio>=0.26.0
shapely==2.0.5
# ==================== 注意事项 ====================
# 1. 不要同时用 pip install flask quart - 会冲突
# 2. 先装 quart 栈,再装 flask-* 扩展
# 3. Spacy 模型要单独下载:
# python -m spacy download zh_core_web_sm
# python -m spacy download en_core_web_sm
# python -m spacy download de_core_news_sm
# python -m spacy download fr_core_news_sm
# python -m spacy download es_core_news_sm
# python -m spacy download pt_core_news_sm
# python -m spacy download ja_core_news_sm
# 4. graspologic 需要从 gitee 安装(在 pyproject.toml 中指定)
#!/usr/bin/env python3
"""
从魔塔下载布局分析模型
"""
from modelscope import snapshot_download
import os
import shutil
print("=" * 80)
print("下载布局分析模型")
print("=" * 80)
# 布局分析模型
layout_model_id = "damo/cv_dla34_table-structure-recognition_cycle-centernet"
print(f"\n正在下载布局分析模型: {layout_model_id}")
print("这可能需要几分钟时间...")
cache_dir = "/datacore/ragflow/rag/res/modelscope_cache"
os.makedirs(cache_dir, exist_ok=True)
try:
model_dir = snapshot_download(
layout_model_id,
cache_dir=cache_dir
)
print(f"✓ 模型下载成功: {model_dir}")
# 查找 .onnx 文件
for root, dirs, files in os.walk(model_dir):
for file in files:
if file.endswith('.onnx'):
src_path = os.path.join(root, file)
print(f"\n找到 ONNX 文件: {file}")
print(f"源路径: {src_path}")
# 复制到 RAGFlow 目录
dest_path = "/datacore/ragflow/rag/res/deepdoc/layout.onnx"
shutil.copy2(src_path, dest_path)
print(f"✓ 已复制到: {dest_path}")
# 获取文件大小
size_mb = os.path.getsize(dest_path) / (1024 * 1024)
print(f"文件大小: {size_mb:.2f} MB")
break
print("\n" + "=" * 80)
print("布局分析模型下载完成!")
print("=" * 80)
except Exception as e:
print(f"\n✗ 下载失败: {e}")
print("\n尝试备用模型...")
# 尝试其他布局模型
alternative_models = [
"damo/cv_resnet18_layout-analysis_publaynet",
"damo/cv_resnet18_layout-analysis_cdi",
]
for alt_model in alternative_models:
try:
print(f"\n正在尝试: {alt_model}")
model_dir = snapshot_download(
alt_model,
cache_dir=cache_dir
)
print(f"✓ 模型下载成功: {model_dir}")
# 查找 .onnx 文件
for root, dirs, files in os.walk(model_dir):
for file in files:
if file.endswith('.onnx'):
src_path = os.path.join(root, file)
dest_path = "/datacore/ragflow/rag/res/deepdoc/layout.onnx"
shutil.copy2(src_path, dest_path)
print(f"✓ 已复制到: {dest_path}")
size_mb = os.path.getsize(dest_path) / (1024 * 1024)
print(f"文件大小: {size_mb:.2f} MB")
print("\n" + "=" * 80)
print("布局分析模型下载完成!")
print("=" * 80)
exit(0)
except Exception as e2:
print(f"✗ {alt_model} 下载失败: {e2}")
continue
print("\n所有模型下载都失败了")
exit(1)
#!/usr/bin/env python3
"""
从 HuggingFace 镜像下载 RAGFlow 所需的 OCR 模型
"""
import os
import sys
from pathlib import Path
# 添加项目路径到 Python 路径
project_root = Path(__file__).parent.parent.absolute()
sys.path.insert(0, str(project_root))
from huggingface_hub import snapshot_download
def download_deepdoc_model():
"""下载 DeepDoc OCR 模型"""
print("=" * 80)
print("正在从 HuggingFace 镜像下载 RAGFlow DeepDoc OCR 模型...")
print("=" * 80)
# 目标目录
model_dir = project_root / "rag" / "res" / "deepdoc"
model_dir.mkdir(parents=True, exist_ok=True)
print(f"目标目录: {model_dir}")
print()
try:
# 设置 HuggingFace 镜像源
os.environ['HF_ENDPOINT'] = 'https://hf-mirror.com'
# 从 HuggingFace 下载模型 (InfiniFlow/deepdoc)
repo_id = "InfiniFlow/deepdoc"
print(f"下载模型: {repo_id}")
print("使用镜像源: https://hf-mirror.com")
print()
downloaded_path = snapshot_download(
repo_id=repo_id,
local_dir=str(model_dir),
local_dir_use_symlinks=False
)
print(f"✓ OCR 模型下载完成: {downloaded_path}")
print()
# 列出下载的文件
print("已下载的文件:")
for item in sorted(model_dir.rglob("*")):
if item.is_file():
size_mb = item.stat().st_size / (1024 * 1024)
print(f" {item.relative_to(model_dir)} ({size_mb:.2f} MB)")
print()
print("=" * 80)
print("OCR 模型下载完成!")
print(f"模型保存位置: {model_dir}")
print("=" * 80)
return True
except Exception as e:
print(f"✗ 下载失败: {e}", file=sys.stderr)
import traceback
traceback.print_exc()
return False
if __name__ == "__main__":
success = download_deepdoc_model()
sys.exit(0 if success else 1)
#!/usr/bin/env python3
"""
从魔塔(ModelScope)下载 RAGFlow 所需的 OCR 模型
"""
import os
import sys
from pathlib import Path
# 添加项目路径到 Python 路径
project_root = Path(__file__).parent.parent.absolute()
sys.path.insert(0, str(project_root))
from modelscope import snapshot_download
def download_deepdoc_model():
"""下载 DeepDoc OCR 模型"""
print("=" * 80)
print("正在从魔塔下载 RAGFlow DeepDoc OCR 模型...")
print("=" * 80)
# 目标目录
model_dir = project_root / "rag" / "res" / "deepdoc"
model_dir.parent.mkdir(parents=True, exist_ok=True)
print(f"目标目录: {model_dir}")
print()
try:
# 从魔塔下载模型(镜像 HuggingFace 的 InfiniFlow/deepdoc)
# 魔塔上对应的模型 ID
model_id = "iic/nlp_ocr_text-detection_db"
print(f"下载模型 1/2: {model_id}")
cache_dir = snapshot_download(
model_id,
cache_dir=str(model_dir / "text_detection")
)
print(f"✓ 文本检测模型下载完成: {cache_dir}")
print()
# 下载文本识别模型
model_id = "iic/nlp_ocr_recognition_general_base_zh"
print(f"下载模型 2/2: {model_id}")
cache_dir = snapshot_download(
model_id,
cache_dir=str(model_dir / "text_recognition")
)
print(f"✓ 文本识别模型下载完成: {cache_dir}")
print()
print("=" * 80)
print("所有 OCR 模型下载完成!")
print(f"模型保存位置: {model_dir}")
print("=" * 80)
return True
except Exception as e:
print(f"✗ 下载失败: {e}", file=sys.stderr)
print()
print("备选方案:使用 HuggingFace 镜像源")
print("请运行以下命令设置环境变量后重试:")
print("export HF_ENDPOINT=https://hf-mirror.com")
return False
if __name__ == "__main__":
success = download_deepdoc_model()
sys.exit(0 if success else 1)
#!/usr/bin/env python3
"""
从魔塔下载 PaddleOCR 模型用于 RAGFlow
"""
import os
import sys
from pathlib import Path
# 添加项目路径到 Python 路径
project_root = Path(__file__).parent.parent.absolute()
sys.path.insert(0, str(project_root))
from modelscope import snapshot_download
def download_paddle_ocr_models():
"""下载 PaddleOCR 模型"""
print("=" * 80)
print("正在从魔塔下载 PaddleOCR 模型...")
print("=" * 80)
# 目标目录
model_dir = project_root / "rag" / "res" / "deepdoc"
model_dir.mkdir(parents=True, exist_ok=True)
print(f"目标目录: {model_dir}")
print()
try:
# 下载文本检测模型 - PaddleOCR 中文检测
model_id = "damo/cv_resnet18_ocr-detection-db-line-level_damo"
print(f"下载模型 1/2: {model_id}")
cache_dir = snapshot_download(
model_id,
cache_dir=str(model_dir)
)
print(f"✓ 文本检测模型下载完成: {cache_dir}")
print()
# 下载文本识别模型 - PaddleOCR 中文识别
model_id = "damo/cv_convnextTiny_ocr-recognition-general_damo"
print(f"下载模型 2/2: {model_id}")
cache_dir = snapshot_download(
model_id,
cache_dir=str(model_dir)
)
print(f"✓ 文本识别模型下载完成: {cache_dir}")
print()
# 列出下载的文件
print("已下载的文件:")
for item in sorted(model_dir.rglob("*")):
if item.is_file():
size_mb = item.stat().st_size / (1024 * 1024)
print(f" {item.relative_to(model_dir)} ({size_mb:.2f} MB)")
print()
print("=" * 80)
print("OCR 模型下载完成!")
print(f"模型保存位置: {model_dir}")
print("=" * 80)
return True
except Exception as e:
print(f"✗ 下载失败: {e}", file=sys.stderr)
import traceback
traceback.print_exc()
return False
if __name__ == "__main__":
success = download_paddle_ocr_models()
sys.exit(0 if success else 1)
差异被折叠。
差异被折叠。
差异被折叠。
差异被折叠。
差异被折叠。
差异被折叠。
File mode changed from 100644 to 100755
差异被折叠。
差异被折叠。
差异被折叠。
差异被折叠。
差异被折叠。
差异被折叠。
差异被折叠。
差异被折叠。
Markdown 格式
0% 或
您添加了 0 人 到此讨论。请谨慎行事。
请先完成此评论的编辑!
请 注册 或者 后发表评论