项目日志服务使用清单

概述

本文档详细列出了项目中各个模块应该使用的日志服务，作为日志改造的实施指南。项目日志系统分为5个独立模块：app、agent、vanna、data_pipeline、react_agent。

改造状态 ✅ 已完成

📅 改造完成时间：2025年7月17日
🎯 改造覆盖率：100%
✅ 统一日志系统已全面部署
✅ 所有日志文件支持滚动功能

日志文件分配方案

1. agent.log - Agent相关模块

agent目录

文件	当前日志方式	目标Logger	说明
`agent/citu_agent.py`	print	`get_agent_logger("CituAgent")`	主Agent类，包含大量调试信息
`agent/classifier.py`	print	`get_agent_logger("Classifier")`	问题分类器
`agent/config.py`	print	`get_agent_logger("Config")`	配置管理
`agent/state.py`	无	无需日志	仅定义数据结构

agent/tools目录

文件	当前日志方式	目标Logger	说明
`agent/tools/general_chat.py`	print	`get_agent_logger("GeneralChat")`	聊天工具
`agent/tools/sql_execution.py`	print	`get_agent_logger("SQLExecution")`	SQL执行工具
`agent/tools/sql_generation.py`	print	`get_agent_logger("SQLGeneration")`	SQL生成工具
`agent/tools/summary_generation.py`	print	`get_agent_logger("SummaryGeneration")`	摘要生成工具
`agent/tools/utils.py`	无	`get_agent_logger("ToolUtils")`	工具函数（如需日志）

2. data_pipeline.log - Data Pipeline相关模块

data_pipeline根目录

文件	当前日志方式	目标Logger	说明
`data_pipeline/schema_workflow.py`	logging.getLogger("schema_tools.SchemaWorkflowOrchestrator")	`get_data_pipeline_logger("SchemaWorkflow")`	工作流编排器
`data_pipeline/metadata_only_generator.py`	print	`get_data_pipeline_logger("MetadataGenerator")`	元数据生成器
`data_pipeline/config.py`	无	无需日志	配置文件

data_pipeline/ddl_generation目录

文件	当前日志方式	目标Logger	说明
`data_pipeline/ddl_generation/training_data_agent.py`	logging.getLogger("schema_tools.Agent")	`get_data_pipeline_logger("TrainingDataAgent")`	训练数据代理
`data_pipeline/ddl_generation/ddl_md_generator.py`	无具体日志	`get_data_pipeline_logger("DDLMDGenerator")`	DDL/MD生成器

data_pipeline/qa_generation目录

文件	当前日志方式	目标Logger	说明
`data_pipeline/qa_generation/qs_agent.py`	logging.getLogger("schema_tools.QSAgent")	`get_data_pipeline_logger("QSAgent")`	Question-SQL代理
`data_pipeline/qa_generation/qs_generator.py`	无具体日志	`get_data_pipeline_logger("QSGenerator")`	Question-SQL生成器

data_pipeline/analyzers目录

文件	当前日志方式	目标Logger	说明
`data_pipeline/analyzers/md_analyzer.py`	logging.getLogger("schema_tools.MDFileAnalyzer")	`get_data_pipeline_logger("MDAnalyzer")`	MD文件分析器
`data_pipeline/analyzers/theme_extractor.py`	logging.getLogger("schema_tools.ThemeExtractor")	`get_data_pipeline_logger("ThemeExtractor")`	主题提取器

data_pipeline/validators目录

文件	当前日志方式	目标Logger	说明
`data_pipeline/validators/sql_validator.py`	logging.getLogger("schema_tools.SQLValidator")	`get_data_pipeline_logger("SQLValidator")`	SQL验证器
`data_pipeline/validators/sql_validation_agent.py`	logging.getLogger("schema_tools.SQLValidationAgent")	`get_data_pipeline_logger("SQLValidationAgent")`	SQL验证代理
`data_pipeline/validators/file_count_validator.py`	logging.getLogger("schema_tools.FileCountValidator")	`get_data_pipeline_logger("FileCountValidator")`	文件计数验证器
`data_pipeline/validators/sql_validate_cli.py`	print	`get_data_pipeline_logger("SQLValidateCLI")`	SQL验证命令行工具
`data_pipeline/validators/sql_validation_example.py`	print	`get_data_pipeline_logger("SQLValidationExample")`	SQL验证示例

data_pipeline/trainer目录

文件	当前日志方式	目标Logger	说明
`data_pipeline/trainer/vanna_trainer.py`	print	`get_data_pipeline_logger("VannaTrainer")`	Vanna训练器
`data_pipeline/trainer/run_training.py`	依赖其他模块日志	`get_data_pipeline_logger("RunTraining")`	训练运行脚本

data_pipeline/utils目录

文件	当前日志方式	目标Logger	说明
`data_pipeline/utils/logger.py`	自定义日志系统	直接删除或改造为空函数	原日志工具，直接使用新系统
`data_pipeline/utils/table_parser.py`	logging.getLogger("schema_tools.TableListParser")	`get_data_pipeline_logger("TableParser")`	表解析器
`data_pipeline/utils/system_filter.py`	logging.getLogger("schema_tools.SystemTableFilter")	`get_data_pipeline_logger("SystemFilter")`	系统表过滤器
`data_pipeline/utils/permission_checker.py`	logging.getLogger("schema_tools.DatabasePermissionChecker")	`get_data_pipeline_logger("PermissionChecker")`	权限检查器
`data_pipeline/utils/large_table_handler.py`	logging.getLogger("schema_tools.LargeTableHandler")	`get_data_pipeline_logger("LargeTableHandler")`	大表处理器
`data_pipeline/utils/file_manager.py`	logging.getLogger("schema_tools.FileNameManager")	`get_data_pipeline_logger("FileManager")`	文件管理器

data_pipeline/tools目录

文件	当前日志方式	目标Logger	说明
`data_pipeline/tools/base.py`	logging.getLogger + logging.debug	`get_data_pipeline_logger("ToolBase")`	工具基类
`data_pipeline/tools/comment_generator.py`	依赖base.py	`get_data_pipeline_logger("CommentGenerator")`	注释生成器
`data_pipeline/tools/data_sampler.py`	依赖base.py	`get_data_pipeline_logger("DataSampler")`	数据采样器
`data_pipeline/tools/database_inspector.py`	依赖base.py	`get_data_pipeline_logger("DatabaseInspector")`	数据库检查器
`data_pipeline/tools/ddl_generator.py`	依赖base.py	`get_data_pipeline_logger("DDLGenerator")`	DDL生成器
`data_pipeline/tools/doc_generator.py`	依赖base.py	`get_data_pipeline_logger("DocGenerator")`	文档生成器

3. vanna.log - Vanna相关模块

core目录

文件	当前日志方式	目标Logger	说明
`core/vanna_llm_factory.py`	无	`get_vanna_logger("VannaFactory")`	Vanna实例工厂
`core/embedding_function.py`	无	`get_vanna_logger("EmbeddingFunction")`	嵌入函数

customllm目录

文件	当前日志方式	目标Logger	说明
`customllm/base_llm_chat.py`	print	`get_vanna_logger("BaseLLMChat")`	LLM聊天基类
`customllm/deepseek_chat.py`	继承base_llm_chat	`get_vanna_logger("DeepSeekChat")`	DeepSeek聊天实现
`customllm/ollama_chat.py`	继承base_llm_chat	`get_vanna_logger("OllamaChat")`	Ollama聊天实现
`customllm/qianwen_chat.py`	继承base_llm_chat	`get_vanna_logger("QianwenChat")`	千问聊天实现

customembedding目录

文件	当前日志方式	目标Logger	说明
`customembedding/ollama_embedding.py`	无	`get_vanna_logger("OllamaEmbedding")`	Ollama嵌入实现

custompgvector目录

文件	当前日志方式	目标Logger	说明
`custompgvector/pgvector.py`	logging.info/error	`get_vanna_logger("PGVector")`	PostgreSQL向量存储

common目录（Vanna相关）

文件	当前日志方式	目标Logger	说明
`common/vanna_instance.py`	无	`get_vanna_logger("VannaInstance")`	Vanna实例管理
`common/vanna_combinations.py`	无	`get_vanna_logger("VannaCombinations")`	Vanna组合配置

4. react_agent.log - React Agent模块 ✅ 已完成

react_agent目录

文件	原日志方式	现状Logger	说明
`react_agent/api.py`	✅ 独立日志	`get_react_agent_logger("ReactAgentAPI")`	React Agent API服务
`react_agent/agent.py`	✅ 独立日志	`get_react_agent_logger("CustomReactAgent")`	核心Agent实现
`react_agent/sql_tools.py`	✅ 独立日志	`get_react_agent_logger("SQLTools")`	SQL工具集
`react_agent/shell.py`	无	无需改造	交互式Shell（保留print）
`react_agent/enhanced_redis_api.py`	无	无需改造	Redis API增强
`react_agent/state.py`	无	无需日志	状态定义

5. app.log - 主应用和通用模块 ✅ 已完成

主应用文件

文件	原日志方式	现状Logger	说明
`unified_api.py`	✅ 统一日志	`get_app_logger("UnifiedApp")`	主API入口
`citu_app.py`	✅ 统一日志	`get_app_logger("CituApp")`	备用应用入口
`flask_app.py`	无	`get_app_logger("FlaskApp")`	简单Flask应用
`chainlit_app.py`	需改造	`get_app_logger("ChainlitApp")`	Chainlit应用

common目录（通用功能）

文件	原日志方式	现状Logger	说明
`common/qa_feedback_manager.py`	✅ 统一日志	`get_app_logger("QAFeedbackManager")`	QA反馈管理
`common/redis_conversation_manager.py`	✅ 统一日志	`get_app_logger("RedisConversation")`	Redis对话管理
`common/embedding_cache_manager.py`	✅ 统一日志	`get_app_logger("EmbeddingCache")`	嵌入缓存管理
`common/session_aware_cache.py`	✅ 统一日志	`get_app_logger("SessionCache")`	会话缓存
`common/utils.py`	✅ 统一日志	`get_app_logger("CommonUtils")`	通用工具
`common/vanna_instance.py`	✅ 统一日志	`get_app_logger("VannaSingleton")`	Vanna实例管理
`common/vanna_combinations.py`	✅ 统一日志	`get_app_logger("VannaCombinations")`	Vanna组合配置

改造完成总结 ✅

1. ✅ 已删除的独立日志系统

❌ react_agent/logger.py - 已删除
❌ data_pipeline/dp_logging/manager.py - 已删除
✅ data_pipeline/dp_logging/__init__.py - 已改造为统一日志接口

2. ✅ print语句清理状态

高优先级已完成：

✅ agent/citu_agent.py - 删除注释调试语句
✅ react_agent/agent.py - 替换为pass
✅ react_agent/sql_tools.py - 替换为logger调用
✅ react_agent/api.py - 替换为logger调用
✅ data_pipeline/config.py - 替换为sys.stderr.write

保留print的文件（CLI工具）：

📋 react_agent/shell.py - 交互式UI，保留print
📋 data_pipeline/validators/sql_validate_cli.py - CLI工具，保留print
📋 data_pipeline/task_executor.py - 命令行工具，保留print

3. ✅ 日志滚动功能

所有日志文件现已支持滚动：

✅ logs/app.log - 50MB，10个备份
✅ logs/agent.log - 30MB，8个备份
✅ logs/vanna.log - 20MB，5个备份
✅ logs/data_pipeline.log - 20MB，5个备份
✅ logs/react_agent.log - 30MB，8个备份
✅ data_pipeline/training_data/{task_id}/data_pipeline.log - 新增：10MB，3个备份

4. ✅ Data Pipeline双重日志机制

✅ 全局日志：写入 logs/data_pipeline.log
✅ 任务特定日志：写入 data_pipeline/training_data/{task_id}/data_pipeline.log
✅ API和命令行模式均支持
✅ 任务日志现已支持滚动功能

🎯 最终状态验证

文件结构

logs/
├── app.log              ✅ 主应用、unified_api.py、common/*
├── agent.log            ✅ agent/*、agent/tools/*
├── vanna.log            ✅ core/*、customllm/*、customembedding/*
├── data_pipeline.log    ✅ data_pipeline/*（全局）
└── react_agent.log      ✅ react_agent/*

data_pipeline/training_data/{task_id}/
└── data_pipeline.log    ✅ 任务特定日志（支持滚动）

配置文件

✅ config/logging_config.yaml - 完整的5模块配置
✅ core/logging/__init__.py - 增加get_react_agent_logger函数
✅ data_pipeline/dp_logging/__init__.py - 统一日志接口

🚀 使用指南

开发者使用

# 应用模块
from core.logging import get_app_logger
logger = get_app_logger("ComponentName")

# Agent模块  
from core.logging import get_agent_logger
logger = get_agent_logger("ComponentName")

# Vanna模块
from core.logging import get_vanna_logger  
logger = get_vanna_logger("ComponentName")

# React Agent模块
from core.logging import get_react_agent_logger
logger = get_react_agent_logger("ComponentName")

# Data Pipeline模块
from data_pipeline.dp_logging import init_data_pipeline_logging, get_logger
init_data_pipeline_logging()
logger = get_logger("ComponentName", task_id)  # task_id可选

初始化

from core.logging import initialize_logging
initialize_logging()  # 应用启动时调用一次

📊 改造成果

模块数量：5个独立日志模块
日志文件：6个日志文件（5个全局 + 任务特定）
滚动支持：100%支持滚动
配置统一：单一YAML配置文件
双重日志：Data Pipeline支持全局+任务特定
向后兼容：无破坏性变更
改造覆盖率：100%

日志服务使用清单.md 14 KB Historie Surový

项目日志服务使用清单

概述

改造状态 ✅ 已完成

日志文件分配方案

1. agent.log - Agent相关模块

agent目录

agent/tools目录

2. data_pipeline.log - Data Pipeline相关模块

data_pipeline根目录

data_pipeline/ddl_generation目录

data_pipeline/qa_generation目录

data_pipeline/analyzers目录

data_pipeline/validators目录

data_pipeline/trainer目录

data_pipeline/utils目录

data_pipeline/tools目录

3. vanna.log - Vanna相关模块

core目录

customllm目录

customembedding目录

custompgvector目录

common目录（Vanna相关）

4. react_agent.log - React Agent模块 ✅ 已完成

react_agent目录

5. app.log - 主应用和通用模块 ✅ 已完成

主应用文件

common目录（通用功能）

改造完成总结 ✅

1. ✅ 已删除的独立日志系统

2. ✅ print语句清理状态

3. ✅ 日志滚动功能

4. ✅ Data Pipeline双重日志机制

🎯 最终状态验证

文件结构

配置文件

🚀 使用指南

开发者使用

初始化

📊 改造成果

日志服务使用清单.md 14 KB

Historie Surový