Browse Source

在data_pipline中增加了conn_str参数,可以不指定app_db的名字.

wangxq 1 tuần trước cách đây
mục cha
commit
9af004e1e3

+ 2 - 1
citu_app.py

@@ -2795,12 +2795,13 @@ def create_data_pipeline_task():
         # table_list_file和business_context现在都是可选参数
         # 如果未提供table_list_file,将使用文件上传模式
         
-        # 创建任务(自动使用app_config中的数据库配置
+        # 创建任务(支持可选的db_connection参数
         manager = get_data_pipeline_manager()
         task_id = manager.create_task(
             table_list_file=req.get('table_list_file'),
             business_context=req.get('business_context'),
             db_name=req.get('db_name'),  # 可选参数,用于指定特定数据库名称
+            db_connection=req.get('db_connection'),  # 可选参数,用于指定数据库连接字符串
             enable_sql_validation=req.get('enable_sql_validation', True),
             enable_llm_repair=req.get('enable_llm_repair', True),
             modify_original_file=req.get('modify_original_file', True),

+ 15 - 9
data_pipeline/api/simple_db_manager.py

@@ -57,19 +57,25 @@ class SimpleTaskManager:
                    table_list_file: str = None,
                    business_context: str = None,
                    db_name: str = None,
+                   db_connection: str = None,
                    **kwargs) -> str:
         """创建新任务"""
         task_id = self.generate_task_id()
         
-        # 从 app_config 获取业务数据库连接信息
-        from app_config import APP_DB_CONFIG
-        
-        # 构建业务数据库连接字符串(用于参数记录)
-        business_db_connection = self._build_db_connection_string(APP_DB_CONFIG)
-        
-        # 使用传入的db_name或从APP_DB_CONFIG提取
-        if not db_name:
-            db_name = APP_DB_CONFIG.get('dbname', 'business_db')
+        # 处理数据库连接和名称
+        if db_connection:
+            # 使用传入的 db_connection 参数
+            business_db_connection = db_connection
+            # 如果没有提供 db_name,从连接字符串中提取
+            if not db_name:
+                db_name = self._extract_db_name(db_connection)
+        else:
+            # 从 app_config 获取业务数据库连接信息
+            from app_config import APP_DB_CONFIG
+            business_db_connection = self._build_db_connection_string(APP_DB_CONFIG)
+            # 使用传入的db_name或从APP_DB_CONFIG提取
+            if not db_name:
+                db_name = APP_DB_CONFIG.get('dbname', 'business_db')
         
         # 处理table_list_file参数
         # 如果未提供,将在执行时检查任务目录中的table_list.txt文件

+ 1 - 2
data_pipeline/training_data/task_20250701_231850/filename_mapping.txt

@@ -1,5 +1,4 @@
 # 文件名映射报告
 # 格式: 原始表名 -> 实际文件名
 
-public.bss_business_day_data -> bss_business_day_data_detail.md
-public.bss_car_day_count -> bss_car_day_count_detail.md
+public.bss_branch_copy -> bss_branch_copy_detail.md

+ 1 - 13
data_pipeline/training_data/task_20250701_231850/table_list.txt

@@ -1,13 +1 @@
-# 示例表清单文件
-# 每行一个表名,支持 schema.table 格式
-# 以 # 开头的行为注释
-
-# 服务区相关表
-bss_car_day_count
-bss_business_day_data
-#bss_company
-#bss_section_route
-#bss_section_route_area_link
-#bss_service_area
-#bss_service_area_mapper
-
+bss_branch_copy

+ 1 - 1
data_pipeline/training_data/task_20250701_231850/task_config.json

@@ -11,5 +11,5 @@
     "enable_sql_validation": true,
     "enable_training_data_load": true
   },
-  "output_directory": "data_pipeline\\training_data\\task_20250701_231850"
+  "output_directory": "C:\\Projects\\cursor_projects\\Vanna-Chainlit-Chromadb\\data_pipeline\\training_data\\task_20250701_231850"
 }