DataOps-platform/scripts/auto_execute_tasks.py

#!/usr/bin/env python3
"""
自动任务执行核心调度脚本 (Agent 模式)

工作流程：
1. 从 PostgreSQL 数据库 task_list 表中读取 pending 任务
2. 生成 tasks/task_execute_instructions.md 执行指令文件
3. 更新任务状态为 processing，并维护 tasks/pending_tasks.json
4. 更新 tasks/task_trigger.txt 触发器文件
5. 启动新的 Cursor Agent 并发送执行指令
6. Cursor Agent 完成任务后，更新 pending_tasks.json 状态为 completed
7. 调度脚本检测到任务完成后，同步数据库并关闭 Agent

使用方式：
  # Agent 单次执行（执行一次任务后退出）
  python scripts/auto_execute_tasks.py --agent-run

  # Agent 循环模式（有任务时自动启动 Agent，完成后等待新任务）
  python scripts/auto_execute_tasks.py --agent-loop

  # Agent 循环模式 + 禁用自动部署
  python scripts/auto_execute_tasks.py --agent-loop --no-deploy

  # 设置 Agent 超时时间（默认 3600 秒）
  python scripts/auto_execute_tasks.py --agent-run --agent-timeout 7200

  # 任务完成后不自动关闭 Agent
  python scripts/auto_execute_tasks.py --agent-run --no-auto-close

  # 立即部署指定任务ID的脚本到生产服务器
  python scripts/auto_execute_tasks.py --deploy-now 123

  # 测试到生产服务器的 SSH 连接
  python scripts/auto_execute_tasks.py --test-connection
"""

from __future__ import annotations

import argparse
import json
import logging
import sys
import time
from datetime import datetime
from pathlib import Path
from typing import Any

# ============================================================================
# 日志配置
# ============================================================================
logging.basicConfig(
    level=logging.INFO,
    format="%(asctime)s - %(levelname)s - %(message)s",
)
logger = logging.getLogger("AutoExecuteTasks")

# ============================================================================
# Windows GUI 自动化依赖（可选）
# ============================================================================
HAS_CURSOR_GUI = False
HAS_PYPERCLIP = False

try:
    import pyautogui
    import win32con
    import win32gui

    pyautogui.FAILSAFE = True
    pyautogui.PAUSE = 0.5
    HAS_CURSOR_GUI = True

    try:
        import pyperclip

        HAS_PYPERCLIP = True
    except ImportError:
        pass
except ImportError:
    logger.info(
        "未安装 Windows GUI 自动化依赖（pywin32/pyautogui），"
        "将禁用自动 Cursor Agent 功能。"
    )

# ============================================================================
# 全局配置
# ============================================================================
WORKSPACE_ROOT = Path(__file__).parent.parent
TASKS_DIR = WORKSPACE_ROOT / "tasks"
PENDING_TASKS_FILE = TASKS_DIR / "pending_tasks.json"
INSTRUCTIONS_FILE = TASKS_DIR / "task_execute_instructions.md"
TRIGGER_FILE = TASKS_DIR / "task_trigger.txt"

# 生产服务器配置
PRODUCTION_SERVER = {
    "host": "192.168.3.143",
    "port": 22,
    "username": "ubuntu",
    "password": "citumxl2357",
    "script_path": "/opt/dataops-platform/datafactory/scripts",
    "workflow_path": "/opt/dataops-platform/n8n/workflows",
}

# Agent 消息模板
AGENT_MESSAGE = "请阅读 tasks/task_execute_instructions.md 并执行任务。"

# 命令行参数控制的全局变量
ENABLE_AUTO_DEPLOY: bool = True  # 默认启用自动部署


# ============================================================================
# 数据库操作
# ============================================================================
def get_db_connection():
    """获取数据库连接（使用 production 环境配置）"""
    try:
        from urllib.parse import urlparse

        import psycopg2

        sys.path.insert(0, str(WORKSPACE_ROOT))
        from app.config.config import config

        # 强制使用 production 环境的数据库配置
        app_config = config["production"]
        db_uri = app_config.SQLALCHEMY_DATABASE_URI

        # 解析 SQLAlchemy URI 格式为 psycopg2 可用的格式
        parsed = urlparse(db_uri)

        conn = psycopg2.connect(
            host=parsed.hostname,
            port=parsed.port or 5432,
            database=parsed.path.lstrip("/"),
            user=parsed.username,
            password=parsed.password,
        )

        logger.debug(
            f"数据库连接成功: {parsed.hostname}:{parsed.port}/{parsed.path.lstrip('/')}"
        )
        return conn

    except ImportError as e:
        logger.error(f"导入依赖失败: {e}")
        return None
    except Exception as e:
        logger.error(f"连接数据库失败: {e}")
        import traceback

        logger.error(traceback.format_exc())
        return None


def get_pending_tasks() -> list[dict[str, Any]]:
    """
    从 PostgreSQL task_list 表获取所有 pending 状态的任务

    重要：此函数直接查询数据库，确保获取最新的任务列表
    """
    try:
        from psycopg2.extras import RealDictCursor

        logger.info("📡 正在连接数据库...")
        conn = get_db_connection()
        if not conn:
            logger.error("❌ 无法获取数据库连接")
            return []

        logger.info("✅ 数据库连接成功，正在查询 pending 任务...")
        cursor = conn.cursor(cursor_factory=RealDictCursor)
        cursor.execute(
            """
            SELECT task_id, task_name, task_description, status,
                   code_name, code_path, create_time, create_by
            FROM task_list
            WHERE status = 'pending'
            ORDER BY create_time ASC
        """
        )

        tasks = cursor.fetchall()
        cursor.close()
        conn.close()

        task_list = [dict(task) for task in tasks]
        logger.info(f"📊 从数据库查询到 {len(task_list)} 个 pending 任务")

        if task_list:
            for task in task_list:
                logger.info(f"  - 任务 {task['task_id']}: {task['task_name']}")

        return task_list

    except Exception as e:
        logger.error(f"获取 pending 任务失败: {e}")
        import traceback

        logger.error(traceback.format_exc())
        return []


def update_task_status(
    task_id: int,
    status: str,
    code_name: str | None = None,
    code_path: str | None = None,
) -> bool:
    """更新任务状态"""
    try:
        conn = get_db_connection()
        if not conn:
            return False

        cursor = conn.cursor()

        if code_name and code_path:
            cursor.execute(
                """
                UPDATE task_list
                SET status = %s, code_name = %s, code_path = %s,
                    update_time = CURRENT_TIMESTAMP
                WHERE task_id = %s
            """,
                (status, code_name, code_path, task_id),
            )
        else:
            cursor.execute(
                """
                UPDATE task_list
                SET status = %s, update_time = CURRENT_TIMESTAMP
                WHERE task_id = %s
            """,
                (status, task_id),
            )

        conn.commit()
        updated = cursor.rowcount > 0
        cursor.close()
        conn.close()

        if updated:
            logger.info(f"✅ 任务 {task_id} 状态已更新为: {status}")
        return updated

    except Exception as e:
        logger.error(f"更新任务状态失败: {e}")
        return False


# ============================================================================
# 触发器文件管理
# ============================================================================
def update_trigger_file(
    task_count: int = 0,
    status: str = "有待执行任务",
    task_ids: list[int] | None = None,
) -> None:
    """更新触发器文件 tasks/task_trigger.txt"""
    TASKS_DIR.mkdir(parents=True, exist_ok=True)

    gen_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
    task_ids_str = ", ".join(str(tid) for tid in (task_ids or []))

    content = f"""CURSOR_AUTO_EXECUTE_TASK_TRIGGER
生成时间: {gen_time}
状态: {status}
待处理任务数: {task_count}
任务ID列表: [{task_ids_str}]

此文件用于触发Cursor自动执行任务。

【重要】Cursor AI 请立即执行以下操作：
1. 读取 tasks/task_execute_instructions.md 文件
2. 按照文件中的任务描述，依次完成每个任务
3. 完成后更新 tasks/pending_tasks.json 中对应任务的状态为 completed

"""

    with TRIGGER_FILE.open("w", encoding="utf-8") as f:
        f.write(content)

    logger.info(f"✅ 触发器文件已更新: {TRIGGER_FILE}")


def get_processing_task_ids() -> list[int]:
    """从 pending_tasks.json 获取所有 processing 状态的任务 ID"""
    if not PENDING_TASKS_FILE.exists():
        return []

    try:
        with PENDING_TASKS_FILE.open("r", encoding="utf-8") as f:
            tasks = json.load(f)
        return [
            t.get("task_id")
            for t in tasks
            if t.get("status") == "processing" and t.get("task_id")
        ]
    except Exception:
        return []


# ============================================================================
# 任务文件生成
# ============================================================================
def write_pending_tasks_json(tasks: list[dict[str, Any]]) -> None:
    """将任务列表写入 tasks/pending_tasks.json"""
    TASKS_DIR.mkdir(parents=True, exist_ok=True)

    # 读取现有任务
    existing_tasks = []
    if PENDING_TASKS_FILE.exists():
        try:
            with PENDING_TASKS_FILE.open("r", encoding="utf-8") as f:
                existing_tasks = json.load(f)
        except Exception:
            existing_tasks = []

    existing_ids = {t["task_id"] for t in existing_tasks if "task_id" in t}

    # 添加新任务
    for task in tasks:
        if task["task_id"] not in existing_ids:
            task_info = {
                "task_id": task["task_id"],
                "task_name": task["task_name"],
                "code_path": task.get("code_path", ""),
                "code_name": task.get("code_name", ""),
                "status": "processing",
                "notified_at": datetime.now().isoformat(),
                "code_file": task.get("code_file", ""),
            }
            existing_tasks.append(task_info)

    with PENDING_TASKS_FILE.open("w", encoding="utf-8") as f:
        json.dump(existing_tasks, f, indent=2, ensure_ascii=False)

    logger.info(f"✅ pending_tasks.json 已更新，任务数: {len(existing_tasks)}")


def create_execute_instructions(tasks: list[dict[str, Any]]) -> None:
    """生成任务执行指令文件 tasks/task_execute_instructions.md"""
    TASKS_DIR.mkdir(parents=True, exist_ok=True)

    with INSTRUCTIONS_FILE.open("w", encoding="utf-8") as f:
        f.write("# Cursor 自动任务执行指令\n\n")
        f.write("**重要：请立即执行以下任务！**\n\n")
        gen_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S")
        f.write(f"**生成时间**: {gen_time}\n\n")
        f.write(f"**待执行任务数量**: {len(tasks)}\n\n")

        f.write("## 任务完成后的操作\n\n")
        f.write("完成每个任务后，请更新 `tasks/pending_tasks.json` 中")
        f.write("对应任务的 `status` 为 `completed`，\n")
        f.write("并填写 `code_name`（代码文件名）和 `code_path`（代码路径）。\n\n")
        f.write("调度脚本会自动将完成的任务同步到数据库。\n\n")

        f.write("## 任务约束要求\n\n")
        f.write("**重要约束**：完成脚本创建后，**不需要生成任务总结文件**。\n\n")
        f.write("- 不要创建任何 summary、report、总结类的文档文件\n")
        f.write("- 不要生成 task_summary.md、execution_report.md 等总结文件\n")
        f.write("- 只需创建任务要求的功能脚本文件\n")
        f.write("- 只需更新 `tasks/pending_tasks.json` 中的任务状态\n\n")

        f.write("---\n\n")

        for idx, task in enumerate(tasks, 1):
            task_id = task["task_id"]
            task_name = task["task_name"]
            task_desc = task["task_description"]

            create_time = task.get("create_time", "")
            if hasattr(create_time, "strftime"):
                create_time = create_time.strftime("%Y-%m-%d %H:%M:%S")

            f.write(f"## 任务 {idx}: {task_name}\n\n")
            f.write(f"- **任务ID**: `{task_id}`\n")
            f.write(f"- **创建时间**: {create_time}\n")
            f.write(f"- **创建者**: {task.get('create_by', 'unknown')}\n\n")
            f.write(f"### 任务描述\n\n{task_desc}\n\n")
            f.write("---\n\n")

    logger.info(f"✅ 执行指令文件已创建: {INSTRUCTIONS_FILE}")


# ============================================================================
# Neo4j 独立连接（不依赖 Flask 应用上下文）
# ============================================================================
def get_neo4j_driver():
    """获取 Neo4j 驱动（独立于 Flask 应用上下文）"""
    try:
        from neo4j import GraphDatabase

        sys.path.insert(0, str(WORKSPACE_ROOT))
        from app.config.config import config

        # 强制使用 production 环境的配置
        app_config = config["production"]
        uri = app_config.NEO4J_URI
        user = app_config.NEO4J_USER
        password = app_config.NEO4J_PASSWORD

        driver = GraphDatabase.driver(uri, auth=(user, password))
        return driver

    except ImportError as e:
        logger.error(f"导入 Neo4j 驱动失败: {e}")
        return None
    except Exception as e:
        logger.error(f"连接 Neo4j 失败: {e}")
        return None


# ============================================================================
# 状态同步
# ============================================================================
def extract_dataflow_name_from_task(task_id: int) -> str | None:
    """从任务描述中提取 DataFlow 名称"""
    import re

    try:
        conn = get_db_connection()
        if not conn:
            return None

        cursor = conn.cursor()
        cursor.execute(
            "SELECT task_description FROM task_list WHERE task_id = %s",
            (task_id,),
        )
        result = cursor.fetchone()
        cursor.close()
        conn.close()

        if not result:
            return None

        task_desc = result[0]

        # 从任务描述中提取 DataFlow Name
        match = re.search(r"\*\*DataFlow Name\*\*:\s*(.+?)(?:\n|$)", task_desc)
        if match:
            dataflow_name = match.group(1).strip()
            logger.info(f"从任务 {task_id} 提取到 DataFlow 名称: {dataflow_name}")
            return dataflow_name

        return None

    except Exception as e:
        logger.error(f"提取 DataFlow 名称失败: {e}")
        return None


def update_dataflow_script_path(
    task_name: str, script_path: str, task_id: int | None = None
) -> bool:
    """更新 DataFlow 节点的 script_path 字段"""
    try:
        driver = get_neo4j_driver()
        if not driver:
            logger.error("无法获取 Neo4j 驱动")
            return False

        # 如果提供了 task_id，尝试从任务描述中提取真正的 DataFlow 名称
        dataflow_name = task_name
        if task_id:
            extracted_name = extract_dataflow_name_from_task(task_id)
            if extracted_name:
                dataflow_name = extracted_name
                logger.info(f"使用从任务描述提取的 DataFlow 名称: {dataflow_name}")

        query = """
        MATCH (n:DataFlow {name_zh: $name_zh})
        SET n.script_path = $script_path, n.updated_at = $updated_at
        RETURN n
        """

        updated_at = datetime.now().strftime("%Y-%m-%d %H:%M:%S")

        with driver.session() as session:
            result = session.run(
                query,
                name_zh=dataflow_name,
                script_path=script_path,
                updated_at=updated_at,
            ).single()

            driver.close()

            if result:
                logger.info(
                    f"成功更新 DataFlow 脚本路径: {dataflow_name} -> {script_path}"
                )
                return True
            else:
                logger.warning(f"未找到 DataFlow 节点: {dataflow_name}")
                return False

    except Exception as e:
        logger.error(f"更新 DataFlow script_path 失败: {e}")
        return False


def sync_completed_tasks_to_db() -> int:
    """将 pending_tasks.json 中 completed 的任务同步到数据库"""
    if not PENDING_TASKS_FILE.exists():
        return 0

    try:
        with PENDING_TASKS_FILE.open("r", encoding="utf-8") as f:
            tasks = json.load(f)
    except Exception as e:
        logger.error(f"读取 pending_tasks.json 失败: {e}")
        return 0

    if not isinstance(tasks, list):
        return 0

    updated = 0
    remaining_tasks = []

    for t in tasks:
        if t.get("status") == "completed":
            task_id = t.get("task_id")
            if not task_id:
                continue

            task_name = t.get("task_name")
            code_name = t.get("code_name")
            code_path = t.get("code_path")

            # 统一处理：code_path 始终为 "datafactory/scripts"
            code_path = "datafactory/scripts"

            # 只处理 Python 脚本文件
            is_python_script = code_name and code_name.endswith(".py")

            if is_python_script:
                logger.info(f"任务 {task_id} 使用 Python 脚本: {code_path}/{code_name}")
            else:
                logger.info(
                    f"任务 {task_id} 的 code_name ({code_name}) 不是 Python 脚本，跳过 DataFlow 更新"
                )

            if update_task_status(task_id, "completed", code_name, code_path):
                updated += 1
                logger.info(f"已同步任务 {task_id} 为 completed")

                # 只有 Python 脚本才更新 DataFlow 节点的 script_path
                if task_name and is_python_script:
                    full_script_path = f"{code_path}/{code_name}"
                    if update_dataflow_script_path(
                        task_name, full_script_path, task_id=task_id
                    ):
                        logger.info(
                            f"已更新 DataFlow 脚本路径: {task_name} -> {full_script_path}"
                        )
                    else:
                        logger.warning(f"更新 DataFlow 脚本路径失败: {task_name}")

                    # 自动部署到生产服务器（如果启用）
                    if ENABLE_AUTO_DEPLOY:
                        logger.info(f"开始自动部署任务 {task_id} 到生产服务器...")
                        if auto_deploy_completed_task(t):
                            logger.info(f"✅ 任务 {task_id} 已成功部署到生产服务器")
                        else:
                            logger.warning(f"任务 {task_id} 部署到生产服务器失败")
                    else:
                        logger.info(f"自动部署已禁用，跳过任务 {task_id} 的部署")
            else:
                remaining_tasks.append(t)
        else:
            remaining_tasks.append(t)

    if updated > 0:
        with PENDING_TASKS_FILE.open("w", encoding="utf-8") as f:
            json.dump(remaining_tasks, f, indent=2, ensure_ascii=False)
        logger.info(f"本次共同步 {updated} 个 completed 任务到数据库")

    return updated


# ============================================================================
# 生产服务器部署功能
# ============================================================================
def get_ssh_connection():
    """获取 SSH 连接到生产服务器"""
    try:
        import paramiko  # type: ignore

        ssh = paramiko.SSHClient()
        ssh.set_missing_host_key_policy(paramiko.AutoAddPolicy())

        logger.info(
            f"正在连接生产服务器 {PRODUCTION_SERVER['username']}@"
            f"{PRODUCTION_SERVER['host']}:{PRODUCTION_SERVER['port']}..."
        )

        ssh.connect(
            hostname=PRODUCTION_SERVER["host"],
            port=PRODUCTION_SERVER["port"],
            username=PRODUCTION_SERVER["username"],
            password=PRODUCTION_SERVER["password"],
            timeout=10,
        )

        logger.info("✅ SSH 连接成功")
        return ssh

    except ImportError:
        logger.error("未安装 paramiko 库，请运行: pip install paramiko")
        return None
    except Exception as e:
        logger.error(f"SSH 连接失败: {e}")
        return None


def test_ssh_connection() -> bool:
    """测试 SSH 连接到生产服务器"""
    logger.info("=" * 60)
    logger.info("测试生产服务器连接")
    logger.info("=" * 60)

    ssh = get_ssh_connection()
    if not ssh:
        logger.error("❌ SSH 连接测试失败")
        return False

    try:
        # 测试执行命令
        _, stdout, _ = ssh.exec_command("echo 'Connection test successful'")
        output = stdout.read().decode().strip()
        logger.info(f"✅ 命令执行成功: {output}")

        # 检查目标目录是否存在
        _, stdout, _ = ssh.exec_command(
            f"test -d {PRODUCTION_SERVER['script_path']} && echo 'exists' || echo 'not exists'"
        )
        result = stdout.read().decode().strip()

        if result == "exists":
            logger.info(f"✅ 脚本目录存在: {PRODUCTION_SERVER['script_path']}")
        else:
            logger.warning(f"脚本目录不存在: {PRODUCTION_SERVER['script_path']}")
            logger.info("将在首次部署时自动创建")

        ssh.close()
        logger.info("=" * 60)
        logger.info("✅ 连接测试完成")
        logger.info("=" * 60)
        return True

    except Exception as e:
        logger.error(f"❌ 测试执行命令失败: {e}")
        ssh.close()
        return False


def deploy_script_to_production(
    local_script_path: str, remote_filename: str | None = None
) -> bool:
    """部署脚本文件到生产服务器"""
    try:
        import importlib.util

        if importlib.util.find_spec("paramiko") is None:
            logger.error("未安装 paramiko 库,请运行: pip install paramiko")
            return False

        # 转换为绝对路径
        local_path = Path(local_script_path)
        if not local_path.is_absolute():
            local_path = WORKSPACE_ROOT / local_path

        if not local_path.exists():
            logger.error(f"本地文件不存在: {local_path}")
            return False

        # 确定远程文件名
        if not remote_filename:
            remote_filename = local_path.name

        remote_path = f"{PRODUCTION_SERVER['script_path']}/{remote_filename}"

        # 建立 SSH 连接
        ssh = get_ssh_connection()
        if not ssh:
            return False

        try:
            # 创建 SFTP 客户端
            sftp = ssh.open_sftp()

            # 确保远程目录存在
            try:
                sftp.stat(PRODUCTION_SERVER["script_path"])
            except FileNotFoundError:
                logger.info(f"创建远程目录: {PRODUCTION_SERVER['script_path']}")
                _, stdout, _ = ssh.exec_command(
                    f"mkdir -p {PRODUCTION_SERVER['script_path']}"
                )
                stdout.channel.recv_exit_status()

            # 上传文件
            logger.info(f"正在上传: {local_path} -> {remote_path}")
            sftp.put(str(local_path), remote_path)

            # 设置文件权限为可执行
            sftp.chmod(remote_path, 0o755)

            logger.info(f"✅ 脚本部署成功: {remote_path}")

            sftp.close()
            ssh.close()
            return True

        except Exception as e:
            logger.error(f"文件传输失败: {e}")
            ssh.close()
            return False

    except ImportError:
        logger.error("未安装 paramiko 库，请运行: pip install paramiko")
        return False
    except Exception as e:
        logger.error(f"部署脚本失败: {e}")
        return False


def deploy_n8n_workflow_to_production(workflow_file: str) -> bool:
    """
    部署 n8n 工作流到 n8n 服务器

    此函数执行两个步骤：
    1. 通过 n8n API 创建工作流（主要步骤）
    2. 通过 SFTP 备份工作流文件到生产服务器（可选）
    """
    try:
        import json

        import requests

        # 转换为绝对路径
        local_path = Path(workflow_file)
        if not local_path.is_absolute():
            local_path = WORKSPACE_ROOT / local_path

        if not local_path.exists():
            logger.error(f"工作流文件不存在: {local_path}")
            return False

        # 加载工作流 JSON
        with open(local_path, encoding="utf-8") as f:
            workflow_data = json.load(f)

        workflow_name = workflow_data.get("name", local_path.stem)
        logger.info(f"正在部署工作流到 n8n 服务器: {workflow_name}")

        # 获取 n8n API 配置
        try:
            sys.path.insert(0, str(WORKSPACE_ROOT))
            from app.config.config import BaseConfig

            api_url = BaseConfig.N8N_API_URL
            api_key = BaseConfig.N8N_API_KEY
            timeout = BaseConfig.N8N_API_TIMEOUT
        except (ImportError, AttributeError):
            import os

            api_url = os.environ.get("N8N_API_URL", "https://n8n.citupro.com")
            api_key = os.environ.get("N8N_API_KEY", "")
            timeout = int(os.environ.get("N8N_API_TIMEOUT", "30"))

        if not api_key:
            logger.error("未配置 N8N_API_KEY，无法部署工作流到 n8n 服务器")
            return False

        # 准备 API 请求
        headers = {
            "X-N8N-API-KEY": api_key,
            "Content-Type": "application/json",
            "Accept": "application/json",
        }

        # 准备工作流数据（移除 tags，n8n API 不支持直接创建带 tags）
        workflow_payload = {
            "name": workflow_name,
            "nodes": workflow_data.get("nodes", []),
            "connections": workflow_data.get("connections", {}),
            "settings": workflow_data.get("settings", {}),
        }

        # 调用 n8n API 创建工作流
        create_url = f"{api_url.rstrip('/')}/api/v1/workflows"
        logger.info(f"调用 n8n API: {create_url}")

        try:
            response = requests.post(
                create_url,
                headers=headers,
                json=workflow_payload,
                timeout=timeout,
            )

            if response.status_code == 401:
                logger.error("n8n API 认证失败，请检查 N8N_API_KEY 配置")
                return False
            elif response.status_code == 403:
                logger.error("n8n API 权限不足")
                return False

            response.raise_for_status()
            created_workflow = response.json()
            workflow_id = created_workflow.get("id")

            logger.info(f"✅ 工作流创建成功! ID: {workflow_id}, 名称: {workflow_name}")

            # 可选：将工作流文件备份到生产服务器
            try:
                _backup_workflow_to_server(local_path)
            except Exception as backup_error:
                logger.warning(f"备份工作流文件到服务器失败（非关键）: {backup_error}")

            return True

        except requests.exceptions.Timeout:
            logger.error("n8n API 请求超时，请检查网络连接")
            return False
        except requests.exceptions.ConnectionError:
            logger.error(f"无法连接到 n8n 服务器: {api_url}")
            return False
        except requests.exceptions.HTTPError as e:
            error_detail = ""
            try:
                error_detail = e.response.json()
            except Exception:
                error_detail = e.response.text
            logger.error(
                f"n8n API 错误: {e.response.status_code}, 详情: {error_detail}"
            )
            return False

    except Exception as e:
        logger.error(f"部署工作流失败: {e}")
        import traceback

        logger.error(traceback.format_exc())
        return False


def _backup_workflow_to_server(local_path: Path) -> bool:
    """备份工作流文件到生产服务器（通过 SFTP）"""
    try:
        import importlib.util

        if importlib.util.find_spec("paramiko") is None:
            logger.debug("未安装 paramiko 库，跳过文件备份")
            return False

        remote_path = f"{PRODUCTION_SERVER['workflow_path']}/{local_path.name}"

        # 建立 SSH 连接
        ssh = get_ssh_connection()
        if not ssh:
            return False

        try:
            # 创建 SFTP 客户端
            sftp = ssh.open_sftp()

            # 确保远程目录存在
            try:
                sftp.stat(PRODUCTION_SERVER["workflow_path"])
            except FileNotFoundError:
                logger.info(f"创建远程目录: {PRODUCTION_SERVER['workflow_path']}")
                _, stdout, _ = ssh.exec_command(
                    f"mkdir -p {PRODUCTION_SERVER['workflow_path']}"
                )
                stdout.channel.recv_exit_status()

            # 上传工作流文件
            logger.debug(f"备份工作流文件: {local_path} -> {remote_path}")
            sftp.put(str(local_path), remote_path)

            sftp.close()
            ssh.close()
            return True

        except Exception as e:
            logger.warning(f"工作流文件备份失败: {e}")
            ssh.close()
            return False

    except Exception as e:
        logger.warning(f"备份工作流失败: {e}")
        return False


def auto_deploy_completed_task(task_info: dict[str, Any]) -> bool:
    """自动部署已完成任务的脚本和工作流到生产服务器"""
    code_name = task_info.get("code_name")
    code_path = task_info.get("code_path")
    task_name = task_info.get("task_name", "未知任务")

    if not code_name or not code_path:
        logger.warning(f"任务 {task_name} 缺少代码文件信息，跳过部署")
        return False

    logger.info("=" * 60)
    logger.info(f"开始自动部署任务: {task_name}")
    logger.info("=" * 60)

    deploy_success = True

    # 1. 部署 Python 脚本
    if code_name.endswith(".py"):
        script_path = f"{code_path}/{code_name}"
        logger.info(f"部署 Python 脚本: {script_path}")

        if deploy_script_to_production(script_path):
            logger.info(f"✅ 脚本 {code_name} 部署成功")
        else:
            logger.error(f"❌ 脚本 {code_name} 部署失败")
            deploy_success = False

    # 2. 查找并部署相关的 n8n 工作流文件
    workflow_files = []

    # 查找模式1: 与脚本同目录的工作流文件
    script_dir = WORKSPACE_ROOT / code_path
    if script_dir.exists() and script_dir.is_dir():
        for wf_file in script_dir.glob("n8n_workflow_*.json"):
            if wf_file.is_file():
                workflow_files.append(wf_file)

    # 查找模式2: datafactory/n8n_workflows 目录
    n8n_workflows_dir = WORKSPACE_ROOT / "datafactory" / "n8n_workflows"
    if n8n_workflows_dir.exists():
        for wf_file in n8n_workflows_dir.glob("*.json"):
            if wf_file.is_file() and wf_file not in workflow_files:
                workflow_files.append(wf_file)

    # 查找模式3: 根据任务名称匹配工作流文件
    if task_name and task_name != "未知任务":
        task_name_pattern = task_name.replace(" ", "_").lower()
        for wf_file in (WORKSPACE_ROOT / "datafactory").rglob(
            f"*{task_name_pattern}*.json"
        ):
            if (
                wf_file.is_file()
                and "n8n" in wf_file.name.lower()
                and wf_file not in workflow_files
            ):
                workflow_files.append(wf_file)

    if workflow_files:
        logger.info(f"发现 {len(workflow_files)} 个工作流文件")
        for wf_file in workflow_files:
            logger.info(f"部署工作流: {wf_file.name}")
            if deploy_n8n_workflow_to_production(str(wf_file)):
                logger.info(f"✅ 工作流 {wf_file.name} 部署成功")
            else:
                logger.error(f"❌ 工作流 {wf_file.name} 部署失败")
                deploy_success = False
    else:
        logger.info("未发现相关工作流文件")

    logger.info("=" * 60)
    if deploy_success:
        logger.info(f"✅ 任务 {task_name} 部署完成")
    else:
        logger.warning(f"任务 {task_name} 部署过程中出现错误")
    logger.info("=" * 60)

    return deploy_success


# ============================================================================
# Cursor Agent 自动化
# ============================================================================

# Agent 会话状态
AGENT_SESSION_ACTIVE: bool = False
AGENT_START_TIME: float = 0


def get_all_cursor_windows() -> list[dict[str, Any]]:
    """获取所有 Cursor 窗口信息"""
    if not HAS_CURSOR_GUI:
        return []

    cursor_windows: list[dict[str, Any]] = []

    def enum_windows_callback(hwnd, _extra):
        if win32gui.IsWindowVisible(hwnd):
            title = win32gui.GetWindowText(hwnd) or ""
            class_name = win32gui.GetClassName(hwnd) or ""

            is_cursor = "cursor" in title.lower()
            if class_name and "chrome_widgetwin" in class_name.lower():
                is_cursor = True

            if is_cursor:
                left, top, right, bottom = win32gui.GetWindowRect(hwnd)
                area = (right - left) * (bottom - top)
                cursor_windows.append(
                    {
                        "hwnd": hwnd,
                        "title": title,
                        "class_name": class_name,
                        "area": area,
                    }
                )
        return True

    win32gui.EnumWindows(enum_windows_callback, None)
    return cursor_windows


def find_cursor_window() -> int | None:
    """查找 Cursor 主窗口句柄"""
    if not HAS_CURSOR_GUI:
        return None

    cursor_windows = get_all_cursor_windows()

    if not cursor_windows:
        logger.warning("未找到 Cursor 窗口")
        return None

    # 按面积排序，返回最大的窗口（主窗口）
    cursor_windows.sort(key=lambda x: x["area"], reverse=True)
    return cursor_windows[0]["hwnd"]


def activate_window(hwnd: int) -> bool:
    """激活指定窗口"""
    if not HAS_CURSOR_GUI:
        return False

    try:
        win32gui.ShowWindow(hwnd, win32con.SW_RESTORE)
        time.sleep(0.3)
        win32gui.SetForegroundWindow(hwnd)
        time.sleep(0.5)
        return True
    except Exception as e:
        logger.error(f"激活窗口失败: {e}")
        return False


def open_new_agent() -> bool:
    """在 Cursor 中打开新的 Agent 窗口"""
    global AGENT_SESSION_ACTIVE, AGENT_START_TIME

    if not HAS_CURSOR_GUI:
        logger.warning("当前环境不支持 Cursor GUI 自动化")
        return False

    hwnd = find_cursor_window()
    if not hwnd:
        return False

    if not activate_window(hwnd):
        return False

    try:
        # 使用 Ctrl+Shift+I 打开新的 Agent/Composer
        logger.info("正在打开新的 Agent...")
        pyautogui.hotkey("ctrl", "shift", "i")
        time.sleep(2.0)  # 等待 Agent 窗口打开

        AGENT_SESSION_ACTIVE = True
        AGENT_START_TIME = time.time()
        logger.info("✅ 新的 Agent 已打开")
        return True

    except Exception as e:
        logger.error(f"打开 Agent 失败: {e}")
        return False


def close_current_agent() -> bool:
    """关闭当前的 Agent 会话"""
    global AGENT_SESSION_ACTIVE

    if not HAS_CURSOR_GUI:
        return False

    if not AGENT_SESSION_ACTIVE:
        logger.info("没有活动的 Agent 会话")
        return True

    hwnd = find_cursor_window()
    if not hwnd:
        return False

    if not activate_window(hwnd):
        return False

    try:
        logger.info("正在关闭 Agent...")

        # 按 Escape 键关闭 Agent
        pyautogui.press("escape")
        time.sleep(0.5)

        # 再按一次确保关闭
        pyautogui.press("escape")
        time.sleep(0.3)

        AGENT_SESSION_ACTIVE = False
        logger.info("✅ Agent 已关闭")
        return True

    except Exception as e:
        logger.error(f"关闭 Agent 失败: {e}")
        return False


def type_message_to_agent(message: str) -> bool:
    """向 Agent 输入消息"""
    if not HAS_CURSOR_GUI:
        return False

    try:
        # 等待 Agent 输入框获得焦点
        time.sleep(0.5)

        # 使用剪贴板粘贴（更可靠地处理中文和特殊字符）
        if HAS_PYPERCLIP:
            try:
                pyperclip.copy(message)
                pyautogui.hotkey("ctrl", "v")
                time.sleep(0.5)
            except Exception:
                # 回退到逐字符输入
                pyautogui.write(message, interval=0.03)
        else:
            pyautogui.write(message, interval=0.03)

        time.sleep(0.3)

        # 按 Enter 发送消息
        pyautogui.press("enter")
        logger.info("✅ 消息已发送到 Agent")
        return True

    except Exception as e:
        logger.error(f"发送消息到 Agent 失败: {e}")
        return False


def wait_for_agent_completion(
    timeout: int = 3600,
    check_interval: int = 30,
) -> bool:
    """
    等待 Agent 完成任务

    通过检查 pending_tasks.json 中的任务状态来判断是否完成
    """
    start_time = time.time()
    logger.info(f"等待 Agent 完成任务（超时: {timeout}s）...")

    while time.time() - start_time < timeout:
        processing_ids = get_processing_task_ids()

        if not processing_ids:
            elapsed = int(time.time() - start_time)
            logger.info(f"✅ 所有任务已完成！耗时: {elapsed}s")
            return True

        remaining = len(processing_ids)
        elapsed = int(time.time() - start_time)
        logger.info(
            f"仍有 {remaining} 个任务进行中... (已等待 {elapsed}s / {timeout}s)"
        )

        time.sleep(check_interval)

    logger.warning("等待超时，仍有未完成的任务")
    return False


def run_agent_once(
    timeout: int = 3600,
    auto_close: bool = True,
) -> bool:
    """
    执行一次 Agent 任务

    流程：
    1. 同步已完成任务到数据库
    2. 从数据库读取 pending 任务
    3. 更新任务状态为 processing
    4. 生成执行指令文件
    5. 打开 Agent 并发送消息
    6. 等待任务完成
    7. 同步完成任务 + 自动部署
    8. 关闭 Agent
    """
    logger.info("=" * 60)
    logger.info("Agent 单次执行模式")
    logger.info("=" * 60)

    # 1. 先同步已完成任务
    sync_completed_tasks_to_db()

    # 2. 从数据库获取 pending 任务
    logger.info("正在从数据库查询 pending 任务...")
    pending_tasks = get_pending_tasks()

    # 3. 检查是否有任务需要执行
    if not pending_tasks:
        processing_ids = get_processing_task_ids()
        if not processing_ids:
            logger.info("✅ 没有待执行的任务")
            return True
        logger.info(f"发现 {len(processing_ids)} 个 processing 任务，继续执行")
    else:
        logger.info(f"发现 {len(pending_tasks)} 个 pending 任务")

        # 4. 更新任务状态为 processing
        for task in pending_tasks:
            update_task_status(task["task_id"], "processing")

        # 5. 写入 pending_tasks.json
        write_pending_tasks_json(pending_tasks)

        # 6. 生成执行指令文件
        create_execute_instructions(pending_tasks)

    # 7. 更新触发器文件
    all_processing_ids = get_processing_task_ids()
    if all_processing_ids:
        update_trigger_file(
            task_count=len(all_processing_ids),
            status="有待执行任务",
            task_ids=all_processing_ids,
        )

    # 8. 打开 Agent 并发送消息
    if not open_new_agent():
        logger.error("❌ 无法打开 Agent")
        return False

    if not type_message_to_agent(AGENT_MESSAGE):
        logger.error("❌ 无法发送消息到 Agent")
        close_current_agent()
        return False

    logger.info(f"已发送消息: {AGENT_MESSAGE[:50]}...")

    # 9. 等待任务完成
    completed = wait_for_agent_completion(timeout=timeout)

    # 10. 同步已完成的任务到数据库
    sync_completed_tasks_to_db()

    if completed:
        logger.info("✅ Agent 已完成所有任务")
    else:
        logger.warning("Agent 未能在超时时间内完成所有任务")

    # 11. 关闭 Agent
    if auto_close:
        close_current_agent()

    logger.info("=" * 60)
    logger.info("Agent 会话结束")
    logger.info("=" * 60)

    return completed


def run_agent_loop(
    interval: int = 300,
    timeout: int = 3600,
    auto_close: bool = True,
) -> None:
    """
    Agent 循环模式

    循环执行 Agent 单次任务，直到用户按 Ctrl+C 停止
    """
    global AGENT_SESSION_ACTIVE

    logger.info("=" * 60)
    logger.info("Agent 循环模式已启动")
    logger.info(f"检查间隔: {interval} 秒")
    logger.info(f"任务超时: {timeout} 秒")
    logger.info(f"自动部署: {'已启用' if ENABLE_AUTO_DEPLOY else '已禁用'}")
    logger.info("按 Ctrl+C 停止服务")
    logger.info("=" * 60)

    try:
        while True:
            try:
                logger.info("开始新一轮任务检查...")

                # 1. 同步已完成任务
                sync_completed_tasks_to_db()

                # 2. 从数据库获取 pending 任务
                pending_tasks = get_pending_tasks()

                if pending_tasks:
                    logger.info(f"发现 {len(pending_tasks)} 个新的 pending 任务")

                    # 更新任务状态为 processing
                    for task in pending_tasks:
                        update_task_status(task["task_id"], "processing")

                    # 写入 pending_tasks.json
                    write_pending_tasks_json(pending_tasks)

                    # 生成执行指令文件
                    create_execute_instructions(pending_tasks)

                # 3. 检查是否有 processing 任务
                processing_ids = get_processing_task_ids()

                if processing_ids:
                    # 如果有活动的 Agent 会话，不需要重新启动
                    if AGENT_SESSION_ACTIVE:
                        logger.info(
                            f"Agent 正在执行中，剩余 {len(processing_ids)} 个任务"
                        )
                    else:
                        logger.info(f"发现 {len(processing_ids)} 个待处理任务")

                        # 更新触发器文件
                        update_trigger_file(
                            task_count=len(processing_ids),
                            status="有待执行任务",
                            task_ids=processing_ids,
                        )

                        # 启动 Agent
                        if open_new_agent():
                            if type_message_to_agent(AGENT_MESSAGE):
                                logger.info("✅ 已启动 Agent 并发送执行提醒")

                                # 等待任务完成
                                wait_for_agent_completion(timeout=timeout)

                                # 同步完成的任务
                                sync_completed_tasks_to_db()

                                # 关闭 Agent
                                if auto_close:
                                    close_current_agent()
                            else:
                                logger.warning("发送消息失败")
                                close_current_agent()
                        else:
                            logger.warning("启动 Agent 失败")
                else:
                    logger.info("✅ 没有待处理任务")

                logger.info(f"{interval} 秒后将重新检查任务列表...")
                time.sleep(interval)

            except KeyboardInterrupt:
                raise
            except Exception as e:
                logger.error(f"❌ 执行出错: {e}")
                import traceback

                logger.error(traceback.format_exc())
                time.sleep(interval)

    except KeyboardInterrupt:
        # 退出时关闭 Agent
        if AGENT_SESSION_ACTIVE:
            logger.info("正在关闭 Agent...")
            close_current_agent()
        logger.info("\n⛔ 服务已停止")


# ============================================================================
# 交互式菜单
# ============================================================================
def show_interactive_menu() -> None:
    """显示交互式菜单并执行用户选择的操作"""
    global ENABLE_AUTO_DEPLOY

    while True:
        print("\n" + "=" * 60)
        print("自动任务执行调度脚本 - Agent 模式")
        print("=" * 60)
        print("\n请选择操作模式：\n")
        print("  1. Agent 单次执行")
        print("  2. Agent 循环模式")
        print("  3. Agent 循环模式（禁用部署）")
        print("  4. 测试生产服务器连接")
        print("  5. 查看当前任务状态")
        print("  0. 退出")
        print("\n" + "-" * 60)

        try:
            choice = input("请输入选项 [0-5]: ").strip()
        except (KeyboardInterrupt, EOFError):
            print("\n再见！")
            break

        if choice == "0":
            print("再见！")
            break

        elif choice == "1":
            print("\n启动 Agent 单次执行模式...")
            run_agent_once(timeout=3600, auto_close=True)
            input("\n按 Enter 键返回菜单...")

        elif choice == "2":
            try:
                interval_str = input("请输入检查间隔（秒，默认300）: ").strip()
                interval = int(interval_str) if interval_str else 300
            except ValueError:
                interval = 300
            print(f"\n启动 Agent 循环模式，检查间隔: {interval} 秒")
            print("按 Ctrl+C 停止服务并返回菜单\n")
            ENABLE_AUTO_DEPLOY = True
            try:
                run_agent_loop(interval=interval)
            except KeyboardInterrupt:
                print("\n循环已停止")

        elif choice == "3":
            try:
                interval_str = input("请输入检查间隔（秒，默认300）: ").strip()
                interval = int(interval_str) if interval_str else 300
            except ValueError:
                interval = 300
            print(f"\n启动 Agent 循环模式（禁用部署），检查间隔: {interval} 秒")
            print("按 Ctrl+C 停止服务并返回菜单\n")
            ENABLE_AUTO_DEPLOY = False
            try:
                run_agent_loop(interval=interval)
            except KeyboardInterrupt:
                print("\n循环已停止")

        elif choice == "4":
            print("\n测试生产服务器连接...")
            if test_ssh_connection():
                print("✅ 连接测试成功")
            else:
                print("❌ 连接测试失败")
            input("\n按 Enter 键返回菜单...")

        elif choice == "5":
            print("\n当前任务状态：")
            print("-" * 40)

            # 从数据库获取 pending 任务
            pending_tasks = get_pending_tasks()
            print(f"  数据库中 pending 任务: {len(pending_tasks)} 个")
            for task in pending_tasks:
                print(f"    - [{task['task_id']}] {task['task_name']}")

            # 从本地文件获取 processing 任务
            processing_ids = get_processing_task_ids()
            print(f"  本地 processing 任务: {len(processing_ids)} 个")
            if processing_ids:
                print(f"    任务 ID: {processing_ids}")

            input("\n按 Enter 键返回菜单...")

        else:
            print("❌ 无效的选项，请重新选择")


# ============================================================================
# 主函数
# ============================================================================
def main() -> None:
    """主函数"""
    parser = argparse.ArgumentParser(
        description="自动任务执行调度脚本 (Agent 模式)",
        formatter_class=argparse.RawDescriptionHelpFormatter,
        epilog="""
示例:
  # Agent 单次执行
  python scripts/auto_execute_tasks.py --agent-run

  # Agent 循环模式
  python scripts/auto_execute_tasks.py --agent-loop

  # Agent 循环模式 + 禁用自动部署
  python scripts/auto_execute_tasks.py --agent-loop --no-deploy

  # 设置 Agent 超时时间
  python scripts/auto_execute_tasks.py --agent-run --agent-timeout 7200

  # 立即部署指定任务到生产服务器
  python scripts/auto_execute_tasks.py --deploy-now 123

  # 测试生产服务器连接
  python scripts/auto_execute_tasks.py --test-connection
        """,
    )

    # Agent 模式参数
    parser.add_argument(
        "--agent-run",
        action="store_true",
        help="Agent 单次执行模式",
    )
    parser.add_argument(
        "--agent-loop",
        action="store_true",
        help="Agent 循环模式",
    )
    parser.add_argument(
        "--agent-timeout",
        type=int,
        default=3600,
        help="Agent 等待任务完成的超时时间（秒），默认 3600",
    )
    parser.add_argument(
        "--interval",
        type=int,
        default=300,
        help="循环模式检查间隔（秒），默认 300",
    )
    parser.add_argument(
        "--no-auto-close",
        action="store_true",
        help="任务完成后不自动关闭 Agent",
    )

    # 部署相关参数
    parser.add_argument(
        "--no-deploy",
        action="store_true",
        help="禁用自动部署功能",
    )
    parser.add_argument(
        "--deploy-now",
        type=str,
        metavar="TASK_ID",
        help="立即部署指定任务ID的脚本到生产服务器",
    )
    parser.add_argument(
        "--test-connection",
        action="store_true",
        help="测试到生产服务器的 SSH 连接",
    )

    args = parser.parse_args()

    global ENABLE_AUTO_DEPLOY
    ENABLE_AUTO_DEPLOY = not args.no_deploy
    auto_close = not args.no_auto_close

    # 测试 SSH 连接
    if args.test_connection:
        if test_ssh_connection():
            logger.info("✅ 连接测试成功")
        else:
            logger.error("❌ 连接测试失败")
        return

    # 立即部署指定任务
    if args.deploy_now:
        try:
            task_id = int(args.deploy_now)
            logger.info(f"开始部署任务 {task_id}...")

            # 从 pending_tasks.json 查找任务信息
            if PENDING_TASKS_FILE.exists():
                with PENDING_TASKS_FILE.open("r", encoding="utf-8") as f:
                    tasks = json.load(f)

                task_found = None
                for t in tasks:
                    if t.get("task_id") == task_id:
                        task_found = t
                        break

                if task_found:
                    if auto_deploy_completed_task(task_found):
                        logger.info(f"✅ 任务 {task_id} 部署成功")
                    else:
                        logger.error(f"❌ 任务 {task_id} 部署失败")
                else:
                    logger.error(f"未找到任务 {task_id}")
            else:
                logger.error("pending_tasks.json 文件不存在")

        except ValueError:
            logger.error(f"无效的任务ID: {args.deploy_now}")
        return

    # Agent 单次执行
    if args.agent_run:
        success = run_agent_once(
            timeout=args.agent_timeout,
            auto_close=auto_close,
        )
        if success:
            logger.info("✅ Agent 单次执行完成")
        else:
            logger.error("❌ Agent 单次执行失败")
        return

    # Agent 循环模式
    if args.agent_loop:
        run_agent_loop(
            interval=args.interval,
            timeout=args.agent_timeout,
            auto_close=auto_close,
        )
        return

    # 没有指定任何模式参数时，显示交互式菜单
    if len(sys.argv) == 1:
        show_interactive_menu()
    else:
        # 显示帮助信息
        parser.print_help()


if __name__ == "__main__":
    main()