#!/usr/bin/env python # -*- coding: utf-8 -*- import logging import sys import os from datetime import datetime, timedelta import time import random # 配置日志记录器 logging.basicConfig( level=logging.INFO, format='%(asctime)s - %(name)s - %(levelname)s - %(message)s', handlers=[ logging.StreamHandler(sys.stdout) ] ) logger = logging.getLogger("book_sale_amt_daily_clean") def clean_daily_book_sales(): """清洗日度图书销售额数据的函数""" # 获取当前脚本的文件名 script_name = os.path.basename(__file__) logger.info(f"开始执行日度图书销售额数据清洗 - 脚本: {script_name}") try: # 模拟数据处理过程 logger.info("从数据源获取原始销售数据...") # 实际应用中这里会连接到数据库或其他数据源 logger.info("执行数据清洗流程...") # 模拟处理步骤 today = datetime.now() yesterday = today - timedelta(days=1) date_str = yesterday.strftime('%Y-%m-%d') logger.info(f"正在清洗 {date_str} 的数据") logger.info("检查数据完整性...") logger.info("检测并处理异常值...") logger.info("填充缺失数据...") logger.info("标准化数据格式...") logger.info("去除重复记录...") logger.info("数据清洗完成,准备保存结果...") # 实际应用中这里会将结果保存到数据库 # 模拟处理时间 processing_time = random.uniform(0.5, 2.0) logger.info(f"开始处理数据,预计需要 {processing_time:.2f} 秒") time.sleep(processing_time) # 模拟处理逻辑 current_time = datetime.now().strftime("%Y-%m-%d %H:%M:%S") logger.info(f"数据处理中... 当前时间: {current_time}") # 模拟数据清洗操作 logger.info(f"执行数据清洗操作: 移除异常值、填充缺失值、标准化格式") time.sleep(processing_time) # 模拟写入数据库 success_rate = random.random() if success_rate > 0.1: # 90%的成功率 logger.info(f"表 {date_str} 数据清洗成功,已处理并写入") return True else: logger.error(f"表 {date_str} 数据清洗或写入过程中出现随机错误") return False except Exception as e: logger.error(f"清洗日度图书销售额数据时出错: {str(e)}") return False def run(table_name, execution_mode, **kwargs): """ 统一入口函数,符合Airflow动态脚本调用规范 参数: table_name (str): 要处理的表名 execution_mode (str): 执行模式 (append/full_refresh) **kwargs: 其他可能的参数 返回: bool: 执行成功返回True,否则返回False """ logger.info(f"通过统一入口函数run()调用 - 处理表: {table_name}, 模式: {execution_mode}") # 获取当前脚本的文件名 script_name = os.path.basename(__file__) # 记录详细的执行信息 logger.info(f"[统一入口] 脚本 {script_name} 正在处理表 {table_name}, 模式: {execution_mode}") logger.info(f"开始时间: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}") # 根据执行模式判断处理逻辑 if execution_mode == "full_refresh": logger.info("执行完全刷新模式 - 将处理所有历史数据") logger.info("获取过去30天的历史数据进行清洗...") else: # append logger.info("执行增量模式 - 只清洗最新一天的数据") # 调用实际处理函数 result = clean_daily_book_sales() logger.info(f"结束时间: {datetime.now().strftime('%Y-%m-%d %H:%M:%S')}") logger.info(f"处理结果: {'成功' if result else '失败'}") return result if __name__ == "__main__": # 直接执行时调用统一入口函数 run(table_name="book_sale_amt_daily", execution_mode="append")