 wangxq
|
7ba906cca4
pipeline 版本基本调试通过
|
il y a 6 mois |
|
wangxq
|
c7c9aa395e
prepare和data已经可以正常工作，后面计划重新添加一个summary的DAG.
|
il y a 6 mois |
|
wangxq
|
0c1735befc
准备修改airflow_exec_plan表，并测试时间戳的生成
|
il y a 6 mois |
|
wangxq
|
22cb341bd1
准备修改两个文件中的时区，我发现ds和exection_time都是UTC时区的
|
il y a 6 mois |
|
wangxq
|
93b2c15da7
删除了对airflow_dag_schedule的依赖，但是对json和json.ready的依赖没有删除干净
|
il y a 6 mois |
|
wangxq
|
db9d2718b0
pipeline_data修改了一半
|
il y a 6 mois |
|
wangxq
|
15bb995811
pipeline_data不再依赖json文件
|
il y a 6 mois |
|
wangxq
|
935efc4d4b
pipeline_prepare 同时把plan写成json文件和数据库表
|
il y a 6 mois |
|
wangxq
|
2e8886e1b7
从pipeline_prepare删除了与airflow_dag_schedule相关的操作
|
il y a 6 mois |
|
wangxq
|
1e4838a523
修改pipeline_prepare代码中的支持多个版本的json文件，还未删除它把执行计划写入数据库表的功能
|
il y a 6 mois |
|
wangxq
|
0846b2b64f
准备修改pipeline_data/prepare
|
il y a 6 mois |
|
wangxq
|
85deb8de46
已经莫名其妙的修复了pipline_data_scheduler.py
|
il y a 6 mois |
|
wangxq
|
09b2edddcd
更新执行时长的功能没有成功
|
il y a 6 mois |
|
wangxq
|
e8a9e4711f
dag_dataops_pipeline_*_scheduler.py 的两个文件基本可以正常工作，data_scheduler.py的summary功能还有些问题。
|
il y a 6 mois |
|
wangxq
|
61990f9b8d
准备把unified_data和unified_summary合并为一个DAG
|
il y a 6 mois |
|
wangxq
|
a128852d15
unified 三个脚本调通，准备合并后两个脚本
|
il y a 6 mois |
|
wangxq
|
2965e0e4ee
准备修改三个unified文件的触发机制
|
il y a 6 mois |
|
wangxq
|
5e51972be7
单一文件的DAG我准备放弃了，目前unified三文件版本是可以正常工作的。
|
il y a 6 mois |
|
wangxq
|
fd4f7e472c
做了两种尝试，效果均不满意，手工执行时合并后，查看脚本执行流程图。自动调度合并为一个DAG，并保留作业执行流程图。
|
il y a 6 mois |
|
wangxq
|
6583bd530d
统一的DAG可以正常运行了
|
il y a 6 mois |
|
wangxq
|
b1ec0a5232
有错误的unified四个脚本，准备合并三个unified脚本，手工unified已经宣告失败。
|
il y a 6 mois |
|
wangxq
|
6f291ae161
完成对dag_dataops_*_scheduler.py 四个脚本的编写，后续需要研究airflow的系统执行时间，现在不同DAG中系统执行时间不一致。
|
il y a 6 mois |
|
wangxq
|
954f012a2e
添加两个单独的scheduler.py,实现两级周期订阅
|
il y a 6 mois |
|
wangxq
|
6dfc371394
完成了对手工触发作业的优化
|
il y a 6 mois |
|
wangxq
|
7f0e6be121
修改手工触发作业的功能
|
il y a 6 mois |
|
wangxq
|
3e57a23177
尝试优化手工触发的方案失败
|
il y a 6 mois |
|
wangxq
|
fbebca0978
已经完成对定时订阅功能的公共函数的优化和测试
|
il y a 6 mois |
|
wangxq
|
aa65954786
准备按照线上AI的建议，修改代码
|
il y a 6 mois |
|
wangxq
|
23a8f2f9ad
发现monthly依赖处理逻辑的问题，现在准备统一修改
|
il y a 6 mois |
|
wangxq
|
1209c9e7c4
优化了daily.py代码
|
il y a 6 mois |
