 wangxq
|
fd4f7e472c
做了两种尝试，效果均不满意，手工执行时合并后，查看脚本执行流程图。自动调度合并为一个DAG，并保留作业执行流程图。
|
hai 10 meses |
|
wangxq
|
6583bd530d
统一的DAG可以正常运行了
|
hai 10 meses |
|
wangxq
|
b1ec0a5232
有错误的unified四个脚本，准备合并三个unified脚本，手工unified已经宣告失败。
|
hai 10 meses |
|
wangxq
|
6f291ae161
完成对dag_dataops_*_scheduler.py 四个脚本的编写，后续需要研究airflow的系统执行时间，现在不同DAG中系统执行时间不一致。
|
hai 10 meses |
|
wangxq
|
954f012a2e
添加两个单独的scheduler.py,实现两级周期订阅
|
hai 10 meses |
|
wangxq
|
6dfc371394
完成了对手工触发作业的优化
|
hai 10 meses |
|
wangxq
|
7f0e6be121
修改手工触发作业的功能
|
hai 10 meses |
|
wangxq
|
3e57a23177
尝试优化手工触发的方案失败
|
hai 10 meses |
|
wangxq
|
fbebca0978
已经完成对定时订阅功能的公共函数的优化和测试
|
hai 10 meses |
|
wangxq
|
aa65954786
准备按照线上AI的建议，修改代码
|
hai 10 meses |
|
wangxq
|
23a8f2f9ad
发现monthly依赖处理逻辑的问题，现在准备统一修改
|
hai 10 meses |
|
wangxq
|
1209c9e7c4
优化了daily.py代码
|
hai 10 meses |
|
wangxq
|
3ac997d603
Merge branch 'dev'
|
hai 10 meses |
|
wangxq
|
a479a10557
修改了并行度控制，采用airflow参数控制
|
hai 10 meses |
|
wangxq
|
bae2712674
Merge branch 'dev'
|
hai 10 meses |
|
wangxq
|
721fbed27d
完成对utils.py/dag_data_resource.py/daily的优化，resource添加了并行度控制
|
hai 10 meses |
|
wangxq
|
06ac36bc3e
Merge branch 'dev'
|
hai 10 meses |
|
wangxq
|
9d50b5449f
增加了yearly的调度
|
hai 10 meses |
|
wangxq
|
aca2f99bcf
Merge branch 'dev'
|
hai 10 meses |
|
wangxq
|
c5d4fc5ef8
已经完成对weekly/monthly的修改和测试
|
hai 10 meses |
|
wangxq
|
316aabd8dd
准备更新monthly.py
|
hai 10 meses |
|
wangxq
|
bdd5a5b01b
准备修改weekly，monthly.py
|
hai 10 meses |
|
wangxq
|
a9601163ae
Remove .venv directory from git tracking
|
hai 10 meses |
|
wangxq
|
b18b6738cb
第一次提交,定时调度版本的resource,daily已经基本调试完成
|
hai 10 meses |
