 wangxq
|
bfc53156ae
基本完成自动调度和手工调度的修改
|
10 tháng trước cách đây |
|
wangxq
|
581dd38cad
准备修改自动执行的脚本
|
10 tháng trước cách đây |
|
wangxq
|
3a6c29327a
除了load_data.py之外，基本完成其它脚本与手工调度的测试，准备修改自动调度。
|
10 tháng trước cách đây |
|
wangxq
|
bbbd7d6206
手工调度基本修改完成，但幂等性设置有些问题
|
10 tháng trước cách đây |
|
wangxq
|
540676cf42
修改config.py，让prepare_day.py在作业中修改系统var变量。
|
10 tháng trước cách đây |
|
wangxq
|
5761322b50
抽取公共函数，修改scripts的路径
|
10 tháng trước cách đây |
|
wangxq
|
970004027e
准备大面积的合并
|
10 tháng trước cách đây |
|
wangxq
|
be150f78b0
修正找不到exec_mode的问题
|
10 tháng trước cách đây |
|
wangxq
|
a383754a13
增加manual_trigger_dag.py对logical_date的转换功能.
|
10 tháng trước cách đây |
|
wangxq
|
bd617b4665
准备增加传入logical date的功能
|
10 tháng trước cách đây |
|
wangxq
|
e9d59e2fb6
修改手工DAG，增加对python/sql/python_script的支持
|
10 tháng trước cách đây |
|
wangxq
|
12d6b33a3e
创建新的手工触发的DAG.
|
10 tháng trước cách đây |
|
wangxq
|
ab4896e331
load_file.py增加了支持xls/xlsx格式的文件。
|
10 tháng trước cách đây |
|
wangxq
|
d9ddddb866
准备修改load_file.py
|
10 tháng trước cách đây |
|
wangxq
|
80395761d1
添加 get_cn_exec_date（）函数
|
10 tháng trước cách đây |
|
wangxq
|
111c81a3fa
调通了python代码块的调用功能
|
10 tháng trước cách đây |
|
wangxq
|
af9c8c987d
完成脚本编排的定期调度版本
|
10 tháng trước cách đây |
|
wangxq
|
67e158f76d
可以正确生成source表数组
|
10 tháng trước cách đây |
|
wangxq
|
c50bbf0d0d
load_file.py测试通过，准备修改多节点依赖。
|
10 tháng trước cách đây |
|
wangxq
|
3b0e4b24a1
完成对csv文件加载的部分修改，未修改路径，测试调度
|
10 tháng trước cách đây |
|
wangxq
|
25d64887fd
增加了对load_file.py的支持
|
10 tháng trước cách đây |
|
wangxq
|
d0517d7a58
添加load_file.py，准备修改DAG，增加对csv的支持
|
11 tháng trước cách đây |
|
wangxq
|
89fbff1ca9
开始项目代码优化整合
|
11 tháng trước cách đây |
|
wangxq
|
832dbc08c2
修正了手工传参的大小写问题
|
11 tháng trước cách đây |
|
wangxq
|
c0f8b12ad4
pipeline版本的prepare/data代码修改了手工传参的日志
|
11 tháng trước cách đây |
|
wangxq
|
e3481c69da
pipeline 版本添加了手工传参的功能，修改了部分scripts.
|
11 tháng trước cách đây |
|
wangxq
|
7ba906cca4
pipeline 版本基本调试通过
|
11 tháng trước cách đây |
|
wangxq
|
c7c9aa395e
prepare和data已经可以正常工作，后面计划重新添加一个summary的DAG.
|
11 tháng trước cách đây |
|
wangxq
|
0c1735befc
准备修改airflow_exec_plan表，并测试时间戳的生成
|
11 tháng trước cách đây |
|
wangxq
|
22cb341bd1
准备修改两个文件中的时区，我发现ds和exection_time都是UTC时区的
|
11 tháng trước cách đây |
