Inicio Explorar Ayuda
Iniciar sesión
mxl_citu
/
DataOps-platform
1
0
Fork 0
Archivos Incidencias 0 Pull Requests 0 Wiki
Árbol: 1318c92e3e
Ramas Etiquetas
DataOps-plat...
/
FIELD_STANDARDIZATION_REPORT.md

FIELD_STANDARDIZATION_REPORT.md 8.6 KB
Histórico Raw

Neo4j 字段名称标准化报告

📋 变更概述

变更日期: 2024-10-31
变更范围: app/core 目录下所有 Neo4j 相关操作
变更目的: 统一数据库字段命名规范

🎯 标准化规则

旧字段名 新字段名 说明
name name_zh 中文名称
en_name name_en 英文名称
time create_time 创建时间
createTime create_time 创建时间（统一格式）

✅ 已完成的修改

1. app/core/meta_data/meta_data.py

修改内容:

  • ✅ 第157行: n.name → n.name_zh (搜索条件)
  • ✅ 第160行: n.en_name → n.name_en (过滤条件)
  • ✅ 第163行: n.name → n.name_zh (过滤条件)
  • ✅ 第169行: n.createTime → n.create_time (时间过滤)
  • ✅ 第186行: ORDER BY n.name → ORDER BY n.name_zh
  • ✅ 第497行: e.createTime → e.create_time (Entity节点)
  • ✅ 第496行: {name: $name, en_name: $en_name} → {name_zh: $name, name_en: $en_name}
  • ✅ 第598行: e.en_name, e.createTime → e.name_en, e.create_time
  • ✅ 第597行: {name: $name} → {name_zh: $name}
  • ✅ 第613行: e.en_name, e.createTime → e.name_en, e.create_time
  • ✅ 第612行: {name: $name} → {name_zh: $name}

2. app/core/data_metric/metric_interface.py

修改内容:

  • ✅ 第46行: n.name → n.name_zh (name_filter)
  • ✅ 第49行: n.en_name → n.name_en (en_name_filter)
  • ✅ 第55行: n.time → n.create_time (time_filter)
  • ✅ 第71行: name: m.name → name_zh: m.name_zh
  • ✅ 第73行: n.time, name:la.name → n.create_time, name_zh:la.name_zh
  • ✅ 第172-175行: 所有 n.name, d.name, t.name, a.name → 对应的 name_zh
  • ✅ 第383行: n.name → n.name_zh (图谱节点文本)
  • ✅ 第711行: n.name → n.name_zh (metric_check查询)
  • ✅ 第724-725行: node.get('name'), node.get('en_name') → node.get('name_zh'), node.get('name_en')
  • ✅ 第727行: node.get('createTime', node.get('time')) → node.get('create_time')

⏳ 待处理的文件和位置

3. app/core/data_interface/interface.py

需要修改:

  • 第40行: n.name CONTAINS $name_filter → n.name_zh CONTAINS $name_filter
  • 第43行: n.en_name CONTAINS $en_name_filter → n.name_en CONTAINS $en_name_filter
  • 第49行: n.time CONTAINS $time_filter → n.create_time CONTAINS $time_filter
  • 第60行: n.time as time → n.create_time as time
  • 第266行: n.name CONTAINS $name_filter → n.name_zh CONTAINS $name_filter
  • 第269行: n.en_name CONTAINS $en_name_filter → n.name_en CONTAINS $en_name_filter
  • 第286行: n.time as time → n.create_time as time
  • 第344行: text: n.name → text: n.name_zh
  • 第438行: text:(n.name) → text:(n.name_zh)
  • 第507行: n.time as time → n.create_time as time
  • 第538行: text:(n.name) → text:(n.name_zh)

4. app/core/data_model/model.py

需要修改:

  • 第462行: name: n.name → name_zh: n.name_zh
  • 第463行: en_name: n.en_name → name_en: n.name_en
  • 第464行: time: n.time → create_time: n.create_time
  • 第565行: n.name =~ $name → n.name_zh =~ $name
  • 第569行: n.en_name =~ $en_name → n.name_en =~ $en_name
  • 第635行: n.name, n.en_name, n.time → n.name_zh, n.name_en, n.create_time
  • 第661行: n.name, n.en_name, n.time → n.name_zh, n.name_en, n.create_time
  • 第674行: ORDER BY n.time DESC → ORDER BY n.create_time DESC
  • 第1130行: n.name = $name → n.name_zh = $name
  • 第1131行: n.en_name = $en_name → n.name_en = $en_name

5. app/core/data_resource/resource.py

需要修改:

  • 第495行: n.en_name CONTAINS '{en_name_filter}' → n.name_en CONTAINS '{en_name_filter}'
  • 第498行: n.name CONTAINS '{name_filter}' → n.name_zh CONTAINS '{name_filter}'
  • 第532行: ORDER BY n.time DESC → ORDER BY n.create_time DESC
  • 第549行: ORDER BY n.time DESC → ORDER BY n.create_time DESC
  • 第568行: ORDER BY n.time DESC → ORDER BY n.create_time DESC
  • 第580行: ORDER BY n.time DESC → ORDER BY n.create_time DESC
  • 第1267行: n.name CONTAINS '{name_filter}' → n.name_zh CONTAINS '{name_filter}'
  • 第1279行: ORDER BY n.createTime DESC → ORDER BY n.create_time DESC

6. app/core/data_flow/dataflows.py

需要修改:

  • 第39行: n.name CONTAINS $search → n.name_zh CONTAINS $search
  • 第362行: n.name = $name → n.name_zh = $name

7. app/core/production_line/production_line.py

需要修改:

  • 第38行: n.name as name → n.name_zh as name_zh
  • 第66行: text: n.name → text: n.name_zh
  • 第86行: text: n.name → text: n.name_zh
  • 第102行: text: n.name → text: n.name_zh
  • 第116行: text: n.name → text: n.name_zh
  • 第208行: n.name as cn_name → n.name_zh as cn_name
  • 第209行: n.en_name as en_name → n.name_en as en_name

8. app/core/data_parse 目录

注意事项

该目录主要涉及 PostgreSQL 数据库操作和数据解析，字段名已经使用标准格式 (name_zh, name_en)，无需修改。

涉及的文件：

  • parse_neo4j_process.py - 已使用标准格式
  • parse_system.py - 已使用标准格式
  • 其他解析相关文件 - 主要处理业务逻辑，不涉及Neo4j字段

📊 统计信息

已修改文件

  1. ✅ app/core/meta_data/meta_data.py - 11处修改
  2. ✅ app/core/data_metric/metric_interface.py - 13处修改

待修改文件

  1. ⏳ app/core/data_interface/interface.py - 约11处待修改
  2. ⏳ app/core/data_model/model.py - 约10处待修改
  3. ⏳ app/core/data_resource/resource.py - 约8处待修改
  4. ⏳ app/core/data_flow/dataflows.py - 约2处待修改
  5. ⏳ app/core/production_line/production_line.py - 约7处待修改

总计

  • 已完成: 24处修改 (2个文件)
  • 待处理: 约38处待修改 (5个文件)
  • 总计: 约62处需要标准化

🔍 批量替换建议

为了高效完成剩余修改，建议使用以下批量替换策略：

针对 interface.py

# 使用sed或编辑器批量替换
n.name CONTAINS → n.name_zh CONTAINS
n.en_name CONTAINS → n.name_en CONTAINS
n.time CONTAINS → n.create_time CONTAINS
n.time as time → n.create_time as time
text: n.name → text: n.name_zh
text:(n.name) → text:(n.name_zh)

针对 model.py

name: n.name → name_zh: n.name_zh
en_name: n.en_name → name_en: n.name_en
time: n.time → create_time: n.create_time
n.name =~ → n.name_zh =~
n.en_name =~ → n.name_en =~
ORDER BY n.time → ORDER BY n.create_time
n.name = $name → n.name_zh = $name
n.en_name = $en_name → n.name_en = $en_name

针对 resource.py

n.name CONTAINS → n.name_zh CONTAINS  
n.en_name CONTAINS → n.name_en CONTAINS
ORDER BY n.time → ORDER BY n.create_time
ORDER BY n.createTime → ORDER BY n.create_time

针对 dataflows.py

n.name CONTAINS → n.name_zh CONTAINS
n.name = $name → n.name_zh = $name

针对 production_line.py

n.name as name → n.name_zh as name_zh
text: n.name → text: n.name_zh
n.name as cn_name → n.name_zh as cn_name
n.en_name as en_name → n.name_en as en_name

⚠️ 注意事项

  1. 变量名不要改: Python 代码中的变量名 (如 name, en_name) 不需要修改，只修改 Neo4j 查询中的字段名
  2. 字符串参数不要改: 如 $name, $en_name 这些参数名保持不变
  3. 返回别名注意: 如 n.name_zh as name 这样的别名要根据业务逻辑决定是否修改
  4. 测试覆盖: 修改后需要全面测试所有相关API接口

🧪 测试建议

修改完成后，建议测试以下功能：

  1. 元数据相关

    • 元数据列表查询
    • 元数据搜索过滤
    • 元数据创建和编辑

  2. 指标相关

    • 指标列表查询
    • 指标公式检查
    • 指标图谱生成

  3. 数据接口

    • 接口列表查询
    • 接口图谱生成

  4. 数据模型

    • 模型列表查询
    • 模型创建和更新

  5. 数据资源

    • 资源列表查询
    • 资源搜索

  6. 数据流和生产线

    • 流程图谱查询
    • 生产线节点查询

📝 后续步骤

  1. ✅ 已完成 meta_data.py 和 metric_interface.py
  2. ⏳ 继续修改 interface.py
  3. ⏳ 继续修改 model.py
  4. ⏳ 继续修改 resource.py
  5. ⏳ 继续修改 dataflows.py
  6. ⏳ 继续修改 production_line.py
  7. ⏳ 运行linter检查
  8. ⏳ 执行完整测试
  9. ⏳ 更新相关API文档

🔄 版本信息

  • 开始时间: 2024-10-31
  • 预计完成: 待定
  • 当前状态: 进行中 (33% 完成)
  • 执行人: Cursor AI Assistant

注意: 本文档将随着修改进度持续更新。