DataOps-platform/app/core/data_interface

数据接口核心业务逻辑模块

本模块包含了数据接口相关的所有核心业务逻辑函数，处理数据标准和数据标签的创建、查询、更新、删除以及与其他数据对象的关系管理。

主要功能

1. 数据标准管理

   • 数据标准列表查询与筛选
   • 数据标准图谱生成（血缘关系、影响关系、全量关系）
   • 数据标准与其他数据对象（资源、模型、元数据等）的关系处理

2. 数据标签管理

   • 数据标签列表查询与筛选
   • 数据标签图谱生成（血缘关系、影响关系）
   • 数据标签与其他数据对象的关系处理

3. 动态标签识别

   • 基于内容相似度的标签分组识别
   • 使用Levenshtein相似度算法进行匹配

核心函数列表

数据标准函数

• standard_list：获取数据标准列表，支持多种过滤条件
• standard_kinship_graph：生成数据标准的血缘关系图谱
• standard_impact_graph：生成数据标准的影响关系图谱
• standard_all_graph：生成数据标准的全量关系图谱

数据标签函数

• label_list：获取数据标签列表，支持多种过滤条件
• id_label_graph：根据ID生成数据标签图谱
• label_kinship_graph：生成数据标签的血缘关系图谱
• label_impact_graph：生成数据标签的影响关系图谱
• dynamic_label_list：根据内容查询相似的数据标签分组

数据模型

数据标准（data_standard）

数据标准节点具有以下主要属性：

• name：标准名称
• en_name：标准英文名称
• category：标准分类
• describe：标准描述
• time：创建/更新时间
• tag：标签（JSON序列化的数组）
• code：生成的标准代码（可选）
• input：输入参数（可选）
• output：输出参数（可选）

数据标签（data_label）

数据标签节点具有以下主要属性：

• name：标签名称
• en_name：标签英文名称
• category：标签分类
• describe：标签描述
• time：创建/更新时间
• group：标签分组
• scope：标签作用域（可选）

关系类型

• label：表示标签关系，连接数据标签与其他数据对象
• clean_resource：标准与资源的清洗关系
• clean_model：标准与模型的清洗关系

依赖关系

• 依赖 app.routes.graph_routes 提供图数据库连接
• 使用 Cypher 查询语言进行图数据库操作
• 使用 apoc 插件提供的高级图算法和函数

调用示例

# 获取数据标准列表示例
from app.core.data_interface.interface import standard_list

# 查询名称包含"用户"，分类为"数据格式"的数据标准
skip_count = 0
page_size = 10
name_filter = "用户"
category_filter = "数据格式"

standards, total = standard_list(skip_count, page_size, 
                                 name_filter=name_filter, 
                                 category_filter=category_filter)

# 生成数据标签图谱示例
from app.core.data_interface.interface import label_kinship_graph

# 生成ID为123的数据标签的血缘关系图谱
graph_data = label_kinship_graph(123)