2019112546226一种基于内存计算与SQL计算的数据处理方法.pdf

(19)国家知识产权局

(12)发明专利

(10)授权公告号CN111061767B
(45)授权公告日2023.05.05
(21)申请号201911254622.6(51)Int.Cl.
(22)申请日2019.12.10G06F16/2455(2019.01)
G06Q30/0201(2023.01)
(65)同一申请的已公布的文献号
申请公布号CN111061767A(56)对比文件
CN106325869A,2017.01.11
(43)申请公布日2020.04.24CN107704265A,2018.02.16
(73)专利权人美林数据技术股份有限公司审查员蔡秀梅
地址710000陕西省西安市高新区软件新

城天谷八路528号国家电子商务示范
基地六层
(72)发明人程宏亮穆宇浩郭联伟苏魁
王海亮李旭刘国杰
(74)专利代理机构西安毅联专利代理有限公司
61225
专利代理师师玮

权利要求书1页说明书8页附图1页
(54)发明名称
一种基于内存计算与SQL计算的数据处理方
法
(57)摘要
本发明提供了一种基于内存计算与SQL计算
的数据处理方法，包括：重构分析表达式语义体
系，以跨颗粒度表达式建立数据库的内部核心语
法规则，和跨颗粒度表达式返回的对象建立外层
语法规则；以及重构分析表达式计算框架，包括
计算逻辑生成器以及计算执行器，所述计算逻辑
生成器将根据输入的语义模型和元数据模型的
模型信息，识别计算逻辑，并根据所述计算逻辑
构建DAG流；所述计算执行器接受DAG流与多个计
算模型，生成计算任务，提交发布执行。效提升BI
在业务计算方面的灵活度，无需受限于数据仓
库，无需提前预计算，或者抽取数据建立数据中
心，仅借助SQL与内存计算机制即可实现复杂的
业务计算。
CN111061767B
CN111061767B权利要求书1/1页

1.一种基于内存计算与SQL计算的数据处理方法，其特征在于，包括：
重构分析表达式语义体系，以跨颗粒度表达式建立数据库的内部核心语法规则，和跨
颗粒度表达式返回的对象建立外层语法规则；其中，所述跨颗粒度表达式内部核心语法规
则包括：整体由{}包裹，内部支持{}嵌套；表达式必须包括”：”，冒号将表达式分为了左侧段
和右侧段两个部分；左侧段包括唯一一个关键词，关键词支持大小写；左侧段包括0个或0个
以上字段；或者左侧段为一个函数表达式，支持运算符；右侧段包括一个聚合字段和聚合函
数；或者右侧段为一个函数表达式，支持运算符；
以及重构分析表达式计算框架，包括计算逻辑生成器以及计算执行器，所述计算逻辑
生成器将根据输入的语义模型和元数据模型的模型信息，识别计算逻辑，并根据所述计算
逻辑构建DAG流；
所述计算执行器接受DAG流与多个计算模型，生成计算任务，提交发布执行；其中，所述
生成计算任务包括：计算执行器接受到输入的DAT流与多个计算模型，生成计算任务，提交
发布执行；在执行过程中，首先将计算模型的父视图为基础物理表的计算模型转化为SQL发
布执行，在内存中，将网格模型、与较为复杂的视图模型进行多级分步骤的计算；计算执行
器具有一定的优化计算能力，对于重复度的视图模型将进行适合的合并和压缩，以降低查
询次数与内存空间；计算结果以一个或多个DataFrame结构返回；DataFrame是一个表格型
的数据结构，它含有一组有序的列，每列包括不同的值类型；DataFrame既有行索引也有列
索引。
2.根据权利要求1所述的一种基于内存计算与SQL计算的数据处理方法，其特征在于，
根据输入的内容，自动提取待分析的数据的元数据信息，并建立元数据模型。
3.根据权利要求2所述的一种基于内存计算与SQL计算的数据处理方法，其特征在于，
所述多级分步骤的计算包括拆分步骤：将根据元数据和语义的输入，判定关键词fixed等是
否存在，以及存在的数量；存在一个fixed，拆分出一个视图，然后根据视图中的定义，生成
相应的sql，交由网格模型进行计算。
4.根据权利要求1所述的一种基于内存计算与SQL计算的数据处理方法，其特征在于，
所述DAG流包括但不限于视图模型、网格模型，并将各模型的血缘关系进行梳理，确定各模
型的输入输出与关联字段，在SQL中将以层级嵌套的模式展开。
5.根据权利要求1‑4任意一项所述的一种基于内存计算与SQL计算的数据处理方法，其
特征在于，所述跨颗粒度表达式包括：预先计算某个颗粒度层级的计算结果，然后在显示界
面中应用所述计算结果进行新的查询。
6.根据权利要求5所述的一种基于内存计算与SQL计算的数据处理方法，其特征在于，
构建包括多个关键词，以及多个聚合函数的跨颗粒度表达式，每一关键词对应于不同的功
能。
7.根据权利要求1所述的一种基于内存计算与SQL计算的数据处理