calsite原理_Calcite研究 - welcome to 奥木染 - OSCHINA - 中文开源技术交流社区-程序员宅基地

1. 背景

calcite作为一款开源的动态数据管理框架(https://calcite.apache.org/)，它具备很多典型数据库管理系统的功能，比如SQL解析、SQL校验、SQL查询优化、SQL生成以及数据连接查询等，但是又省略了一些关键的功能，比如Calcite并不存储相关的元数据和基本数据，不完全包含相关处理数据的算法等。

也正是因为Calcite本身与数据存储和处理的逻辑无关，所以这让它成为与多个数据存储位置(数据源)和多种数据处理引擎之间进行调解的绝佳选择。

Calcite所做的工作就是将各种SQL语句解析成抽象语法树(AST Abstract Syntax Tree)，并根据一定的规则或成本对AST的算法与关系进行优化，最后推给各个数据处理引擎进行执行。

Calcite整体架构如下图所示：

Hive，Flink，Storm都使用Calcite作为其SQL解析优化引擎。

2. Calcite适配器

A schema adapter allows Calcite to read particular kind of data, presenting the data as tables within a schema.

Calcite默认支持的Schema adapters如下：

换句话说，calcite为了能够适配各类数据源，需要添加适配器来对接，适配程度和适配器完善程度相关，例如JDBC adapter当前就存在一定限制，只能下推scan到底层JDBC源，其他操作无法下推：

3. Calcite自定义适配器Adapters

1、定义schema，需先构建对应适配器schema类(例如DB数据库里，schema对应DataBase，这里就需要返回对应DataBase对象)，然后实现SchemaFactory、Table、TableScan等接口

2、实现Table，表示某种类型的表，需实现TableFactory接口

3、实现SQL到DQL/DML/DDL的转换，需实现QueryableTable、FilterableTable(或者ProjectableFilterableTable)、ModifiableTable等接口。如果需要处理流式数据，需实现StreamableTable接口

4、如果需要自定义字段类型，需实现RelDataTypeSystem接口

简单来说，实现只有全表扫描功能的adapter步骤：

自定义Schema

自定义Schema Factory

自定义Table

自定义Enumerator

4. SQL Dialect方言转换

Calcite支持接收和自定义SQL方言：

目前有许多实现SqlDialect方言类接口的类，如果要自定义方言类，继承这个SqlDialect接口，并在SqlDialectFactoryImpl、SqlDialect中添加对应case即可

注意继承SqlDialect接口的时候，实现unparseCall方法最为重要，Default也需要根据对应方言类型的要求进行构造

5. 方言转换Demo

从这个demo可以看到sql经过不同方言类转换得到的sql均不相同，debug sqlNode.toSqlString方法即可看到sql组装的过程

本文链接：https://blog.csdn.net/weixin_31110741/article/details/111924204

原作者删帖不实内容删帖广告或垃圾文章投诉

智能推荐

一个ngrok如何穿透多个端口？_ngrok多个端口-程序员宅基地

文章浏览阅读2.7k次，点赞2次，收藏4次。如何不充钱就可以穿透多个端口？./ngrok authtoken 授权码之前这个操作的生成的yml文件中修改端口可添加多个addr：port端口可随意配置_ngrok多个端口

C语言 char转uint8_t-程序员宅基地

文章浏览阅读5.9k次。char转uint8_t：static int char2uint(char *input, uint8_t *output){ for(int i = 0; i < 24; i++) { output[i] &= 0x00; for (int j = 1; j >= 0; j--) { char hb = input[i*2 + 1 - j]; if (hb >= '0' &..._char转uint8_t

android 陀螺仪简单使用，判读手机是否静止状态_安卓陀螺仪多少才算静止-程序员宅基地

文章浏览阅读6.5k次，点赞5次，收藏13次。陀螺仪允许您在任何给定时刻确定Android设备的角速度。简单来说，它告诉您设备绕X，Y和Z轴旋转的速度有多快。最近，即使是预算手机正在制造，陀螺仪内置，增强现实和虚拟现实应用程序变得如此受欢迎。通过使用陀螺仪，您可以开发可以响应设备方向的微小更改的应用程序。创建陀螺仪对象和管理器manager// Register it, specifying the polling interv..._安卓陀螺仪多少才算静止

lib静态库逆向分析_libtersafe-程序员宅基地

文章浏览阅读4.7k次，点赞3次，收藏16次。当我们要分析一个lib库里的代码时，首先需要判断这是一个静态库还是一个导入库。库类型判断lib文件其实是一个压缩文件。我们可以直接使用7z打开lib文件，以查看里面的内容。如果里面的内容是obj文件，表明是静态库。如果里面的内容是dll文件，表明是导入库。导入库里面是不包含代码的，代码包含在对应的dll文件中。从lib中提取obj静态库是一个或者多个obj文件的打包，这里有两个方法从中提取obj：Microsoft 库管理器 7z解压Microsoft 库管理器(li_libtersafe

Linux的网络适配器_linux 查询网络适配器-程序员宅基地

文章浏览阅读5.3k次，点赞3次，收藏3次。了解一下，省的脑壳痛桥接模式对应的虚拟网络名称“VMnet0” 桥接模式下，虚拟机通过主机的网卡进行通信，若物理主机有多块网卡（有线的和无线网卡），应选择桥结哪块物理网卡桥接模式下，虚拟机和物理主机同等地位，可以通过物理主机的网卡访问外网（局域网），一个局域网的其他计算机可以访问虚拟机。为虚拟机设置一个与物理网卡在同个网段的IP，则虚拟机就可以与物理主机以及局域..._linux 查询网络适配器

【1+X Web前端等级考证】 | Web前端开发中级理论 (附答案)_1+xweb前端开发中级-程序员宅基地

文章浏览阅读3.4w次，点赞77次，收藏438次。# 前言2020 12月 1+X Web 前端开发中级模拟题大致就更这么多,我的重心不在这里,就不花太多时间在这里面了。但是，说说1+X Web前端开发等级考证这个证书,总有人跑到网上问：这个证书有没有用？这个证书含金量高不高？# 关于考不考因为这个是工信部从2019年才开始实施试点的，目前还在各大院校试点中，就目前情况来看，知名度并不是很高，有没有用现在无法一锤定音，看它以后办的怎么样把，软考以前也是慢慢地才知名起来。能考就考吧，据所知，大部分学校报考，基本不用交什么报考费(小部分学校，个别除._1+xweb前端开发中级