大数据的分布式SQL查询引擎 -- Presto的详细使用

青旅半醒 2022-01-30 15:45 1088阅读 0赞

# Presto – Distributed SQL Query Engine for Big Data #

[官网][Link 1] [项目源码][Link 2] [官方文档][Link 3]

## 目录 ##

*  1 Presto 概述
 *  2 概念
    
     *  2.1 服务进程
     *  2.2 数据源
     *  2.3 查询执行模型
 *  3 整体架构
 *  4 Presto 安装
    
     *  4.1 条件
     *  4.2 安装包的获取
     *  4.3 规划
     *  4.4 Presto Server部署
        
         *  4.4.1 修改 node.properties 配置文件
         *  4.4.2 修改 config.properties 配置文件
         *  4.4.3 修改 jvm.config 配置文件
         *  4.4.4 修改 log.properties 配置文件
         *  4.4.5 修改 Catalog 配置文件
            
             *  (1) MySQL
             *  (2) Hive
             *  (3) Kudu
             *  (4) MongoDB
             *  (5) Kafka
         *  4.4.6 Presto Worker 配置
         *  4.4.7 Presto服务的启停
     *  4.5 Presto Client部署
 *  5 网页客户端工具
    
     *  5.1 Gradle安装
     *  5.2 Node.js安装
     *  5.3 下载源码并编译
     *  5.4 修改yanagishima的配置文件
     *  5.5 yanagishima的启停
     *  5.6 yanagishima的使用
 *  6 Presto 使用
    
     *  6.1 Presto CLI
        
         *  6.1.1 MySQL
         *  6.1.2 Hive
         *  6.1.3 Kudu
         *  6.1.4 Kafka
     *  6.2 JDBC 连接 Presto
        
         *  6.2.1 新建Maven项目
         *  6.2.2 在`pom.xml`中引入依赖
         *  6.2.3 编写代码
         *  6.2.4 运行
     *  6.3 Kafka Connector
        
         *  6.3.1 基本查询
         *  6.3.2 添加表定义文件
         *  6.3.3 将 message 中所有的值映射到不同列
     *  6.4 使用实时数据
        
         *  6.4.1 在Kafka集群上创建一个Topic
         *  6.4.2 编写一个Kafka生产者
         *  6.4.3 在Presto中创建表
         *  6.4.4 重启Presto，进行如下查询数据

--------------------

# 1 Presto 概述 #

Presto 是一个在 Facebook 主持下运营的开源项目（2012年秋启动，2013年冬开源）。Presto是一种旨在使用分布式查询有效查询大量数据的工具，Presto是专门为大数据实时查询计算而设计和开发的产品，其为基于 Java 开发的，对使用者和开发者而言易于学习。 Presto有时被社区的许多成员称为数据库，官方也强调 Presto 不是通用关系数据库，它不是 MySQL，PostgreSQL 或 Oracle 等数据库的替代品，Presto 不是为处理在线事务处理（OLTP）而设计的。

如果您使用太字节或数PB的数据，您可能会使用与 Hadoop 和 HDFS 交互的工具。Presto 被设计为使用 MapReduce 作业（如Hive或Pig）管道查询 HDFS 的工具的替代方案，但 Presto不限于访问HDFS。 Presto 已经可以扩展到在不同类型的数据源上运行，包括传统的关系数据库和其它数据源（如Cassandra）。Presto旨在处理数据仓库和分析：数据分析、合大量数据和生成报告。这些工作负载通常归类为在线分析处理（OLAP）。

# 2 概念 #

## 2.1 服务进程 ##

(1). **Coordinator**  
Presto coordinator（协调器）是负责解析语句、查询计划和管理 Presto Worker 节点的服务进程。它是 Presto 安装的“大脑”，也是客户端连接以提交语句并提供执行的节点。 每个 Presto 安装必须有一个 Presto Coordinator 和一个或多个 Presto Worker。出于开发或测试目的，可以将单个 Presto 实例配置作为这两个角色。 Coordinator跟踪每个 Worker 的活动并协调查询的执行。Coordinator 创建一个涉及一系列阶段的查询的逻辑模型，然后将其转换为在 Presto 工作集群上运行的一系列连接任务。 Coordinator 使用 REST API 与 Worker 和客户进行通信。

(2). **Worker**  
Presto worker 是 Presto 安装中的负责执行任务和处理数据服务进程。Worker 从Connector获取数据并相互交换中间数据。Coordinator 负责从Worker那里获取结果并将最终结果返回给客户端。当Presto Worker进程启动时，它会将自己通告给 Coordinator，接下来Presto Coordinator就可以执行任务。 Worker 使用 REST API 与其他 Worker 和 Presto Coordinator 进行通信。

## 2.2 数据源 ##

(1). **Connector**  
Connector 将 Presto 适配到数据源，如Hive或关系数据库。您可以将 Connector 视为与数据库驱动程序相同的方式，这是 Presto SPI 的一种实现，它允许 Presto 使用标准 API 与资源进行交互。 Presto 包含几个内置连接器：JMX 的连接器 ，它是一个提供对内置系统表访问的系统连接器；Hive连接器和一个用于提供 TPC-H 基准数据的TPCH连接器。 许多第三方开发人员都提供了连接器，以便 Presto 可以访问各种数据源中的数据。每个 Catalog 都与特定 Connector 相关联，如果检查 Catalog 配置文件，您将看到每个都包含强制属性 connector.name， Catalog 使用该属性为给定的 catalog 创建 Connector。可以让多个 Catalog 使用相同的 Connector 来访问类似数据库的两个不同实例。例如，如果您有两个Hive集群，则可以在单个 Presto 集群中配置两个 Catalog， 这两个 Catalog 都使用 Hive Connector，允许您查询来自两个 Hive 集群的数据（即使在同一SQL查询中）。

(2). **Catalog**  
Presto Catalog 包含 Schemas，并通过 Connector 引用数据源。例如，您可以配置 JMX catalog 以通过 JMX Connector 来提供对 JMX 信息的访问。 在 Presto 中运行 SQL 语句时，您将针对一个或多个 Catalog 运行它。Catalog 的其它示例包括用于连接到 Hive 数据源的 Hive Catalog。 当在 Presto 中寻址一个表时，全限定的表名始终以 Catalog 为根。例如，一个全限定的表名称`hive.test_data.test` 将引用 Hive catalog中 `test_data`库中 test表。 Catalog的定义存储在 Presto 配置目录中的属性文件中。

(3). **Schema**  
Schema 是组织表的一种方式。Schema 和 Catalog 一起定义了一组可以查询的表。使用 Presto 访问 Hive 或 MySQL 等关系数据库时，Schema 会转换为目标数据库中的相同概念。 其他类型的 Connector 可以选择以对底层数据源有意义的方式将表组织成 Schema。

(4). **Table**  
表是一组被组织成具有类型的列名的无序行。这与任一关系数据库中的定义相同。从源数据到表的映射由 Connector 定义。

## 2.3 查询执行模型 ##

(1). **Statement**  
Presto 执行与 ANSI 兼容的 SQL 语句。当 Presto 文档引用一个语句时，它指的是 ANSI SQL 标准中定义的语句，该语句(Statment)由子句(Clauses)、表达式(Expression)和断言(Predicate)组成。 **Presto 为什么将语句和查询(Query)概念分开呢**？这是必要的，因为在 Presto 中，Statment 只是引用 SQL 语句的文本表示。执行语句时，Presto 会创建一个查询（Query）以及一个查询计划，然后该查询计划将分布在一系列 Presto Worker 进程中。

(2). **Query**  
当 Presto 解析语句时，它将转换为查询（Query）并创建一个分布式查询计划，然后将其实现为在 Presto Worker 进程上运行的一系列相互关联的阶段。在 Presto 中检索有关查询的信息时，您会收到生成结果集以响应语句所涉及的每个组件的快照。 语句和查询之间的区别很简单。**语句可以被认为是传递给 Presto 的 SQL 文本，而查询是指为实现该语句而实例化的配置和组件**。查询包含 stages、tasks、splits、connectors以及其它组件和数据源，它们协同工作以生成结果。

(3). **Stage**  
当Presto 执行查询时，它通过将执行分解为具有层级关系的多个 Stage。例如，如果 Presto 需要从Hive 中存储的10亿行数据进行聚合，则可以通过创建根State来聚合其它几个State的输出，所有这些State都旨在实现分布式查询计划的不同部分。包含查询的层级关系结构类似于树，每个查询都有一个根Stage，负责聚合其它 Stage 的输出。State是 Coordinator 用于分布式查询计划建模的工具，但State本身并不在 Presto Worker 进程上运行。

(4). **Task**  
如Stage部分所述，Stage 对分布式查询计划的特定部分进行建模，但 Stage 本身不在 Presto Worker 进程上执行。要了解 Stage 的执行方式，您需要了解 Stage 是作为一系列任务分散在Presto Worker 网络上实施的。 Task是 Presto 架构中的“役马”(work horse)，因为分布式查询计划被分解为一系列 Stage，然后将这些 Stage 转换为Task对其进行处理或者split。Presto Task具有输入和输出，正如一个 Stage 可以通过一系列Task并行执行一样，Task与一系列驱动程序并行执行。

(5). **Split**  
Task对Split进行操作，Split是较大数据集的一部分。分布式查询计划的最低级别的 Stage 通过 Connector 的拆分检索数据，而分布式查询计划的更高级别的中间Stage从其它Stage检索数据。 当 Presto 计划查询时，Coordinator 将查询 Connector 以获取表中所有可用于Split的列表。Coordinator 跟踪哪些机器正在运行哪些Task以及哪些Task正在处理哪些Split。

(6). **Driver**  
Task包含一个或多个并行 Driver。Driver 对数据进行操作并组合运算符以产生输出，然后将输出交由一个Task聚合，然后在另一个 Stage 中传递给另外一个Task。 Driver 是一系列操作符实例，或者您可以将 Driver 视为内存中的一组物理运算符。它是 Presto 架构中最低级别的并行度。Driver 具有一个输入和一个输出。

(7). **Operator**  
Operator消费、转换和生成数据。例如，表扫描从 Connector 获取数据并生成可由其它Operator使用的数据，并且过滤器Operator通过在输入数据上应用Predicate 来消费数据并生成子集。

(8). **Exchange**  
Presto 的Stage通过Exchange来连接另一个Stage，Exchange用于完成有上下游关系的Stage之间的数据交换。Task将数据产生到输出缓冲区中，并使用Exchange客户端消费其它Task的数据。

# 3 整体架构 #

从前面的概念部分我们知道Presto中有两类进程：Coordinator和Worker，在一个Presto集群中是由一个Coordinator和多个Worker进程服务组成的。Coordinator负责接收（admitting）、解析（parsing）、计划（planning）、优化查询（optimizing queries）、查询编排（query orchestration），Worker节点负责查询处理，这是一个典型的Master-Slave的拓扑结构。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70]

*  客户端通过HTTP协议发送一个包含SQL语句的HTTP请求给Presto 集群的Coordinator；
 *  Coordinator通过Discovery Service 发现当前集群可用的Worker；
 *  Coordinator将客户端发送过来的查询语句进行解析，生成查询计划，并根据查询计划执行计划，依次生成SqlQueryExecution、SqlStageExecution、HttpRemoteTask, HttpRemoteTask是根据数据本地性生成的；
 *  Coordinator将每一个Task部分发到其所需要处理的数据所在的Worker上进行执行。这个过程是通过HttpRemoteTask中的HttpClient将创建或者更新Task的请求发送给数据所在的节点上TaskResource所提供的RestFul接口，TaskResource接收到请求之后最终会在对应的Worker上启动一个SqlTaskExecution对象或者更新应用的SqlTaskExecution对象需要处理的Split；
 *  执行处于上游的Source Stage中的Task，这些Task通过各种Connector从相应的数据源中读取需要的数据；
 *  处于下游Stage中的Task会读取上游Stage产生的输出结果，并在改Stage每个Task所在的Worker的内存中运行后续的计算和处理；
 *  Coordinator从分发Task之后，就会一直持续不断地从Single Stage中的Task获取计算结果，并将计算结果缓存到Buffer中，一直到所有的计算结束；
 *  Client从提交查询语句之后，就会不停地从Coordinator中获取本次查询的计算结果，直到获取了所有的计算结果。并不知道等到所有的查询结果都产生完毕之后一次全部显示出来，而是每产生一部分，就会显示一部分，直到所有的查询结果都显示完毕。  
    ![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 1]

# 4 Presto 安装 #

可参考官方文档：[2.1. Deploying Presto][Link 3]

## 4.1 条件 ##

安装前准备：

*  保证集群各节点已经建立了 SSH 信任
 *  安装 Java (JDK 1.8以上)
 *  主节点：
    
     *  Git： 可以访问 https://mirrors.edge.kernel.org/pub/software/scm/git/ 下载安装。
     *  Maven
 *  必要的数据源库：例如 Mysql、Postgresql、Elasticsearch、Redis、MongoDB、Hive、Kafka、Kudu、Cassandra 等

## 4.2 安装包的获取 ##

可以直接下载官网提供编译好的包进行安装 [presto-server-0.190.tar.gz][]。

本次以编译源码的方式获取需要安装的文件：  
以源码编译方式安装，访问 [presto-releases][]，现在需要的版本的源码包。  
通过下载release版源码包编译会出现问题，原因是这种方式缺少 `.git目录和文件`

[INFO] BUILD FAILURE
    [INFO] ------------------------------------------------------------------------
    [INFO] Total time:  02:19 min (Wall Clock)
    [INFO] Finished at: 2019-05-12T02:57:56+08:00
    [INFO] ------------------------------------------------------------------------
    Downloaded from nexus-aliyun: http://maven.aliyun.com/nexus/content/groups/public/io/airlift/units/1.3/units-1.3.jar (18 kB at 129 kB/s)
    Downloading from nexus-aliyun: http://maven.aliyun.com/nexus/content/groups/public/org/apache/commons/commons-lang3/3.4/commons-lang3-3.4.jar
    [ERROR] Failed to execute goal pl.project13.maven:git-commit-id-plugin:2.1.13:revision (default) on project presto-matching: .git directory could not be found! Please specify a valid [dotGitDirectory] in your pom.xml -> [Help 1]
    [ERROR]
    [ERROR] To see the full stack trace of the errors, re-run Maven with the -e switch.
    [ERROR] Re-run Maven using the -X switch to enable full debug logging.
    [ERROR]
    [ERROR] For more information about the errors and possible solutions, please read the following articles:
    [ERROR] [Help 1] http://cwiki.apache.org/confluence/display/MAVEN/MojoExecutionException
    [ERROR]
    [ERROR] After correcting the problems, you can resume the build with the command
    [ERROR]   mvn <goals> -rf :presto-matching
    [root@cdh6 presto-0.219]#

**问题解决**。原因很简单，就是下载的release源码包中每个.git文件夹，但是git-commit-id-plugin插件又是需要这个目录的，我们在父模块的pom.xml中却并没有发现引用这个插件，其实这是airbase中依赖了git-commit-id-plugin插件，因此在父模块的pom.xml文件中引入如下插件，并跳过此插件的配置的，大概在1335行左右，在`<pluginManagement>`标签中的`<plugins>`中添加就行。

<plugin>
    	<groupId>pl.project13.maven</groupId>
    	<artifactId>git-commit-id-plugin</artifactId>
    	<configuration>
    	<skip>true</skip>
    	</configuration>
    </plugin>

如果不想改动源码，可以直接 clone 源码方式安装，这种方式可以切换标签，编译官方发布的任意我们需要的版本。

git clone https://github.com/prestodb/presto.git
    git tag
    # 可以看到不同的版本，找到最新的 0.219
    git checkout tags/0.219
    # 可以看到已经切换到此分支了
    git branch
    
    # 编译
    mvn -T2C install -DskipTests

等待一段时间后，显示如下内容则表示编译成功

[INFO] ------------------------------------------------------------------------
    [INFO] Reactor Summary for presto-root 0.219:
    [INFO]
    [INFO] presto-root ........................................ SUCCESS [ 11.575 s]
    [INFO] presto-spi ......................................... SUCCESS [ 30.813 s]
    [INFO] presto-plugin-toolkit .............................. SUCCESS [  3.953 s]
    [INFO] presto-client ...................................... SUCCESS [  8.612 s]
    [INFO] presto-parser ...................................... SUCCESS [ 29.083 s]
    [INFO] presto-geospatial-toolkit .......................... SUCCESS [ 28.109 s]
    [INFO] presto-array ....................................... SUCCESS [  2.433 s]
    [INFO] presto-matching .................................... SUCCESS [ 24.025 s]
    [INFO] presto-memory-context .............................. SUCCESS [ 24.019 s]
    [INFO] presto-tpch ........................................ SUCCESS [  9.667 s]
    [INFO] presto-main ........................................ SUCCESS [01:36 min]
    [INFO] presto-resource-group-managers ..................... SUCCESS [ 42.605 s]
    [INFO] presto-tests ....................................... SUCCESS [ 23.371 s]
    [INFO] presto-atop ........................................ SUCCESS [01:03 min]
    [INFO] presto-jmx ......................................... SUCCESS [01:03 min]
    [INFO] presto-record-decoder .............................. SUCCESS [ 33.159 s]
    [INFO] presto-kafka ....................................... SUCCESS [01:13 min]
    [INFO] presto-redis ....................................... SUCCESS [01:03 min]
    [INFO] presto-accumulo .................................... SUCCESS [01:13 min]
    [INFO] presto-cassandra ................................... SUCCESS [01:13 min]
    [INFO] presto-blackhole ................................... SUCCESS [01:02 min]
    [INFO] presto-memory ...................................... SUCCESS [01:02 min]
    [INFO] presto-orc ......................................... SUCCESS [01:03 min]
    [INFO] presto-benchmark ................................... SUCCESS [ 14.930 s]
    [INFO] presto-parquet ..................................... SUCCESS [  5.787 s]
    [INFO] presto-rcfile ...................................... SUCCESS [ 42.634 s]
    [INFO] presto-hive ........................................ SUCCESS [ 21.288 s]
    [INFO] presto-hive-hadoop2 ................................ SUCCESS [  8.084 s]
    [INFO] presto-teradata-functions .......................... SUCCESS [ 47.924 s]
    [INFO] presto-example-http ................................ SUCCESS [ 33.494 s]
    [INFO] presto-local-file .................................. SUCCESS [ 33.505 s]
    [INFO] presto-tpcds ....................................... SUCCESS [01:03 min]
    [INFO] presto-raptor ...................................... SUCCESS [ 12.072 s]
    [INFO] presto-base-jdbc ................................... SUCCESS [  4.513 s]
    [INFO] presto-mysql ....................................... SUCCESS [ 25.919 s]
    [INFO] presto-postgresql .................................. SUCCESS [ 15.107 s]
    [INFO] presto-redshift .................................... SUCCESS [ 15.102 s]
    [INFO] presto-sqlserver ................................... SUCCESS [ 15.086 s]
    [INFO] presto-mongodb ..................................... SUCCESS [01:02 min]
    [INFO] presto-ml .......................................... SUCCESS [01:02 min]
    [INFO] presto-geospatial .................................. SUCCESS [  5.922 s]
    [INFO] presto-jdbc ........................................ SUCCESS [ 22.349 s]
    [INFO] presto-cli ......................................... SUCCESS [  9.009 s]
    [INFO] presto-product-tests ............................... SUCCESS [01:04 min]
    [INFO] presto-benchmark-driver ............................ SUCCESS [ 10.863 s]
    [INFO] presto-password-authenticators ..................... SUCCESS [ 10.366 s]
    [INFO] presto-session-property-managers ................... SUCCESS [ 10.463 s]
    [INFO] presto-kudu ........................................ SUCCESS [01:13 min]
    [INFO] presto-thrift-connector-api ........................ SUCCESS [ 34.061 s]
    [INFO] presto-thrift-testing-server ....................... SUCCESS [01:21 min]
    [INFO] presto-thrift-connector ............................ SUCCESS [  3.641 s]
    [INFO] presto-elasticsearch ............................... SUCCESS [01:09 min]
    [INFO] presto-server ...................................... SUCCESS [ 53.982 s]
    [INFO] presto-server-rpm .................................. SUCCESS [01:08 min]
    [INFO] presto-docs ........................................ SUCCESS [01:54 min]
    [INFO] presto-verifier .................................... SUCCESS [ 31.352 s]
    [INFO] presto-testing-server-launcher ..................... SUCCESS [ 25.514 s]
    [INFO] presto-benchto-benchmarks .......................... SUCCESS [ 42.340 s]
    [INFO] presto-proxy ....................................... SUCCESS [  6.275 s]
    [INFO] ------------------------------------------------------------------------
    [INFO] BUILD SUCCESS
    [INFO] ------------------------------------------------------------------------
    [INFO] Total time:  07:32 min (Wall Clock)
    [INFO] Finished at: 2019-05-11T13:40:14+08:00
    [INFO] ------------------------------------------------------------------------

在 `presto` 目录下 presto/presto-server/target 可看到刚编译好的 `presto-server-0.219.tar.gz`，后续会使用这个包部署 Presto 集群。

## 4.3 规划 ##

Presto 集群部署分为三个部分：

*  ①Presto Server端部署；
 *  ②Presto Worker端部署；
 *  ③Presto Client端部署

Presto集群的规划如下，这里以3个节点为例。

<table> 
 <thead> 
  <tr> 
   <th align="center">Host名</th> 
   <th>Coordinator</th> 
   <th>Worker</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td align="center">cdh1</td> 
   <td></td> 
   <td>✔️</td> 
  </tr> 
  <tr> 
   <td align="center">cdh2</td> 
   <td>✔️</td> 
   <td>✔️</td> 
  </tr> 
  <tr> 
   <td align="center">cdh3</td> 
   <td></td> 
   <td>✔️</td> 
  </tr> 
 </tbody> 
</table>

## 4.4 Presto Server部署 ##

我们编译后的presto-0.219/presto-server/target目录下可以看到presto-server-0.219.tar.gz，我们使用这个包来部署，如果没有编译，也可以官方编译好的Presto Server包[presto-server-0.226.tar.gz][]来部署，这个包大概有577MB，推荐使用编译方式获取。

我们首先需要将presto-server-0.219.tar.gz包发送到一个服务节点（这里是cdh2节点）的 /opt/presto-0.219目录下，然后解压，执行如下命令。

cd /opt/presto-0.219
    # 解压
    tar -zxvf presto-server-0.219.tar.gz
    
    # 进到解压的目录下
    cd presto-server-0.219
    # 查看文件，可以看到：bin lib NOTICE plugin README.txt。
    # 在这里可以看到并没有配置文件的地方，这个需要自己手动创建Presto的配置文件的文件夹
    ls
    
    # 配置文件我们可以拷贝一份源码中的，在下载的Presto源码的根目录下执行如下命令
    scp -r presto-main/etc root@cdh2:/opt/presto-0.219/presto-server-0.219
    scp presto-server-rpm/src/main/resources/dist/config/node.properties root@cdh2:/opt/presto-0.219/presto-server-0.219/etc
    
    # 务必删除一些我们不需要的配置文件(否则启动时会加载监测配置文件)
    rm -rf /opt/presto-0.219/presto-server-0.219/etc/catalog/blackhole.properties
    rm -rf /opt/presto-0.219/presto-server-0.219/etc/catalog/example.properties
    rm -rf /opt/presto-0.219/presto-server-0.219/etc/catalog/localfile.properties
    rm -rf /opt/presto-0.219/presto-server-0.219/etc/catalog/postgresql.properties
    rm -rf /opt/presto-0.219/presto-server-0.219/etc/catalog/raptor.properties
    rm -rf /opt/presto-0.219/presto-server-0.219/etc/catalog/sqlserver.properties
    rm -rf /opt/presto-0.219/presto-server-0.219/etc/catalog/tpcds.properties
    rm -rf /opt/presto-0.219/presto-server-0.219/etc/catalog/tpch.properties
    
    # 此时的presto-server-0.219目录结构如下
    ├───────┬  presto-server-0.219
    [文件夹] │ ├── bin
    [文件夹] │ ├─┬ etc
    [文件夹] │ │ ├─┬ catalog
    [文件名] │ │ │ ├── hive.properties
    [文件名] │ │ │ ├── jmx.properties
    [文件名] │ │ │ ├── kafka.properties    	# 后面进行配置
    [文件名] │ │ │ ├── kudu.properties
    [文件名] │ │ │ ├── memory.properties
    [文件名] │ │ │ ├── mongodb.properties
    [文件名] │ │ │ └── mysql.properties
    [文件夹] │ │ ├── kafka
    [文件名] │ │ ├── config.properties
    [文件名] │ │ ├── jvm.config
    [文件名] │ │ ├── log.properties
    [文件名] │ │ └── node.properties    		# 包含特定于每个节点的配置
    [文件夹] │ ├── lib
    [文件名] │ ├── NOTICE
    [文件夹] │ ├── plugin
    [文件名] │ └── README.txt

### 4.4.1 修改 node.properties 配置文件 ###

进行如下配置，注意路径。

node.environment=test
    node.id=db519624-18e8-4ee5-af30-a6545d10fcdb
    node.data-dir=/opt/presto/data
    catalog.config-dir=/opt/presto-server-0.219/etc/catalog
    plugin.dir=/opt/presto-server-0.219/plugin
    node.server-log-file=/var/log/presto/server.log
    node.launcher-log-file=/var/log/presto/launcher.log

**node.environment:** Presto运行环境名称。属于同一个Prosto集群的节点必须有相同的环境名称。  
**node.id:** Presto集群中的每个node的唯一标识。属于同一个Presto集群的各个Presto的node节点标识必须不同，可以以uuid的值指定属于该属性的值，linux可以用`uuidgen`生成。  
**node.data-dir:** 在每个Presto Node所在服务器的操作系统中的路径，Presto会在该路径下存放日志和其他的Presto数据。  
**catalog.config-dir** ：Presto 的Catalog的路径，这里我们把它配置到Presto配置文件目录下。

### 4.4.2 修改 [config.properties][] 配置文件 ###

该配置文件的配置项应用于每个Presto的服务进程，每个Presto服务进程既可作为Conrdinator，也可作为Worker。

# Conrdinator & Wroker
    coordinator=true
    # 这个节点即为Coordinator，又为Worker
    node-scheduler.include-coordinator=true
    http-server.http.port=8080
    query.max-memory=3GB
    query.max-memory-per-node=2GB
    query.max-total-memory-per-node=2GB
    discovery-server.enabled=true
    discovery.uri=http://cdh26:8080
    
    exchange.http-client.connect-timeout=1m
    exchange.http-client.idle-timeout=1m
    exchange.http-client.max-connections=1000
    exchange.http-client.max-connections-per-server=1000
    #scheduler.http-client.max-connections=1000
    #scheduler.http-client.max-connections-per-server=1000
    #scheduler.http-client.connect-timeout=1m
    #scheduler.http-client.idle-timeout=1m
    query.client.timeout=5m
    query.min-expire-age=30m
    presto.version=presto-0.219
    ## You may also wish to set the following properties:
    # Specifies the port for the JMX RMI registry. JMX clients should connect to this port.
    #jmx.rmiregistry.port: 
    # Specifies the port for the JMX RMI server. Presto exports many metrics that are useful for monitoring via JMX.
    #jmx.rmiserver.port: 
    
    distributed-index-joins-enabled=true
    exchange.client-threads=8
    optimizer.optimize-hash-generation=true
    query.hash-partition-count=2

**coordinator:** Presto集群中的当前节点是否作为Coordinator，即当前节点可以接受来自客户端的查询请求，并且管理查询的执行过程。  
**node-scheduler.include-coordinator:** 是否允许在Coordinator上执行计算任务，若允许计算计算任务，则Coordinator节点除了接受客户端的查询请求、管理查询的执行过程，还需要执行普通的计算任务。  
**http-server.http.port:** 指定HTTP Server的端口号，Presot通过HTTP协议进行所有的内部和外部通信。  
**query.max-memory:** 一个单独的计算任务使用的最大内存数。内存的大小直接限制了可以运行Order By 计算的行数。该配置应该基于查询复杂度、查询的数据量，以及查询的并发数进行设置。  
**query.max-memory-per-node:** 查询可在任何一台计算机上使用的最大用户内存量。  
**query.max-total-memory-per-node:** 查询可在任何一台计算机上使用的最大用户和系统内存量，其中系统内存是读取器、写入程序和网络缓冲区等执行期间使用的内存。  
**discovery-server.enabled:** Presto使用Discover服务来查找集群中的所有节点，每个Presto实例都会在启动时使用Discovery服务注册自己。为了简化部署可以在Coordinator节点启动的时候启动Discover服务。  
**discovery.uri:** Discovery服务器的URI。因为我们已经将Discovery嵌入了Presto Coordinator服务中，因此它应该是Presto Coordinator的URI。注意，改URI不要以`/`结尾。

### 4.4.3 修改 jvm.config 配置文件 ###

Presto是Java语言开发的，每个Presto服务进程都是运行在JVM之上的，因此需要在配置文件中指定Presto服务进程的Java运行环境。改配置文件中包含了一系列启动Java虚拟机时所需要的命令行参数。 在集群中Coordinator和Worker上的JVM配置文件是一样的。

#
    # WARNING
    # ^^^^^^^
    # This configuration file is for development only and should NOT be used be
    # used in production. For example configuration, see the Presto documentation.
    #
    -server
    # 设置能够使用的最大内存
    -Xmx16G
    -XX:+UseG1GC
    -XX:+ExplicitGCInvokesConcurrent
    -XX:+AggressiveOpts
    -XX:+HeapDumpOnOutOfMemoryError
    -XX:OnOutOfMemoryError=kill -9 %p
    -XX:InitiatingHeapOccupancyPercent=75
    -XX:MaxGCPauseMillis=600
    -XX:G1HeapRegionSize=32M
    -XX:+UseGCOverheadLimit
    -XX:+ExitOnOutOfMemoryError

### 4.4.4 修改 log.properties 配置文件 ###

在改配置文件中设置Logger的最小日志级别。我这里采用默认，如果要用于调试，可以改为DEBUG等级。

com.facebook.presto=INFO
    com.sun.jersey.guice.spi.container.GuiceComponentProviderFactory=WARN
    com.ning.http.client=WARN
    com.facebook.presto.server.PluginManager=DEBUG

### 4.4.5 修改 Catalog 配置文件 ###

Presto通过 Connector 来访问数据，一种类型的数据源与一种而类型的Connector对应。  
在Presto实际使用过程中，会根据实际的业务需要建立一个或者多个Catalog，而每种Catalog都有一个特定类型的Connector与之对应。  
更多的Connector可以访问 [Connectors][]

以先配置几种常用的`Connector` ，根据自己使用Connector进行配置即可。

#### (1) MySQL ####

Mysql配置`presto-server-0.219/etc/catalog/mysql.properties` ，配置如下。[MySQL Connector 官方文档][MySQL Connector]

connector.name=mysql
    connection-url=jdbc:mysql://mysql:13306
    connection-user=root
    connection-password=swarm

#### (2) Hive ####

配置 Hive，修改 `presto-server-0.219/etc/catalog/hive.properties` 配置文件，如下配置。[Hive Connector 官方文档][Hive Connector]

connector.name=hive-hadoop2
    # Hive Metastore 服务器端口 
    hive.metastore.uri=thrift://cdh3:9083
    hive.config.resources=/etc/hadoop/conf/core-site.xml,/etc/hadoop/conf/hdfs-site.xml,/etc/hadoop/conf/mapred-site.xml
    # 是否允许在Presto中删除Hive中的表
    hive.allow-drop-table=true
    # 是否允许在Presto中重命名Hive中的表
    hive.allow-rename-table=true

#### (3) Kudu ####

[Kudu Connector 官方文档][Kudu Connector]  
修改 `presto-server-0.219/etc/catalog/kudu.properties` 配置文件，如下配置

connector.name=kudu
    
    ## List of Kudu master addresses, at least one is needed (comma separated)
    ## Supported formats: example.com, example.com:7051, 192.0.2.1, 192.0.2.1:7051,
    ## [2001:db8::1], [2001:db8::1]:7051, 2001:db8::1
    kudu.client.master-addresses=cdh3:7051
    
    ## Kudu does not support schemas, but the connector can emulate them optionally.
    ## By default, this feature is disabled, and all tables belong to the default schema.
    ## For more details see connector documentation.
    #kudu.schema-emulation.enabled=false
    
    ## Prefix to use for schema emulation (only relevant if `kudu.schema-emulation.enabled=true`)
    ## The standard prefix is `presto::`. Empty prefix is also supported.
    ## For more details see connector documentation.
    #kudu.schema-emulation.prefix=
    
    #######################
    ### Advanced Kudu Java client configuration
    #######################
    
    ## Default timeout used for administrative operations (e.g. createTable, deleteTable, etc.)
    kudu.client.default-admin-operation-timeout = 30s
    
    ## Default timeout used for user operations
    kudu.client.default-operation-timeout = 30s
    
    ## Default timeout to use when waiting on data from a socket
    kudu.client.default-socket-read-timeout = 10s
    
    ## Disable Kudu client's collection of statistics.
    #kudu.client.disable-statistics = false

#### (4) MongoDB ####

[MongoDB Connector官方文档][MongoDB Connector]  
MongoDB版本官方强烈建议使用3.0或者更高版本，但也支持2.6+版本。

修改 `presto-server-0.219/etc/catalog/mongodb.properties` 配置文件，如下配置

connector.name=mongodb
    ## List of all mongod servers
    mongodb.seeds=host:27017
    ## The maximum wait time
    mongodb.max-wait-time=30

#### (5) Kafka ####

[Kafka Connector官方文档][Kafka Connector]

连接器允许将Apache Kafka主题用作Presto中的表。每条消息在Presto中显示为一行。**支持Apache Kafka 0.8+，但强烈建议使用0.8.1或更高版本。**

在 `etc/catalog/` 下新建配置文件`kafka.properties`，如下配置

connector.name=kafka
    kafka.default-schema=default
    kafka.table-names=canal,spin,spout
    kafka.nodes=cdh1:9092,cdh2:9092,cdh3:9092
    # d(天)、h(小时)、m(分钟)、s(秒)、ms(毫秒)、us(微秒)、ns(纳秒)、
    kafka.connect-timeout=10s

##  4.4.6 Presto Worker 配置 ##

将配置好的/opt/presto-0.219/presto-server-0.219发送到Presto其它节点（这里是cdh1和cdh2）。

# scp发送到其它worker节点
    scp -r /opt/presto-0.219/presto-server-0.219 root@cdh1:/opt/presto-0.219
    scp -r /opt/presto-0.219/presto-server-0.219 root@cdh3:/opt/presto-0.219

然后修改各个Worker节点的/opt/presto-0.219/presto-server-0.219/etc/config.properties配置文件，使其只作为Worker节点。

# Conrdinator & Worker
    coordinator=false
    #node-scheduler.include-coordinator=true
    http-server.http.port=8080
    # 下面的内存配置的越大越好。
    query.max-memory=3GB
    query.max-memory-per-node=1GB
    query.max-total-memory-per-node=2GB
    #discovery-server.enabled=true
    discovery.uri=http://cdh2:8080

修改各个Worker节点的/opt/presto-0.219/presto-server-0.219/etc/node.properties配置文件，使得每个节点的node.id不一样，可以在linux系统下使用`uuidgen`生成一个。

[root@cdh3 ~]# uuidgen
    e0bb6be6-b35a-4a04-8967-93ad4f632a46
    [root@cdh3 ~]# vim /opt/presto-0.219/presto-server-0.219/etc/node.properties
    
    # 将node.id修改为刚生成的uuid
    node.id=e0bb6be6-b35a-4a04-8967-93ad4f632a46
    
    # 其它节点同样方式修改即可，例如cdh1节点

###  4.4.7 Presto服务的启停 ###

到每个节点，通过运行以下命令将Presto作为守护程序启动：

# 启动Presto服务
    /opt/presto-0.219/presto-server-0.219/bin/launcher start
    Started as 30065
    
    #查看Presto服务运行状态
    /opt/presto-0.219/presto-server-0.219/bin/launcher status
    
    #查看Java进程。会看到 PrestoServer 进程
    [root@cdh2 presto-server-0.219]# jps
    
    #一起启动其它Worker节点的服务
    
    #停止Presto。关闭每个节点
    /opt/presto-0.219/presto-server-0.219/bin/launcher stop

查看日志，进入到node.properties配置的node.data-dir目录下（`/opt/presto-0.219/data/var/log`）找到server.log查看日志，如下日志信息表示启动成功。

2019-05-18T21:41:04.405+0800    INFO    main    com.facebook.presto.security.AccessControlManager       -- Loaded system access control allow-all --
    2019-05-18T21:41:04.503+0800    INFO    main    com.facebook.presto.server.PrestoServer ======== SERVER STARTED ========

##  4.5 Presto Client部署 ##

到这一步我们的Presto已经安装成功，但是我们现在还没有一个客户端，暂时没法将SQL提交到Presto集群执行，因此我们为了更加方便的使用，还得安装一个Presto Client。这个安装比较简单，直接获取一个**presto-cli-0.219-executable.jar**包即可。

这里又两种方式，第一种直接下载官方编译好的客户端执行工具包 [presto-cli-0.219-executable.jar][]，这个包大概有13.8MB。第二种方法直接将我们编译成功的包发送到Presto的任一节点即可（如果在每个节点都可执行，那么就每个节点都放一份），复制`presto-0.219/presto-cli/target/presto-cli-0.219-executable.jar`。

# scp到cdh2节点
    scp presto-0.219/presto-cli/target/presto-cli-0.219-executable.jar root@cdh2:/opt/presto-0.219
    
    # 进入到cdh2节点
    # 重命名presto-cli-0.219-executable.jar 包为presto
    mv /opt/presto-0.219/presto-cli-0.219-executable.jar /opt/presto-0.219/presto
    # 赋予执行的权限
    chmod +x /opt/presto-0.219/presto
    
    # 为了方便使用，可以将其配置到环境变量中。注意一定是 >> ，单个会清除原有内容再添加
    echo "export PATH=$PATH:/opt/presto-0.226/">>/etc/profile
    source /etc/profile
    
    # 测试，获取presto-cli 的帮助信息
    presto --help

# 5 网页客户端工具 #

[Airpal][]是来自于Airbnb（爱彼迎）的一个基于Web的查询工具，它建立在Facebook的PrestoDB（Presto）之上，它提供了查找表、查看元数据、浏览抽样行、编写和编辑查询，然后在Web见面中提交查询的功能。查询运行后，用户可以跟踪查询进度，完成后，可以通过浏览器以CSV格式返回结果。查询结果可用于生成新的Hive表已进行后续分析，并且Airpal维护该工具中运行的所有查询的可搜索历史记录。

因为这个项目许久未更新，编译和使用的时候回出现许多问题，基本无法使用，所以这个不推荐使用，如果想尝试安装的，可以参考网上的博客 [Airpal安装部署][Airpal 1] 自己构建和安装。这里我们推荐使用[yanagishima][]，它是适用于Presto和Hive的Web UI，而且后很多的特性，是一个相对比较好用的Web工具。因为yanagishima是Gradle构建的项目，因此我们需要办证环境中已经安装配置了Gradle。

##  5.1 Gradle安装 ##

在前面编译的那个机器（安装有Maven的）上安装Gradle。

# 下载Gradle
    wget http://services.gradle.org/distributions/gradle-5.6.2-bin.zip 
    mv gradle-5.6.2-bin.zip /usr/local
    
    # 解压
    unzip /usr/local/gradle-5.6.2-bin.zip
    mv /usr/local/gradle-5.6.2 /usr/local/gradle
    
    # 配置到环境变量。将下面的两行插入到 /etc/profile。记得：source /etc/profile
    export GRADLE_HOME=/usr/local/gradle
    export PATH=$PATH:$GRADLE_HOME/bin
    
    # 查看是否生效
    gradle -v

##  5.2 Node.js安装 ##

# 1下载Node.js包
    wget https://nodejs.org/dist/v10.16.3/node-v10.16.3-linux-x64.tar.xz
    
    # 2 解压
    tar -xf node-v10.16.3-linux-x64.tar.xz -C /usr/local
    # 3 重命名
    mv /usr/local/node-v10.16.3-linux-x64 /usr/local/nodejs
    
    # 4 修改属组
    chown -R root:root /usr/local/nodejs
    
    # 5 执行node命令，查看版本
    /usr/local/nodejs/bin/node -v
    
    # 6 创建软连接
    ln -s /usr/local/nodejs/bin/node /usr/local/bin
    ln -s /usr/local/nodejs/bin/npm  /usr/local/bin
    
    # 7 安装node-sass。Install from mirror in China。
    # 详细说明访问：https://github.com/sass/node-sass#install-from-mirror-in-china
    # 注意：如果报文件权限不够，就赋予 774 权限。如果没有文件就手动创建。
    npm install -g mirror-config-china --registry=http://registry.npm.taobao.org
    npm install node-sass

##  5.3 下载源码并编译 ##

# 1克隆 yanagishima
    git clone https://github.com/yanagishima/yanagishima.git
    cd yanagishima/
    
    # 2 编译
    # 2.1 查看当前的可供选择的tag
    git tag
    # 2.2 切换到对应的分支上。这里选择20.0版本，因为之后的对jdk要求是 Java 11，我们使用Java 8的来编译
    git checkout -b 20.0 refs/tags/20.0
    # 2.3 查看当前所在的分支
    git branch
    # 2.4 编译打包。如果重新编译，
    # ./gradlew clean
    ./gradlew distZip
    #……
    #> Task :compileJava
    #Note: Some input files use unchecked or unsafe operations.
    #Note: Recompile with -Xlint:unchecked for details.
    #BUILD SUCCESSFUL in 7m 30s
    #11 actionable tasks: 11 executed
    
    # 3 将编译好的包发送的安装节点
    scp  build/distributions/yanagishima-20.0.zip root@node2:/opt/presto-0.219
    
    # 4 到node2节点，解压配置
    cd /opt/presto-0.219/
    unzip yanagishima-20.0.zip

##  5.4 修改yanagishima的配置文件 ##

我们主要修改`/opt/presto-0.219/yanagishima-20.0/conf/yanagishima.properties`配置文件。为了防止端口冲突（lsof -i:8080），可以修改为其它端口号，这里我修改为 **38080**。

# yanagishima web port
    jetty.port=38080
    # 30 minutes. If presto query exceeds this time, yanagishima cancel the query.
    presto.query.max-run-time-seconds=1800
    # 1GB. If presto query result file size exceeds this value, yanagishima cancel the query.
    presto.max-result-file-byte-size=1073741824
    # you can specify freely. But you need to specify same name to presto.coordinator.server.[...] and presto.redirect.server.[...] and catalog.[...] and schema.[...]
    presto.datasources=my-presto
    auth.my-presto=false
    # presto coordinator url
    presto.coordinator.server.my-presto=http://cdh2:8080
    # almost same as presto coordinator url. If you use reverse proxy, specify it
    presto.redirect.server.my-presto=http://cdh2:8080
    # presto catalog name
    catalog.my-presto=hive
    # presto schema name
    schema.my-presto=default
    # if query result exceeds this limit, to show rest of result is skipped
    select.limit=500
    # http header name for audit log
    audit.http.header.name=some.auth.header
    use.audit.http.header.name=false
    # limit to convert from tsv to values query
    to.values.query.limit=500
    # authorization feature
    check.datasource=false
    hive.jdbc.url.your-hive=jdbc:hive2://cdh3:10000/default
    hive.jdbc.user.your-hive=hive
    hive.jdbc.password.your-hive=hive
    hive.query.max-run-time-seconds=3600
    hive.query.max-run-time-seconds.your-hive=3600
    resource.manager.url.your-hive=http://cdh3:8088
    sql.query.engines=presto,hive
    hive.datasources=your-hive
    hive.disallowed.keywords.your-hive=insert,drop
    # 1GB. If hive query result file size exceeds this value, yanagishima cancel the query.
    hive.max-result-file-byte-size=1073741824
    # 注意一定要在这个目录下新建一个空的hive_setup_query_your-hive文件
    hive.setup.query.path.your-hive=/opt/presto-0.219/yanagishima-20.0/conf/hive_setup_query_your-hive
    cors.enabled=false

##  5.5 yanagishima的启停 ##

# 启动。注意：务必进入到yanagishima-20.0目录下启动，否则页面会报 404 
    cd /opt/presto-0.219/yanagishima-20.0/
    nohup bin/yanagishima-start.sh >y.log 2>&1 &
    
    # 停止
    /opt/presto-0.219/yanagishima-20.0/bin/yanagishima-shutdown.sh

查看日志，显示如下表示启动成功。

2019/05/20 15:51:26.515 +0800 INFO [YanagishimaServer] [Yanagishima] Loading yanagishima settings file from bin/../conf
    2019/05/20 15:51:26.517 +0800 INFO [YanagishimaServer] [Yanagishima] Loading yanagishima properties file
    2019/05/20 15:51:27.345 +0800 INFO [log] [Yanagishima] Logging initialized @2485ms
    2019/05/20 15:51:27.430 +0800 INFO [YanagishimaServer] [Yanagishima] Yanagishima Server started...
    2019/05/20 15:51:27.433 +0800 INFO [Server] [Yanagishima] jetty-9.3.7.v20160115
    2019/05/20 15:51:27.753 +0800 INFO [ContextHandler] [Yanagishima] Started o.e.j.s.ServletContextHandler@65987993{/,file:///opt/presto-0.226/yanagishima-20.0/web/,AVAILABLE}
    2019/05/20 15:51:27.779 +0800 [ServerConnector] [Yanagishima] Started ServerConnector@5b38c1ec{HTTP/1.1,[http/1.1]}{0.0.0.0:38080}
    2019/05/20 15:51:27.779 +0800 INFO [Server] [Yanagishima] Started @2933ms
    2019/05/20 15:51:27.780 +0800 INFO [YanagishimaServer] [Yanagishima] Yanagishima Server running port 38080.

##  5.6 yanagishima的使用 ##

如果上一步启动没有问题，我们可以浏览器访问：[http://cdh2:38080][http_cdh2_38080] ，可以看到如下页面，这个是Presto的页面。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 2]

我们也可以只直接操作Hive，页面如下。注意在写SQL时一定不要加分号作为结束。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 3]  
我们现在Presto中执行如下SQL，结果如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 4]

我们同样的方式通过页面在Hive中直接执行上面的SQL，结果如下图所示。

SELECT m.id,m.movie_name,m.rating_num,m.rating_people,q.rank,q.quote FROM movie m 
    LEFT JOIN quote q ON q.id=m.id 
    ORDER BY m.rating_num desc,m.rating_people desc limit 10

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 5]  
同时我们还可以看到这个SQL的执行计划的信息，如下图所示。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 6]

#  6 Presto 使用 #

##  6.1 Presto CLI ##

# Hive
    presto --server cdh2:8080 --catalog hive --schema 库名
    # Mysql
    presto --server cdh2:8080 --catalog mysql --schema 库名
    # Kafka
    presto --server cdh2:8080 --catalog kafka --schema test
    # Kudu
    presto --server cdh2:8080 --catalog kudu --schema default
    # MongoDB
    presto --catalog mongodb --schema Mongo库名

###  6.1.1 MySQL ###

我们先登录MySQL，简单的查看一下数据，可以看到2千万条数据大概花了26.56秒。

-- 选择库
    mysql> use flink_test;
    
    -- count一下表vote_recordss_memory的数据条数
    mysql>  SELECT count(*) FROM vote_recordss_memory;
    +----------+
    | count(*) |
    +----------+
    | 19999998 |
    +----------+
    1 row in set (26.56 sec)

接下来我们使用Presto，Catalog使用mysql，操作同一份数据看下执行情况。和MySQL的时间基本差不多，甚至稍快些，在多次查询同一份数据（高并发）时Presto的时间会更快些。从这里可以看到，Presto数据的获取会花费一部分时间，数据的处理可以充分的发挥大数据的分布式计算的优势，进行快速数据分析。

# 1 登录
    [root@cdh2 ~]# presto --server cdh2:8080 --catalog mysql --schema flink_test
    
    # 2 查看库下的表
    presto:flink_test> show tables;
             Table
    ------------------------
    # …… 已省去其它表
    vote_recordss_memory
    (18 rows)
    Query 20191015_012019_00002_fxstp, FINISHED, 2 nodes
    Splits: 36 total, 36 done (100.00%)
    0:01 [18 rows, 547B] [12 rows/s, 378B/s]
    
    # 3统计 vote_recordss_memory 表的数据。注意不要加反单引号。
    presto:flink_test> SELECT count(*) FROM vote_recordss_memory;
      _col0
    ----------
     19999998
    (1 row)
    Query 20191015_012537_00007_fxstp, FINISHED, 1 node
    Splits: 18 total, 18 done (100.00%)
    0:21 [20M rows, 0B] [952K rows/s, 0B/s]

###  6.1.2 Hive ###

在hvie中 default 库下执行如下查询

--获取评分最高且评论人数最多的电影评语。order by 和 sort by
    0: jdbc:hive2://node-a.test.com:10000> SELECT m.id,m.movie_name,m.rating_num,m.rating_people,q.rank,q.quote FROM movie m LEFT JOIN quote q ON q.id=m.id ORDER BY m.rating_num desc,m.rating_people desc limit 10;
    
    +----------+------------------------------------------+---------------+------------------+---------+------------------+
    |   m.id   |               m.movie_name               | m.rating_num  | m.rating_people  | q.rank  |     q.quote      |
    +----------+------------------------------------------+---------------+------------------+---------+------------------+
    | 1292052  | 肖申克的救赎 The Shawshank Redemption (1994)  | 9.7           | 1502851          | 1       | 希望让人自由。          |
    | 1291546  | 霸王别姬 (1993)                              | 9.6           | 1112641          | 2       | 风华绝代。            |
    | 1296141  | 控方证人 Witness for the Prosecution (1957)  | 9.6           | 195362           | 29      | 比利·怀德满分作品。       |
    | 1292063  | 美丽人生 La vita è bella (1997)             | 9.5           | 690618           | 5       | 最美的谎言。           |
    | 1295124  | 辛德勒的名单 Schindler's List (1993)        | 9.5           | 613865           | 8       | 拯救一个人，就是拯救整个世界。  |
    | 1295644  | 这个杀手不太冷 Léon (1994)                    | 9.4           | 1363430          | 3       | 怪蜀黍和小萝莉不得不说的故事。  |
    | 1292720  | 阿甘正传 Forrest Gump (1994)                 | 9.4           | 1178003          | 4       | 一部美国近现代史。        |
    | 1292722  | 泰坦尼克号 Titanic (1997)                     | 9.4           | 1119405          | 7       | 失去的才是永恒的。        |
    | 1293182  | 十二怒汉 12 Angry Men (1957)                 | 9.4           | 253408           | 36      | 1957年的理想主义。      |
    | 1291561  | 千与千寻 千と千尋の神隠し (2001)                | 9.3           | 1205228          | 6       | 最好的宫崎骏，最好的久石让。   |
    +----------+------------------------------------------+---------------+------------------+---------+------------------+
    10 rows selected (40.425 seconds)

在Presto 执行同样的查询

-- 1 登录
    [root@cdh2 ~]# presto --server cdh2:8080 --catalog hive --schema default
    
    -- 2 查看可用的表
    presto:default> SHOW TABLES;
                 Table
    -------------------------------
    # …… 已省略其它未涉及到的表
     movie
     quote
     (6 rows)
    Query 20191015_014031_00013_fxstp, FINISHED, 2 nodes
    Splits: 36 total, 36 done (100.00%)
    0:01 [6 rows, 173B] [7 rows/s, 226B/s]
    
    -- 3 我们执行第二章实战项目的查询，这里注意加上分号作为结束
    -- 可以看到大概花了7秒钟就统计出了结果，
    presto:default> SELECT m.id,m.movie_name,m.rating_num,m.rating_people,q.rank,q.quote FROM movie m
                 -> LEFT JOIN quote q ON q.id=m.id 
                 -> ORDER BY m.rating_num DESC,m.rating_people DESC LIMIT 10;
       id    |                  movie_name                  | rating_num | rating_people | rank |             quote
    ---------+--------------------------------------------+------------+--------------+------+---------------------
     1292052 | 肖申克的救赎 The Shawshank Redemption (1994) |        9.7 |       1502851 |    1 | 希望让人自由。
     1291546 | 霸王别姬 (1993)                              |        9.6 |       1112641 |    2 | 风华绝代。
     1296141 | 控方证人 Witness for the Prosecution (1957) |        9.6 |        195362 |   29 | 比利·怀德满分作品。
     1292063 | 美丽人生 La vita è bella (1997)              |        9.5 |        690618 |    5 | 最美的谎言。
     1295124 | 辛德勒的名单 Schindler's List (1993)     |        9.5 |        613865 |    8 | 拯救一个人，就是拯救整个世界。
     1295644 | 这个杀手不太冷 Léon (1994)                 |        9.4 |       1363430 |    3 | 怪蜀黍和小萝莉不得不说的故事。
     1292720 | 阿甘正传 Forrest Gump (1994)              |        9.4 |       1178003 |    4 | 一部美国近现代史。
     1292722 | 泰坦尼克号 Titanic (1997)                  |        9.4 |       1119405 |    7 | 失去的才是永恒的。
     1293182 | 十二怒汉 12 Angry Men (1957)               |        9.4 |        253408 |   36 | 1957年的理想主义。
     1291561 | 千与千寻 千と千尋の神隠し (2001)            |        9.3 |       1205228 |    6 | 最好的宫崎骏，最好的久石让。
    (10 rows)
    Query 20191015_014345_00014_fxstp, FINISHED, 2 nodes
    Splits: 115 total, 115 done (100.00%)
    0:07 [500 rows, 176KB] [72 rows/s, 25.5KB/s]

###  6.1.3 Kudu ###

因为Kudu表时通过Impala创建的，因此表名前面都带有`impala::`前缀，并且也包含了库名信息，在Presto执行是因为英文冒号是特殊字符，只需要将库名用引号引起来，在Presto就可以执行。从执行的效果来看也是很快，但是Presto的控制台执行时间精确到的是秒，小于1秒的都显示为了0秒。

# 1 通过Presto连接Kudu
    [root@cdh2 ~]# presto --server cdh2:8080 --catalog kudu --schema default
    
    -- 2 查看当前可用的表列表。可以看到我们通过Impala创建的Kudu表都加有 impala:: 前缀。
    presto:default> show tables;
                          Table
    --------------------------------------------------
     …… 这里已省略其它未用到的表
    impala::kudu_demo.movie
    impala::kudu_demo.quote
    tag_5
    (16 rows)
    Query 20191017_091246_00002_fxstp, FINISHED, 2 nodes
    Splits: 36 total, 36 done (100.00%)
    0:00 [16 rows, 773B] [76 rows/s, 3.63KB/s]
    
    -- 3 在Presto中查询Kudu表中的数据。注意如果表中有特殊字符（例如这里又冒号），需要用引号括起来。
    presto:default> SELECT m.id,m.movie_name,m.rating_num,m.rating_people,q.rank,q.quote FROM "impala::kudu_demo.movie" m
                 -> LEFT JOIN "impala::kudu_demo.quote" q ON q.id=m.id
                 -> ORDER BY m.rating_num DESC,m.rating_people DESC LIMIT 10;
       id    |                  movie_name                  | rating_num | rating_people | rank |             quote
    ---------+------------------------------------------+------------+---------------+------+------------------------
    1292052 | 肖申克的救赎 The Shawshank Redemption (1994) |        9.7 |       1502851 |    1 | 希望让人自由。
     1291546 | 霸王别姬 (1993)                              |        9.6 |       1112641 |    2 | 风华绝代。
     1296141 | 控方证人 Witness for the Prosecution (1957)  |        9.6 |        195362 |   29 | 比利·怀德满分作品。
     1292063 | 美丽人生 La vita è bella (1997)              |        9.5 |        690618 |    5 | 最美的谎言。
    1295124 | 辛德勒的名单 Schindler's List (1993)        |        9.5 |        613865 |    8 | 拯救一个人，就是拯救整个世界。
    1295644 | 这个杀手不太冷 Léon (1994)                   |        9.4 |       1363430 |    3 | 怪蜀黍和小萝莉不得不说的故事。
    1292720 | 阿甘正传 Forrest Gump (1994)                 |        9.4 |       1178003 |    4 | 一部美国近现代史。
     1292722 | 泰坦尼克号 Titanic (1997)                    |        9.4 |       1119405 |    7 | 失去的才是永恒的。
     1293182 | 十二怒汉 12 Angry Men (1957)                 |        9.4 |        253408 |   36 | 1957年的理想主义。
     1291561 | 千与千寻 千と千尋の神隠し (2001)             |        9.3 |       1205228 |    6 | 最好的宫崎骏，最好的久石让。
    (10 rows)
    Query 20191017_092306_00006_fxstp, FINISHED, 2 nodes
    Splits: 117 total, 117 done (100.00%)
    0:00 [500 rows, 1.71KB] [1.39K rows/s, 4.73KB/s]

###  6.1.4 Kafka ###

查询Kafka的数据

presto:default> select _partition_id,_partition_offset,_segment_count,_key,_message from canal limit 3;
     _partition_id | _partition_offset | _segment_count | _key |
    ---------------+-------------------+----------------+------+---------------------------------------------------------------------------------------------------------------------------------------------------------------------------------
                 0 |                45 |              1 | NULL | {
       "data":[{
       "loan_contract_id":"2","min_date":"2019-05-14","id":"3"}],"database":"adl_prewarning","es":1557798417000,"id":5242,"isDdl":false,"mysqlType":{
       "loan_contract_id":"varc 0 | 46 | 2 | NULL | {"data":[{"loan_contract_id":"7","min_date":"2019-05-14","id":"7"}],"database":"adl_prewarning","es":1557827976000,"id":5542,"isDdl":false,"mysqlType":{"loan_contract_id":"varc
                 0 |                47 |              3 | NULL | {
       "data":null,"database":"prewarning","es":1557978716000,"id":6116,"isDdl":true,"mysqlType":null,"old":null,"pkNames":null,"sql":"ALTER TABLE a ADD COLUMN age INT","sqlType"
    (3 rows)
    Query 20190519_193635_00009_huyim, FINISHED, 1 node
    Splits: 19 total, 19 done (100.00%)
    0:46 [84 rows, 104KB] [1 rows/s, 2.25KB/s]
    
    presto:default> select json_extract(_message, '$.type') from canal limit 3;
      _col0
    ----------
     "INSERT"
     "UPDATE"
     "ALTER"
    (3 rows)
    Query 20190519_194659_00012_huyim, FINISHED, 1 node
    Splits: 35 total, 35 done (100.00%)
    0:00 [84 rows, 104KB] [315 rows/s, 393KB/s]

##  6.2 JDBC 连接 Presto ##

### 6.2.1 新建Maven项目 ###

在 idea 创建一个maven项目，

### 6.2.2 在`pom.xml`中引入依赖 ###

<dependencies>
            
            <dependency>
                <groupId>io.prestosql</groupId>
                <artifactId>presto-jdbc</artifactId>
                <version>310</version>
            </dependency>
        </dependencies>

###  6.2.3 编写代码 ###

创建java类，编写Presto jdbc client代码

package yore;
    
    import io.prestosql.jdbc.PrestoConnection;
    import io.prestosql.jdbc.PrestoStatement;
    import java.sql.DriverManager;
    import java.sql.ResultSet;
    import java.sql.SQLException;
    import java.time.ZoneId;
    import java.util.TimeZone;
    
    /** * JDBC访问 Presto * * Created by yore on 2019/5/8 13:10 */
    public class PrestoJDBCClient { 
    
        public static void printrow(ResultSet rs, int[] types) throws SQLException { 
            for(int i=0; i<types.length; i++){ 
                System.out.print(" ");
                System.out.print(rs.getObject(i+1));
            }
            System.out.println("");
        }
    
        public static void connect() throws SQLException { 
            // @see <a href="https://en.wikipedia.org/wiki/List_of_tz_database_time_zones">List of tz database time zones</a>
            // 设置时区，这里必须要设置 map.put("CTT", "Asia/Shanghai");
            TimeZone.setDefault(TimeZone.getTimeZone(ZoneId.SHORT_IDS.get("CTT")));
    
            PrestoConnection conn = null;
            PrestoStatement statement = null;
            try { 
                // 加载 Presto JDBC 驱动类
                Class.forName("io.prestosql.jdbc.PrestoDriver");
    
                /* * presto连接串： * 在 url 指定默认的 catalog 为：system, 默认为 Schema 为： runtime , * 使用的用户名为： presto-user，这个用户名根据实际自己设定，用来标示执行 SQL 的用户，虽然不会通过该用户名进行身份认证，大师必须要写 * 密码直接为 null, 或者可以随意指定一个任意密码， Presto 是不会对密码进行认证的。 */
                conn = (PrestoConnection)DriverManager.getConnection(
                        // 端口查看config.properties文件中配置项http-server.http.port的值。catalog为hive，Schema为default,
                        "jdbc:presto://cdh6:8080/hive/default",
                        "presto-user",
                        null
                );
    
                statement = (PrestoStatement)conn.createStatement();
    
                String sql = "select * from nodes";
                sql = "show tables";
                sql = " select count(*) from dw_orders_his";
                long start = System.currentTimeMillis();
                ResultSet rs = statement.executeQuery(sql);
    
    
                int cn = rs.getMetaData().getColumnCount();
                int[] types = new int[cn];
                for(int i=0; i<cn; i++){ 
                    types[i] = rs.getMetaData().getColumnType(i+1);
                }
    
                while (rs.next()){ 
                    printrow(rs, types);
                }
                System.out.println("-------");
                System.out.println("用时：" + (System.currentTimeMillis()-start) + "(ms)");
    
            }catch (ClassNotFoundException e){ 
                e.printStackTrace();
            }catch (SQLException e){ 
                e.printStackTrace();
            }
        }
    
        public static void main(String[] args) throws SQLException { 
            connect();
        }
    }

### 6.2.4 运行 ###

6
    -------
    用时：621(ms)
    
    Process finished with exit code 0

## 6.3 Kafka Connector ##

其他的[Connectors][Connectors 1] 可查看官网，这里主要以Kafka Connector为例。

下载脚本，

curl -o kafka-tpch http://repo1.maven.org/maven2/de/softwareforge/kafka_tpch_0811/1.0/kafka_tpch_0811-1.0.sh
    chmod +x kafka-tpch

运行脚本，创建Topic和加载一些数据

./kafka-tpch load --brokers cdh3:9092,cdh2:9092,cdh1:9092 --prefix ptch. --tpch-type tiny

修改`kafka.properties`为如下

connector.name=kafka
    kafka.default-schema=default
    kafka.table-names=ptch.customer,ptch.lineitem,ptch.orders,ptch.nation,ptch.part,ptch.partsupp,ptch.region,ptch.supplier
    kafka.nodes=cdh1:9092,cdh2:9092,cdh3:9092
    # d(天)、h(小时)、m(分钟)、s(秒)、ms(毫秒)、us(微秒)、ns(纳秒)、
    kafka.connect-timeout=10s
    kafka.hide-internal-columns=false

重启Presto

bin/launcher restart

连接 Presto Cli

[root@cdh6 bin]# ./presto-cli-0.219-executable.jar --catalog kafka --schema ptch
    presto:ptch> show tables;
      Table
    ----------
     customer
     lineitem
     nation
     orders
     part
     partsupp
     region
     supplier
    (8 rows)
    Query 20190519_205355_00002_vqku8, FINISHED, 1 node
    Splits: 19 total, 19 done (100.00%)
    0:00 [8 rows, 166B] [17 rows/s, 355B/s]

### 6.3.1 基本查询 ###

presto:ptch> describe customer;
    
    presto:ptch> select count(*) from customer;
    
    presto:ptch> select _message from customer limit 5;
    
    presto:ptch> select sum(cast(json_extract_scalar(_message,'$.accountBalance') as double)) from customer limit 10;

### 6.3.2 添加表定义文件 ###

在 `presto-server-0.219/etc/kafka/` 下新建 `ptch.customer.json` 并重启 Presto

重启： `bin/launcher restart`

查看表信息，可以看到多了一列 **kafka\_key**

bin/presto-cli-0.219-executable.jar --catalog kafka --schema ptch
    
    presto:ptch> desc customer;
          Column       |  Type   | Extra |                   Comment
    -------------------+---------+-------+---------------------------------------------
     kafka_key         | bigint  |       |
     _partition_id     | bigint  |       | Partition Id
     _partition_offset | bigint  |       | Offset for the message within the partition
     _segment_start    | bigint  |       | Segment start offset
     _segment_end      | bigint  |       | Segment end offset
     _segment_count    | bigint  |       | Running message count per segment
     _message_corrupt  | boolean |       | Message data is corrupt
     _message          | varchar |       | Message text
     _message_length   | bigint  |       | Total number of message bytes
     _key_corrupt      | boolean |       | Key data is corrupt
     _key              | varchar |       | Key text
     _key_length       | bigint  |       | Total number of key bytes
    (12 rows)
    Query 20190520_014112_00002_i4shm, FINISHED, 1 node
    Splits: 19 total, 19 done (100.00%)
    0:01 [12 rows, 1.05KB] [15 rows/s, 1.37KB/s]
    
    presto:ptch> select kafka_key from customer order by kafka_key limit 10;
     kafka_key
    -----------
             0
             1
             2
             3
             4
             5
             6
             7
             8
             9
    (10 rows)
    Query 20190520_014623_00007_i4shm, FINISHED, 1 node
    Splits: 18 total, 18 done (100.00%)
    0:00 [1.5K rows, 411KB] [7.07K rows/s, 1.89MB/s]

### 6.3.3 将 message 中所有的值映射到不同列 ###

再次更新 `presto-server-0.219/etc/kafka/` 下新建 `ptch.customer.json` 并重启 Presto为：

{ 
      "tableName": "customer",
      "schemaName": "ptch",
      "topicName": "ptch.customer",
      "key": { 
        "dataFormat": "raw",
        "fields": [
          { 
            "name": "kafka_key",
            "dataFormat": "LONG",
            "type": "BIGINT",
            "hidden": "false"
          }
        ]
      },
      "message": { 
        "dataFormat": "json",
        "fields": [
          { 
            "name": "row_number",
            "mapping": "rowNumber",
            "type": "BIGINT"
          },
          { 
            "name": "customer_Key",
            "mapping": "customerKey",
            "type": "BIGINT"
          },
          { 
            "name": "name",
            "mapping": "name",
            "type": "VARCHAR"
          },
          { 
            "name": "address",
            "mapping": "address",
            "type": "VARCHAR"
          },
          { 
            "name": "nation_key",
            "mapping": "nationKey",
            "type": "BIGINT"
          },
          { 
            "name": "phone",
            "mapping": "phone",
            "type": "VARCHAR"
          },
          { 
            "name": "account_balance",
            "mapping": "accountBalance",
            "type": "DOUBLE"
          },
          { 
            "name": "market_segment",
            "mapping": "marketSegment",
            "type": "VARCHAR"
          },
          { 
            "name": "comment",
            "mapping": "comment",
            "type": "VARCHAR"
          }
        ]
      }
    }

再次查看表信息，可以看到我们前面配置的列已经添加上去了

## 6.4 使用实时数据 ##

### 6.4.1 在Kafka集群上创建一个Topic ###

kafka-topics --create --zookeeper cdh1:2181,cdh2:2181,cdh3:2181 --replication-factor 1 --partitions 1 --topic test.weblog

### 6.4.2 编写一个Kafka生产者 ###

TestProducer  
推送到Kafka的数据格式如下：

{ 
      "user": { 
        "name": "Bob",
        "gender": "male"
      },
      "time": 1558394886956,
      "website": "www.twitter.com"
    }

### 6.4.3 在Presto中创建表 ###

在`presto-server-0.219/etc/catalog/kafka.properties`配置文件的`kafka.table-names`中添加上Kafka Topic `test.weblog`

在`presto-server-0.219/etc/kafka/`下添加Kafka数据配置json文件 `test.weblog.json`，在这个版本中还不支持时间戳，配置如下：

{ 
      "tableName": "weblog",
      "schemaName": "test",
      "topicName": "test.weblog",
      "key": { 
        "dataFormat": "raw",
        "fields": [
          { 
            "name": "kafka_key",
            "dataFormat": "LONG",
            "type": "BIGINT",
            "hidden": "false"
          }
        ]
      },
      "message": { 
        "dataFormat": "json",
        "fields": [
          { 
            "name": "name",
            "mapping": "user/name",
            "type": "VARCHAR"
          },
          { 
            "name": "gender",
            "mapping": "user/gender",
            "type": "VARCHAR"
          },
          { 
            "name": "time",
            "mapping": "time",
            "type": "BIGINT"
          },
          { 
            "name": "website",
            "mapping": "website",
            "type": "VARCHAR"
          }
        ]
      }
    }

### 6.4.4 重启Presto，进行如下查询数据 ###

# 重启
    bin/launcher restart
    
    # 进入cli,连接Kafka
    ./presto-cli-0.219-executable.jar --catalog kafka --schema test

进行如下查询(此时可以把Kafka生产者运行，模拟持续的数据源)：  
[JSON Functions and Operators][]  
[Date and Time Functions and Operators][]

--------------------

[My GitHub：presto-jdbc源码][My GitHub_presto-jdbc]   |    [readme][]

[Link 1]: https://prestodb.github.io/
[Link 2]: https://github.com/prestodb/presto
[Link 3]: https://prestodb.github.io/docs/current/
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70]: /images/20220130/9d000e13e05a4a22b3894f6ba908ed29.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 1]: /images/20220130/4c7a9a4251c4439fb6c5714b1b281640.png
[presto-server-0.190.tar.gz]: https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.190/presto-server-0.190.tar.gz
[presto-releases]: https://github.com/prestodb/presto/releases
[presto-server-0.226.tar.gz]: https://repo1.maven.org/maven2/com/facebook/presto/presto-server/0.219/presto-server-0.219.tar.gz
[config.properties]: https://prestodb.github.io/docs/current/installation/deployment.html
[Connectors]: http://prestodb.github.io/docs/current/connector.html
[MySQL Connector]: https://prestodb.github.io/docs/current/connector/mysql.html
[Hive Connector]: https://prestodb.github.io/docs/current/connector/hive.html
[Kudu Connector]: https://prestodb.github.io/docs/current/connector/kudu.html
[MongoDB Connector]: https://prestodb.github.io/docs/current/connector/mongodb.html
[Kafka Connector]: https://prestodb.github.io/docs/current/connector/kafka.html
[presto-cli-0.219-executable.jar]: https://repo1.maven.org/maven2/com/facebook/presto/presto-cli/0.219/presto-cli-0.219-executable.jar
[Airpal]: https://github.com/airbnb/airpal
[Airpal 1]: https://my.oschina.net/jayhu/blog/823550
[yanagishima]: https://github.com/yanagishima/yanagishima
[http_cdh2_38080]: http://cdh2:38080
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 2]: /images/20220130/cc119cad009a4bba81d6967f274a5eb3.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 3]: /images/20220130/09a8170ff2704242a543873dacb9fd49.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 4]: /images/20220130/f602c328aedc4aedbdb4acc6b3df9fb4.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 5]: /images/20220130/c482eec5faf740fd8573067714de257e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L2dpdGh1Yl8zOTU3NzI1Nw_size_16_color_FFFFFF_t_70 6]: /images/20220130/c1d9322e396648e8977179700b5325e8.png
[Connectors 1]: https://prestodb.github.io/docs/current/connector
[JSON Functions and Operators]: https://prestodb.github.io/docs/current/functions/json.html
[Date and Time Functions and Operators]: https://prestodb.github.io/docs/current/functions/datetime.html
[My GitHub_presto-jdbc]: https://github.com/yoreyuan/My_hadoop/tree/master/presto-example/presto-jdbc
[readme]: https://github.com/yoreyuan/My_hadoop/blob/master/presto/readme.md