Apache Phoenix(一)答疑

Posted 2023-05-05

tags:

篇首语：本文由小常识网(cha138.com)小编为大家整理，主要介绍了Apache Phoenix(一)答疑相关的知识，希望对你有一定的参考价值。

参考技术A

创建test.java 文件包含如下内容：

在命令行中编译和执行

Phoenix Thick驱动的JDBC的URL格式如下（[]内的元素可选择的）

最简单的例子：

最复杂的例子：

请注意，URL中的每个可选元素都需要前面所有可选元素。例如，去指定Hbase的zk节点，那么zk的端口必须是指定的。
这些信息最初包含在该页。

Phoenix Thin驱动（与Phoenix查询服务一起使用）JDBC格式如下：

这里暴露了数个key供客户端使用。最经常使用的key为 url 和 serialization 。url key直接影响到需要查询的Phoenix查询服务器的地址。
最简单的URL例子：

非常复杂的URL例子：

这里记录着所有有关于Thin 客户端JDBC URL涉及到的支持项，可以参考 Apache Avatica documentation 和 Query Server Documentation 。

查看相关例子。

CSV数据可以批量导入通过psql的通用功能。一般插入的速度在20K-50K行数据每秒。（取决于一行数据有多大）。
创建表例子：

插入数据例子：

你可以创建Phoenix 表（table）和视图（view）通过 CREATE TABLE/CREATE VIEW 在已存在的HBase表上执行DLL语句。两种情况下都不会改变Hbase的元数据。对于 CREATE TABLE ,我们会创建任何不存在的元数据(table,column families)。我们会增加空键在每一行，所以查询的行为符合预期（不需要所有的列都进行扫描）。
需要注意的是字节的序列化必须匹配Phoenix的字节序列化。比如varchar、char和unsigned_ 类型，我们使用Hbase字节方法。char类型预期只有单字节字符和无符号类型预期值大于或者等于0。 对于有符号的类型（tinyint,smallint,integer 和bigint），phoenix会翻转第一个字节，这样负值会在正值之前排序。 因为Hbase排序row key按照ASCII正序排列，负值的第一位是1 而正值的第一位是0，那么负值大于正值，党我们不进行第一位翻转时。所以你存储整数时通过Hbase本地API接口和想通过Phoenix访问整数，确认你的数据类型是否是无符号类型。
我们复合row key可以将简单的值进行拼接在一起，在可变长类型上使用0字节作为分隔符。
如果你创建Hbase表如下：

如果你已经有了一张带有名称为\'t1\'和列簇为\'f1\'的Hbase表。那么请记住，在Hbase中你不用对可能的键值和row key结构进行建模。这是你在phoenix指定的表和列簇之外的信息。所以在phoenix，你不需要像这样创建view:

这个‘pk’列定义，你的row key是varchar类型（类似字符串），而\'f1\'.val列定义你的Hbase表包含键值形式和列成员及列限定符为\'f1\'.val还有他们的类型为varchar。
注意，你不需要使用双引号，当你创建你的hbase表包含所有的大写名称（Phoenix会标准化字符串，将字符串转大写）。比如：

你可以这样创建phoenix视图：

或者如果你创建了新的hbase表，不需要借助hbase shell，直接在phoenix操作。

注意：理想情况下4核CPU的16个region server，可以选择salt buckets在32-64最佳性能。

始于Phoenix 2.1版本，Phoenix开始支持索引在可变和不可变的数据中。注意，Phoenix在2.0.x中仅支持不可变数据的索引。索引写性能在不可变索引表中，稍微快一些于可变数据表，不可变数据表即是数据不支持更新。
例子：

更新行信息在test表中，Phoenix查询优化器会选择正确的索引去使用。你可以查看 explain plan 如果Phoenix使用这个索引表。你还可以在Phoenix查询中给出使用特定索引的提示。

除非查询中使用到的所有列都在二级索引中，否作不会使用二级索引（作为直接索引，或者覆盖索引）。构成数据表中的主键全部列都会自动包含在索引中。

在lastname不是索引或者覆盖所有一部分时，索引是没有被使用到。这点可以在 "explain plan" 中被证实。在创建索引时固定lastname字段存在索引中一部分，或者时覆盖索引的覆盖字段。
例子：

Phoenix速度非常快，全表扫描100M的数据，通常情况下在20秒内完成（中等规模的集群上的小表）。如果查询包含到关键列的过滤器，则降低到毫秒级。你可以添加索引在导致性能等同于过滤键的列上，使用索引列作为键的一部分复制表。
为什么Phoenix即使做了全扫描，速度依然快：

检阅Anil Gupta的优秀文章。

Hadoop2的配置存在Phoenix的pom.xml中即可。

在默认情况下，Phoenix让Hbase管理时间戳，并只让你查看最后的版本数据。但是，Phoenix也给用户提供支持任意的时间戳。要做到这一点，使用连接属性"CurrentSCN"，像这样：

上面的操作等同于Hbase API中的：

通过指定CurrentSCN,你可以告诉Phoenix。所有东西在这次连接中按该时间戳被完成。注意的是，这也适用于对连接执行的查询。举个例子，一个查询在myTable表的数据是不会看到刚插入的数据，因为它只看到创建连接时指定CurrentSCN属性之前的数据。这样提供了一种类似于快照的功能，或者是时间点查询。
请记住，创建个新的连接不是一个很昂贵的操作。相同的底层Hbase的连接用于全部连接的相同的集群，所以或多或少实例出一些对象。

RANGE SCAN :意味着只扫描表中一部分数据。如果使用主键约束中的一个或者多个组成主键的列会出现这种情况。没有过滤PK列的查询，例子： select * from test where pk2=\'x\' and pk3=\'y\'; 将会出现全扫描，然而在 select * from test where pk1=\'x\' and pk2=\'y\'; 中却是范围扫描(range scan)。注意，你可以添加二级索引在"pk2"和"pk3"列上，会触发范围扫描(range scan)在第一次查询中。
DEGENERATE SCAN :意味着一个查询不能返回行数据。如果我们决定在编译时完成。我们甚至不需要运行扫描。
FULL SCAN :意味着所有行都被扫描到。(如果你有一个where子句，可能会应用到一个过滤器)
SKIP SCAN :将扫描一个表中的子集或者全部行。无论如何它将会根据过滤器跳过大分组的行。可以查看博客了解更多。如果主键上没有过滤器的列，那我们就不做SKIP SCAN，但是你可以强制SKIP SCAN通过使用/+ SKIP_SCAN/去命中。在一些条件下，也就是说当你的主键基数比较少时，它将会更有效超过FULL SCAN。

不，它不是必须的Phoenix jDBC连接池。
Phoenix的连接对象时不同大部分的JDBC连接，原因在于底层是Hbase的连接。Phoenix连接对象在设计时就是为了更精细便宜的代价去创建。如果Phoenix的连接被再利用，底层的HBase连接可能并不总是由前一个用户保持在健康状态。更好的方式是去创建一个新的Phoenix连接，保证避免潜在的问题。
实行Phoenix连接池可以简单的创建实例化委派，对外部而言，创建出新的Phoenix连接，实际是需要时从池中获取，对外部而言的关闭，实际是返回到池中去，可以参考 Phoenix-2388 。

空键值或者伪键值（_01列限定符）必须的，去保证列都有有效的在全部行中。
数据存储在Hbase是以键值对形式存在，意味着存储每个列值完整的行键。这还意味着，除非至少存储了一个列，否则根本不存储行键。
现在考虑到JDBC的行存在int类型的主键，和若干列可能是空（null）的。为了可以存储主键，键值必须去存储去展示这行数据的全部（现在的时间戳，考虑的时间戳版本）。你会注意到这些列是空列。这允许执行“SELECT * FROM TABLE”并接收所有行的记录，即使那些非pk列为空的记录也是如此。
即使对于某些(或所有)记录只有一个列为空，也会出现相同的问题。在Phoenix上的扫描将包括空列，以确保只包含主键的行(所有非键列都为空)将包含在扫描结果中。

开源推荐 243分钟入门Apache Phoenix(HBase的开源SQL引擎)

程序猿（ID：imkuqin）猿妹编译

综合自：GitHub、Phoenix官网

今天，推荐给大家的开源项目是——Phoenix，Phoenix最早是saleforce的一个开源项目，后来成为Apache基金的顶级项目。

HBase 的 SQL 驱动 Apache Phoenix

授权协议：Apache

开发语言：Java

操作系统：跨平台

Phoenix 简介

Phoenix，中文译为“凤凰”。Phoenix是由saleforce.com开源的一个项目，后又捐给了Apache基金会。它相当于一个Java中间件，提供jdbc连接，操作hbase数据表。

Phoenix是构建在HBase上的一个SQL层，能让我们用标准的JDBC APIs而不是HBase客户端APIs来创建表，插入数据和对HBase数据进行查询。Phoenix完全使用Java编写，作为HBase内嵌的JDBC驱动。Phoenix查询引擎会将SQL查询转换为一个或多个HBase扫描，并编排执行以生成标准的JDBC结果集。

Phoenix 架构

【开源推荐 24】3分钟入门Apache Phoenix(HBase的开源SQL引擎)