Apache Phoenix查询性能改进

Question

我们正在尝试使用Apache Phoenix驱动程序来提高HBase设置的读取性能，以对抗约1150万条记录的数据集。

HBase 0.98
Apache Phoenix driver 4.3.1
Squirrel Client 3.2

该表由21列组成，下面是DDL语句：

create table *table_name* (PKEY BIGINT not null primary key,DATE_KEY BIGINT,TIMEOFDAY_KEY BIGINT,GMT_TZ_PKEY BIGINT,FACT_DATE TIMESTAMP,PAGE_KEY BIGINT,FFER_KEY BIGINT,OFFER_TYPE_KEY BIGINT,SESSION_KEY BIGINT,CUSTOMER_KEY BIGINT,VISITS_CNTR BIGINT,ELIGIBLE_CNTR smallint,  PRESENTED_CNTR smallint,ACCEPTED smallint,  ACCEPTED_CLICK smallint,FIRST_RESPONSE_CNTR smallint,REJECTED_CNTR smallint,IS_FIXED smallint,  IGNORED_CNTR smallint,ENGAGED_CNTR smallint,CONVERTED_CNTR smallint)

我们已经对表执行了salting（salt buckets=3)，并在所有列上创建了一个辅助索引（不可变索引）。

我们执行以下查询，相应的时间如Squirrel客户机所述：

Select count(*) from *table_name* :   
Query Time (A) = 0.031 s  
Transport time (B) = 2.631 s  
Total Execution Time (A+B)  = 2.661 s  

执行计划：

PLAN  
CLIENT 6-CHUNK PARALLEL 6-WAY 
FULL SCAN OVER OFR_FCT_IDX_SALTED  
SERVER FILTER BY FIRST KEY ONLY  
SERVER AGGREGATE INTO SINGLE ROW  
CLIENT 100 ROW LIMIT

select MAX(session_key) from *table_name* group by TIMEOFDAY_KEY having count(SESSION_KEY) > 100 order by TIMEOFDAY_KEY : Rows returned 431   
Query Time (A) = 0.04 s  
Transport time (B) = 11.894 s  
Total Execution Time (A+B)  = 11.934 s 

执行计划：

PLAN  
CLIENT 6-CHUNK PARALLEL 6-WAY FULL SCAN OVER OFR_FCT_IDX_SALTED  
SERVER FILTER BY FIRST KEY ONLY  SERVER AGGREGATE INTO DISTINCT ROWS BY ["TIMEOFDAY_KEY"]  
CLIENT MERGE SORT  
CLIENT FILTER BY COUNT(TO_BIGINT("SESSION_KEY")) > 100  
CLIENT SORTED BY ["TIMEOFDAY_KEY"]

如您所见，查询时间很长，但传输时间（读取/输出时间）似乎相当长。

我的问题如下：

1. 这些结果是否与我们对所提到的数据集的预期一致？考虑最新性能测试结果：最新性能测试
2. 我们能以某种方式进一步提高传输时间（读取时间）的性能吗？

Answer 1

至少升级到Apache Phoenix4.7，显然，他们开始使用protobuf作为默认的序列化方法（通过JSON）。