HLL函数

HLL是基于HyperLogLog算法的工程实现，用于保存HyperLogLog计算过程的中间结果，它只能作为表的value列类型、通过聚合来不断的减少数据量，以此来实现加快查询的目的，基于它得到的是一个估算结果，误差大概在1%左右，hll列是通过其它列或者导入数据里面的数据生成的，导入的时候通过hll_hash函数来指定数据中哪一列用于生成hll列，它常用于替代count distinct，通过结合rollup在业务上用于快速计算uv等

HLL_UNION_AGG(hll)

此函数为聚合函数，用于计算满足条件的所有数据的基数估算。

HLL_CARDINALITY(hll)

此函数用于计算单条hll列的基数估算

HLL_HASH(column_name)

生成HLL列类型，用于insert或导入的时候，导入的使用见相关说明

example:(仅为说明使用方式)

1、首先创建一张含有hll列的表：

create table test(
time date,
id int,
name char(10),
province char(10),
os char(1),
set1 hll hll_union,
set2 hll hll_union)
distributed by hash(id) buckets 32;

2、导入数据，导入的方式见相关help mini load

（1）使用表中的列生成hll列
    curl --location-trusted -uname:password -T data http://host/api/test_db/test/_load?label=load_1\&hll=set1,id:set2,name
（2）使用数据中的某一列生成hll列
    curl --location-trusted -uname:password -T data http://host/api/test_db/test/_load?label=load_1\&hll=set1,cuid:set2,os\&columns=time,id,name,province,sex,cuid,os

3、聚合数据，常用方式3种：（如果不聚合直接对base表查询，速度可能跟直接使用ndv速度差不多）

（1）创建一个rollup，让hll列产生聚合，
    alter table test add rollup test_rollup(date, set1);
（2）创建另外一张专门计算uv的表，然后insert数据）
    create table test_uv(
    time date,
    uv_set hll hll_union)
    distributed by hash(id) buckets 32;
    insert into test_uv select date, set1 from test;
（3）创建另外一张专门计算uv的表，然后insert并通过hll_hash根据test其它非hll列生成hll列
    create table test_uv(
    time date,
    id_set hll hll_union)
    distributed by hash(id) buckets 32;
    insert into test_uv select date, hll_hash(id) from test;

4、查询，hll列不允许直接查询它的原始值，可以通过配套的函数进行查询

（1）求总uv
    select HLL_UNION_AGG(uv_set) from test_uv;
（2）求每一天的uv
    select HLL_CARDINALITY(uv_set) from test_uv;