Cassandra多维数据模型

Question

我是Cassandra数据建模的新手，如果可能的话，我需要在单行中容纳多维数据（是的，我知道Cassandra是柱状存储）。我的示例数据集（试图简化我的用例，忍受我的格式化）

时间戳、交易id、项目代码、用户id、支付方式

20130304221518，abcd，3，6，信用卡

20130304221519，efgh，4,5，现金配送

20130305180402，ijkl，4，5，现金交付

例如，＜code＞payment_mode、user_id、item_code＜/code＞是我的维度，我想用给定的维度聚合数据集。我的简单汇总结果是

payment_method = {cashondelivery = 2, credit card = 1)
Transacthtml" target="_blank">ion_by_unique_user_id ={5 =2,6=1}
item_code = {item sold =3, Unique_item_sold (4 =2 ,3=1) }

请注意，在不久的将来，我可能需要添加更多的维度，数据模型也应该能够容纳这些维度。我想以卡珊德拉的方式建模，我面前有以下方法。

> < li >每个维度的新表格。 < li>

添加维度作为新列，并使用< code>map作为数据类型。如果您注意到我的一个结果< code>item_code = {item sold =3，Unique_item_sold (4 =2，3=1) }，这种结果不能与< code>map数据类型和作为列名的维相适应。

将每个尺寸值作为新行插入单个表格中。

还要注意，我会经常阅读数据。因此，读取不应该对我的数据模型造成性能影响*我的数据聚合将每1小时进行一次，我使用Spark进行分析*。请建议我正确的方法。非常感谢您的建议。

Answer 1

我想，你必须定期插入大量数据。因此，我们必须仔细选择分区键，以便不会将大量数据插入单个分区。虽然您每小时聚合一次结果，但我选择分区作为每小时的间隔。

下面是主表模式:

CREATE TABLE transaction (
    hour int,
    day int,
    month int,
    year int,
    transaction_id text,
    item_code bigint,
    payment_method text,
    user_id bigint,
    PRIMARY KEY ((hour, day, month, year), transaction_id)
); 

在这里，您可以将时间戳字段分为小时日月和年。

如果你想汇总结果，你应该使用Spark或Hadoop，这是这类工作的最佳选择。

或者

如果你想在cassandra中做这种工作，你必须为每个维度使用单独的表。当你在主表上插入数据时，也必须在每个表上插入数据。

合计付款_方式:

CREATE TABLE payment_method_counter (
    hour int,
    day int,
    month int,
    year int,
    type text,
    count counter,
    PRIMARY KEY ((hour, day, month, year), type)
);

您可以使用以下查询插入数据：

UPDATE payment_method_counter SET count = count + 1 WHERE hour = 1 AND day = 1 AND month = 1 AND year = 2017 AND type = 'cashondelivery';

聚合Transaction_by_unique_user_id ：

CREATE TABLE user_transaction_counter (
    hour int,
    day int,
    month int,
    year int,
    userid bigint,
    count counter,
    PRIMARY KEY ((hour, day, month, year), userid)
);

并插入查询：

UPDATE user_transaction_counter SET count = count + 1 WHERE hour = 1 AND day = 1 AND month = 1 AND year = 2017 AND userid = 5;

已售出商品合计：

CREATE TABLE item_sold_counter (
    hour int,
    day int,
    month int,
    year int,
    item_code bigint,
    count counter,
    PRIMARY KEY ((hour, day, month, year), item_code)
);

您可以查询：

UPDATE item_sold_counter SET count = count + 1 WHERE hour = 1 AND day = 1 AND month = 1 AND year = 2017 AND item_code = 4;

在这里，对于出售的总商品，使用一个特殊的值，如item_code=0。对于每个出售的商品，也插入一个带有的值item_code=0

获取结果:

您可以获得一个小时的聚合结果，如下所示:

cassandra@cqlsh:test> SELECT * FROM payment_method_counter  WHERE hour = 1 AND day = 1 AND month = 1 AND year = 2017;

 hour | day | month | year | type           | count
------+-----+-------+------+----------------+-------
    1 |   1 |     1 | 2017 | cashondelivery |     2
    1 |   1 |     1 | 2017 |     creditcard |     1

(2 rows)
cassandra@cqlsh:test> SELECT * FROM user_transaction_counter WHERE hour = 1 AND day = 1 AND month = 1 AND year = 2017;

 hour | day | month | year | userid | count
------+-----+-------+------+--------+-------
    1 |   1 |     1 | 2017 |      5 |     2
    1 |   1 |     1 | 2017 |      6 |     1

(2 rows)
cassandra@cqlsh:test> SELECT * FROM item_sold_counter  WHERE hour = 1 AND day = 1 AND month = 1 AND year = 2017;

 hour | day | month | year | item_code | count
------+-----+-------+------+-----------+-------
    1 |   1 |     1 | 2017 |         0 |     3
    1 |   1 |     1 | 2017 |         3 |     1
    1 |   1 |     1 | 2017 |         4 |     2