Cassandra删除操作有时无法在删除后选择数据

Posted

技术标签:

【中文标题】Cassandra删除操作有时无法在删除后选择数据【英文标题】:Cassandra delete operation is sometimes not working able to select the data after delete 【发布时间】:2016-11-22 00:33:09 【问题描述】:

我有两张桌子

CREATE TABLE IF NOT EXISTS QueueBucket (
    queueName   text,
    bucketId    int,
    scheduledMinute timestamp,
    scheduledTime timestamp,
    messageId   uuid,
    PRIMARY KEY ((queueName, bucketId, scheduledMinute), scheduledTime, messageId)
)  WITH compaction =  'class' :  'LeveledCompactionStrategy'   AND speculative_retry='NONE' ;

CREATE TABLE IF NOT EXISTS InDelivery (
    queueName       text,
    nodeId        uuid,
    dequeuedMinute    timestamp,
    messageId       uuid,
    bucketid        int,
    dequeuedTime    timestamp,
    PRIMARY KEY ((queueName, nodeId,bucketId, dequeuedMinute),dequeuedTime, messageId)
);

在代码中,我执行插入到 QueueBucket 并批量从未交付中删除(记录)。但是在负载测试过程中,尽管插入到 QueueBucket 中有效,但有时无法从交付中删除。要确认这一点,请立即从未交付检查中读取,然后如果 messageId 仍然存在,则读取已删除的 messageId 并打印 WARN 日志。

    queueDao.insertMsgInfo(queueName, bucketId, QueueUtils.getMinute(scheduledTime), scheduledTime, messageId);
    queuDao.deleteInDelivery(queueName, nodeId, bucketId, bucketMinute, dequeuedTime, messageId);
    if(queueServiceMetaDao.hasIndeliveryMessage(inDeliveryPK)) 
        log.warn("messageId   of queue  bucket  with node  dequuedTime  dequeud minute  could not get deleted from indelivery.",
                messageId,queueName,bucketId, nodeId,QueueUtils.dateToString(dequeuedTime),QueueUtils.dateToString(bucketMinute));
        

在 insertMsgInfo 和 deleteInDelivery 方法中,我正在重用准备好的语句。

"INSERT INTO queuebucket (queuename, bucketid , scheduledminute, scheduledtime, messageid ) VALUES ( ? , ? , ? , ? , ? );"
"DELETE FROM indelivery WHERE queuename = ? AND nodeId = ? AND bucketId=? AND dequeuedMinute=? AND dequeuedTime =? AND messageId=? ;"

在 hasIndeliveryMessage 中,我将相同的值传递到 inDeliveryPrimaryKey 中,就像我在 moveBackToQueueBucket 方法中为删除 indelivery 数据传递的一样。

"SELECT messageId FROM indelivery WHERE queuename = ? AND nodeId = ? AND bucketId=? AND dequeuedMinute=? AND dequeuedTime=? AND messageId=? ;"

我不知道为什么我会看到多条警告消息“无法从未送达中删除”。 .请帮忙

我使用的是 cassandra 2.2.7 版,它是 6 节点 cassandra 集群 复制因子为 5,使用的读写一致性为 QUORUM。

我还通过链接Cassandra - deleted data still there 和https://issues.apache.org/jira/browse/CASSANDRA-7810 但是这个问题很久以前就修复了。在 2.0.11 中。

进一步更新根据Cassandra - Delete not working,我也运行了nodetool repair,但问题仍然存在。 我也应该运行紧凑吗?

进一步更新: 我不再使用批处理,我只是简单地插入 queuebucket 并删除以进行交付,然后读取数据,但问题仍然存在

添加一些日志:

2016-07-19 20:39:42,440[http-nio-8014-exec-12]INFO  QueueDaoImpl -deleting from indelivery queueName pac01_deferred nodeid 1349d57f-28f5-37d4-9fe1-dfa14dba4a9f bucketId 382 dequeuedMinute 20160719203900000 dequeuedTime 20160719203942310 messageId cc4fb158-f61e-345b-8dcf-3f842fe52d50:
2016-07-19 20:39:42,442[http-nio-8014-exec-12]INFO  QueueDaoImpl -Reading from indelivery : queue pac01_deferred nodeId 1349d57f-28f5-37d4-9fe1-dfa14dba4a9f dequeueMinute 20160719203900000 dequeueTime 20160719203942310 messageid cc4fb158-f61e-345b-8dcf-3f842fe52d50 bucketId 382 indeliveryRow Row[cc4fb158-f61e-345b-8dcf-3f842fe52d50]
2016-07-19 20:39:42,442[http-nio-8014-exec-12]WARN  QueueImpl -messageId  cc4fb158-f61e-345b-8dcf-3f842fe52d50 of queue pac01_deferred bucket 382 with node 1349d57f-28f5-37d4-9fe1-dfa14dba4a9f dequuedTime 20160719203942310 dequeud minute 20160719203900000 could not get deleted from indelivery .

我应该尝试将一致性 ALL 吗???

【问题讨论】:

检查所有节点之间的时间戳是否同步 所有 cassandra 节点都在同一个时区。 您是否为插入和删除操作指定时间戳?避免 Cassandra 中的突变操作顺序错误是一个好习惯。详情请查看datastax.github.io/java-driver/2.1.7/features/query_timestamps 非常感谢您的回复。不,在从交付表中插入和删除时,我没有指定任何时间戳。由于我是 cassandra 的新手,因此我想了解它的重要性并将其应用它。让我们看看它是否能解决我的问题。如果可能,请提供相同的链接以了解时间戳概念。 @Laxmikant, planetcassandra.org/blog/… 这里是时间戳的一个很好的解释 【参考方案1】:

首先,使用 Cassandra 支持队列或类似队列的结构是一种已知的反模式。如果您的队列处理高吞吐量,您将面临墓碑问题并降低查询性能。

至于您的实际问题,我之前已经看到使用时间戳作为键的模型发生这种情况。您如何为dequeuedMinutedequeuedTime 创建时间戳值?

如果您自己将时间戳放在一起,那么删除它们应该很容易。但是,如果您使用dateOf(now())Java.Util.Date 创建它们,那么您的时间戳将与它们一起存储毫秒。虽然 cqlsh 会掩盖这一点:

INSERT INTO InDelivery (queuename, nodeid, bucketid , dequeuedMinute, dequeuedTime, messageid )
VALUES ('test1',uuid(),2112,dateof(now()),dateof(now()),uuid());

INSERT INTO InDelivery (queuename, nodeid, bucketid , dequeuedMinute, dequeuedTime, messageid )
VALUES ('test1',a24e056a-94fa-4aee-b3a7-a8df6060091a,2112,'2016-07-19 09:57:16-0500','2016-07-19 09:57:16-0500',uuid());

SELECT queuename,nodeid,dequeuedMinute,blobasbigint(timestampasblob(dequeuedMinute)),             
dequeuedTime,blobasbigint(timestampasblob(dequeuedTime)),messageid
FROM InDelivery;

 queuename | nodeid                               | dequeuedMinute                | blobasbigint(timestampasblob(dequeuedMinute)) | dequeuedTime             | blobasbigint(timestampasblob(dequeuedTime)) | messageid
-----------|--------------------------------------+-------------------------------+-----------------------------------------------+--------------------------+--------------------------------------+---------------------------------------------
     test1 | a24e056a-94fa-4aee-b3a7-a8df6060091a | 2112 2016-07-19 09:57:16-0500 |                                 1468940236000 | 2016-07-19 09:57:16-0500 |                               1468940236000 | 7ca1f676-9034-45ba-bb3f-377ba74cc5c0
     test1 | a24e056a-94fa-4aee-b3a7-a8df6060091a | 2112 2016-07-19 09:57:16-0500 |                                 1468940236641 | 2016-07-19 09:57:16-0500 |                               1468940236641 | 9721d96e-d6f5-43a7-9ba4-18ef4d54ab8a
(2 rows)

那些时间戳看起来一样,对吧?但是应用 blobasbigint(timestampasblob( 嵌套函数会发现差异(000 与 641 毫秒)。

请注意,如果我将 SELECT 更改为过滤 641 毫秒(blobasbigint(timestampasblob( 列中的最后 3 位数字),我会得到包含毫秒的行。

SELECT queuename,nodeid,dequeuedMinute,blobasbigint(timestampasblob(dequeuedMinute)),             
dequeuedTime,blobasbigint(timestampasblob(dequeuedTime)),messageid
FROM InDelivery
WHERE queuename='test1' AND bucketid=2112 
AND nodeid=a24e056a-94fa-4aee-b3a7-a8df6060091a
AND dequeuedMinute='2016-07-19 09:57:16.641-0500';

 queuename | nodeid                               | dequeuedMinute                | blobasbigint(timestampasblob(dequeuedMinute)) | dequeuedTime             | blobasbigint(timestampasblob(dequeuedTime)) | messageid
-----------|--------------------------------------+-------------------------------+-----------------------------------------------+--------------------------+--------------------------------------+---------------------------------------------
     test1 | a24e056a-94fa-4aee-b3a7-a8df6060091a | 2112 2016-07-19 09:57:16-0500 |                                 1468940236641 | 2016-07-19 09:57:16-0500 |                               1468940236641 | 9721d96e-d6f5-43a7-9ba4-18ef4d54ab8a
(1 rows)

底线是,如果您要使用时间戳键存储毫秒,那么当您通过这些键SELECT/DELETE 时还需要包含它们。同样,如果您在时间戳键上存储毫秒,那么当您通过这些键SELECT/DELETE 时,您不能包含它们。

【讨论】:

感谢您的回复。你是完全正确的。我只使用 java.util.Date 但在插入/删除/选择时我不会忽略毫秒部分。我仅在负载测试期间一秒钟内出现数千个请求时才会遇到此问题。所以我也有同样的疑问,就像@Mikhail Baksheev 在插入和删除时设置客户端时间戳以保持突变顺序一样。我祈祷这能解决我的问题:)..【参考方案2】:

在客户端使用 TIMESTAMP 解决了我的问题。感谢 Mikhail Baksheev 指出。

建议在客户端查询时使用它来保持突变的顺序。

如果我们正在插入和删除数据,请确保我们在删除查询中传递的 TIMESTAMP 的值必须大于我们在插入中传递的值。

数据删除失败/似乎在 Cassandara 中失败的其他原因可能是

    忽略时间戳字段删除中的毫秒值。 如果节点停机时间超过宽限期,数据可能会重新出现。

【讨论】:

以上是关于Cassandra删除操作有时无法在删除后选择数据的主要内容,如果未能解决你的问题,请参考以下文章

ttl过期时如何从cassandra中删除陈旧数据

删除 cassandra 数据后磁盘空间不减少

Cassandra:删除数据而不删除表结构

架构更改后 Cassandra 无法启动

通过压缩和修复从 Cassandra db 中删除大量数据后,磁盘空间未更改

如何在 cassandra 2.0.5 中删除表或列族?