cassandra中的复合密钥

rhfm7lfc 于 2021-06-25 发布在 Pig

关注(0)|答案(1)|浏览(271)

我们有一个cql表，它看起来像这样：

CREATE table data (
  occurday  text,
  seqnumber int,
  occurtimems bigint,
  unique bigint,

  fields map<text, text>,

  primary key ((occurday, seqnumber), occurtimems, unique)
)

我可以从中查询这个表 cqlsh 这样地：

select * from data where seqnumber = 10 AND occurday = '2013-10-01';

此查询工作并返回预期的数据。
如果我将此查询作为 LOAD 然而，从Pig的内部来看，事情并不顺利。

-- Need to URL encode the query
data = LOAD 'cql://ks/data?where_clause=seqnumber%3D10%20AND%20occurday%3D%272013-10-01%27' USING CqlStorage();

给予

InvalidRequestException(why:seqnumber cannot be restricted by more than one relation if it includes an Equal)
at org.apache.cassandra.thrift.Cassandra$prepare_cql3_query_result.read(Cassandra.java:39567)
at org.apache.thrift.TServiceClient.receiveBase(TServiceClient.java:78)
at org.apache.cassandra.thrift.Cassandra$Client.recv_prepare_cql3_query(Cassandra.java:1625)
at org.apache.cassandra.thrift.Cassandra$Client.prepare_cql3_query(Cassandra.java:1611)
at org.apache.cassandra.hadoop.cql3.CqlPagingRecordReader$RowIterator.prepareQuery(CqlPagingRecordReader.java:591)
at org.apache.cassandra.hadoop.cql3.CqlPagingRecordReader$RowIterator.executeQuery(CqlPagingRecordReader.java:621)

这些行为不应该是一样的吗？为什么通过Pig的版本失败了呢 cqlsh 命令行吗？

cassandra apache-pig

来源：https://stackoverflow.com/questions/19189649/composite-key-in-cassandra-with-pig

1条答案

按热度按时间

qxsslcnc1#

hadoop正在使用cqlpagingrecordreader来尝试加载您的数据。这将导致查询与您输入的内容不同。分页记录读取器试图一次获取一小块cassandra数据，以避免超时。
这意味着您的查询将作为

SELECT * FROM "data" WHERE token("occurday","seqnumber") > ? AND
token("occurday","seqnumber") <= ? AND occurday='A Great Day' 
AND seqnumber=1 LIMIT 1000 ALLOW FILTERING

这就是为什么您会看到重复的键错误。我将提交一个bug到cassandra项目。
吉拉：https://issues.apache.org/jira/browse/cassandra-6151

赞(0）回复(0）举报 2021-06-25

我来回答

cassandra中的复合密钥

1条答案

相关问题

热门标签

最新问答