带有分区键的 cassandra getendpoints 有空间

Posted

技术标签:

【中文标题】带有分区键的 cassandra getendpoints 有空间【英文标题】:cassandra getendpoints with partition key has space 【发布时间】:2017-08-11 18:00:30 【问题描述】:

我的分区键是 id(int) 和 name(text)。 下面的命令可以正常工作,直到名称(文本)中没有空格。 nodetool getendpoints test testtable2 1:aaa;

如果我正在使用 nodetool getendpoints test testtable2 3:aac cc; 它会引发错误:nodetool: getendpoints requires keyspace, table and partition key arguments 请参阅“节点工具帮助”或“节点工具帮助”。

我通过执行获得令牌 SELECT id,name,token(id,name) FROM test.testtable2 where name='aac cc'AND id=3; 并试图搜索 nodetool getendpoints test testtable2 -7072928299163215694; 错误:对于输入字符串:“-7072928299163215694” - 堆栈跟踪 - java.lang.NumberFormatException:对于输入字符串:“-7072928299163215694”

如何搜索分区键(名称)是否有空间?

【问题讨论】:

【参考方案1】:

这是nodetool 命令的问题。

我修改了nodetool 脚本并创建了getendpoints 脚本以支持带有分区键有空间的getendpoints

这里是getendpoints 代码:

#!/bin/sh
# Licensed to the Apache Software Foundation (ASF) under one
# or more contributor license agreements.  See the NOTICE file
# distributed with this work for additional information
# regarding copyright ownership.  The ASF licenses this file
# to you under the Apache License, Version 2.0 (the
# "License"); you may not use this file except in compliance
# with the License.  You may obtain a copy of the License at
#
#     http://www.apache.org/licenses/LICENSE-2.0
#
# Unless required by applicable law or agreed to in writing, software
# distributed under the License is distributed on an "AS IS" BASIS,
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
# See the License for the specific language governing permissions and
# limitations under the License.

if [ "`basename "$0"`" = 'nodeprobe' ]; then
    echo "***************************************************************" >&2
    echo "WARNING: $0 is obsolete, use `dirname "$0"`/nodetool instead" >&2
    echo "***************************************************************" >&2
fi

if [ "x$CASSANDRA_INCLUDE" = "x" ]; then
    for include in "`dirname "$0"`/cassandra.in.sh" \
                   "$HOME/.cassandra.in.sh" \
                   /usr/share/cassandra/cassandra.in.sh \
                   /usr/local/share/cassandra/cassandra.in.sh \
                   /opt/cassandra/cassandra.in.sh; do
        if [ -r "$include" ]; then
            . "$include"
            break
        fi
    done
elif [ -r "$CASSANDRA_INCLUDE" ]; then
    . "$CASSANDRA_INCLUDE"
fi

# Use JAVA_HOME if set, otherwise look for java in PATH
if [ -x "$JAVA_HOME/bin/java" ]; then
    JAVA="$JAVA_HOME/bin/java"
else
    JAVA="`which java`"
fi

if [ -z "$CASSANDRA_CONF" -o -z "$CLASSPATH" ]; then
    echo "You must set the CASSANDRA_CONF and CLASSPATH vars" >&2
    exit 1
fi

# Run cassandra-env.sh to pick up JMX_PORT
if [ -f "$CASSANDRA_CONF/cassandra-env.sh" ]; then
    . "$CASSANDRA_CONF/cassandra-env.sh"
fi

# JMX Port passed via cmd line args (-p 9999 / --port 9999 / --port=9999)
# should override the value from cassandra-env.sh
ARGS=""
JVM_ARGS=""
SSL_FILE=$HOME/.cassandra/nodetool-ssl.properties
KS=""
CF=""
KEY=""

while true
do
  if [ ! $1 ]; then break; fi
  case $1 in
    -p)
      JMX_PORT=$2
      shift
      ;;
    --port=*)
      JMX_PORT=$(echo $1 | cut -d '=' -f 2)
      ;;
    --port)
      JMX_PORT=$2
      shift
      ;;
    --ssl)
      if [ -f $SSL_FILE ]
      then 
          SSL_ARGS=$(cat $SSL_FILE | tr '\n' ' ')
      fi
      JVM_ARGS="$JVM_ARGS -Dssl.enable=true $SSL_ARGS"
      ;;
    -D*)
      JVM_ARGS="$JVM_ARGS $1"
      ;;
    -k)
      KS=$2
      shift
      ;;
    -t)
      CF=$2
      shift
      ;;
    *)
      if [ ! $KEY ]; then 
    KEY="$1"
      else
    KEY="$KEY $1"
      fi
      ;;
  esac
  shift
done

# Special-case path variables.
case "`uname`" in
    CYGWIN*) 
        CLASSPATH="`cygpath -p -w "$CLASSPATH"`"
        CASSANDRA_CONF="`cygpath -p -w "$CASSANDRA_CONF"`"
    ;;
esac

"$JAVA" $JAVA_AGENT -cp "$CLASSPATH" \
      -Xmx128m \
      -Dcassandra.storagedir="$cassandra_storagedir" \
      -Dlogback.configurationFile=logback-tools.xml \
      -Dstorage-config="$CASSANDRA_CONF" \
      $JVM_ARGS \
      org.apache.cassandra.tools.NodeTool -p $JMX_PORT getendpoints $KS $CF "$KEY"

getendpoints文件放到$CASSANDRA_HOME/bin目录下。

现在您可以使用 nodetool 参数以及以下参数运行此文件

getendpoints -k keyspace_name -t table_name key

例子:

getendpoints -k test -t testtable2 3:aac cc

【讨论】:

不加getendpont代码就不能完成吗?因为我使用的是 datastax,所以我不想添加任何额外的代码。如果可以编辑而不是添加某些内容,我会很高兴。 我想没有别的办法,我提到这是nodetool命令的open issue。我不想更改 nodetool 代码,所以我创建了一个新的。【参考方案2】:

您使用的是哪个 Cassandra 版本。

我已经从 Cassandra 2.x 和 Cassandra 3.x 版本对其进行了测试。它工作正常。

root@cqlsh:test_db> SELECT token(name) from test_temp ; system.token(名称) --------------------- -907920378987128470 nodetool getendpoints test_db test_temp -907920378987128470; 192.168.8.52

更新答案:有问题

当分区键的第一部分是 int 时会产生问题。

创建表 test6 ( 年龄 int 主键, 名称文本 ); bin/nodetool getendpoints 测试 test6 -7072928299163215694
error: For input string: "-7072928299163215694"java.lang.NumberFormatException: For input string:"-
7072928299163215694"
    at java.lang.NumberFormatException.forInputString(NumberFormatException.java:65)
    at java.lang.Integer.parseInt(Integer.java:583)
    at java.lang.Integer.parseInt(Integer.java:615)

但对于以下输入正常工作

bin/nodetool getendpoints 测试 test6 -7072 127.0.0.1

来自 DataStax 文档:

提供拥有分区键的端点。分区器返回密钥的令牌。无论该令牌的标识节点上是否存在数据,Cassandra 都会返回一个端点。 ** key 是要获取的端点的分区键。

nodetool getendpoints 实际上将分区键的值作为输入。在这种情况下,“-7072928299163215694”将其解析为整数,因此最终抛出异常。它适用于 long 或 String (它采用 '-7072928299163215694' 值作为字符串),因为它已将此作为键的值而不是实际令牌。它不解析令牌。所以提供令牌作为输入是行不通的。

getendpoints 从密钥的值生成令牌,并为您提供密钥所在的端点(节点)。

请查看此链接: What node does Cassandra store data on?

为此提供了补丁:

https://issues.apache.org/jira/browse/CASSANDRA-4551

希望这会有所帮助。

【讨论】:

我使用的是由 datastax enterprice 安装的 3.0.12。如果有一个小学,它对我来说工作正常。您可以尝试使用两个主键并检查吗? @chaity 我已经用多个分区键和两个主键(一个分区和集群键)测试了它。但它工作正常。我将用两个测试用例更新答案。让我用你正在使用的相同版本进行测试。 更新了我的答案。我没有使用 Datastax 企业提供的 Cassandra。

以上是关于带有分区键的 cassandra getendpoints 有空间的主要内容,如果未能解决你的问题,请参考以下文章

UNION与IN在Cassandra中分区键的性能

Cassandra 更新 - 带有时间戳聚类键的“位置”

Cassandra中的行键

Cassandra分页和令牌功能;选择分区键

Spark Cassandra 连接器 - 分区键上的范围查询

无法使用 datastax java 驱动程序通过 UDT 键从 cassandra 检索