Cassandra - HDD 与 SSD 的使用对吞吐量没有影响

Posted 2023-03-17

【中文标题】Cassandra - HDD 与 SSD 的使用对吞吐量没有影响

【英文标题】：Cassandra - HDD vs. SSD usage makes no difference in throughput

【发布时间】：2020-07-02 22:15:29

【问题描述】：

背景 我目前正在单节点集群上使用 Apache Cassandra 运行测试。我已经使用 nodetool status 确保集群已启动并运行，我已经完成了大量的读写操作，并且我确信我的集群设置正确。我现在正试图通过将 SSD 安装到 Cassandra 写入数据的目录来加快吞吐量。

我的解决方案 Cassandra 数据的写入位置通常是 /var/lib/cassandra/data，但是我已经使用 cassandra.yaml 切换到另一个位置，我已经安装了我的 SSD。我通过watch du -h 和其他方法检查数据目录内容的大小，确保Cassandra 正在写入该位置。我安装 SSD 的目录包括表数据、提交日志、提示、嵌套数据目录和 saved_caches。

问题 我一直在使用 YCSB 基准测试（请参阅https://github.com/brianfrankcooper/YCSB）来测试 Cassandra 的平均吞吐量和操作/秒。我注意到在 Cassandra 写入数据的位置安装 HDD 和 SSD 时，平均吞吐量没有差异。我通过dstat -cd --disk-util --disk-tps 分析了磁盘访问，发现在多个实例中 HDD 的 CPU 使用率都达到上限，而 SSD 在某些情况下仅飙升至 80% 左右。

问题 如何通过 HDD 使用 SSD 来加快 Cassandra 的吞吐量？我认为这是安装 SSD 的正确位置，但 Cassandra 是否没有利用其额外的处理能力？任何帮助将不胜感激！

【问题讨论】：

您是否使用 hdd 和 ssd 监控磁盘活动？

刚刚用信息更新了我的问题，感谢您的建议！

【参考方案1】：

在延迟等方面，SSD 应始终胜过 HDD。这只是物理定律。我认为您的测试根本没有为系统提供足够的负载。另一个问题可能是您只将数据挂载到 SSD，而不是提交日志 - 在 HDD 上，它们应该始终放在单独的磁盘上，以避免与数据加载发生冲突。在 SSD 上，它们可以与数据放在同一个磁盘上 - 请将所有目录指向 SSD 以查看差异。

我建议使用以下工具进行比较：

perfscripts - 它使用 fio 工具来模拟类似 Cassandra 的工作负载，如果您在 HDD 和 SSD 上运行它，那么您将看到延迟的差异。您甚至可能不会执行它 - 只需查看 historic 文件夹，其中有不同磁盘类型的结果； DSBench - 最近由 DataStax 团队发布，该团队专门对 Cassandra 和 DSE 进行基准测试。有内置的工作负载described in wiki，可用于测试。只需确保您运行负载的时间足够长以查看压缩等的效果。