Apache Ignite 索引性能

Posted 2023-02-16

【中文标题】Apache Ignite 索引性能

【英文标题】：Apache Ignite indexing performance

【发布时间】：2015-11-06 03:15:22

【问题描述】：

我有一个缓存，其中字符串作为键，TileKey（下面的类）作为值，我注意到当我执行查询（下面）时，性能几乎线性地受到缓存大小的影响，即使所有字段查询中使用的都已编入索引。

这是一个有代表性的基准测试 - 我对所有基准测试都使用了相同的查询（如下）和相同的参数： 该查询在所有基准测试中返回（相同的）30 个条目

查询 5350 个条目缓存耗时 6-7 毫秒 查询 10700 个条目缓存耗时 8-10 毫秒 查询 48150 个条目缓存耗时 30-42 毫秒 查询 96300 个条目缓存耗时 50-70 毫秒

我用 8gb 单节点和 4gb 2 节点执行了基准测试，结果几乎相同（就查询速度相对于缓存大小而言）

我还尝试通过使用“时间”字段作为第一个组字段来使用 QuerySqlFieldGroup，它应该将所有基准测试中的结果集减少到只有 1000 个条目，我不确定这是 QuerySqlFieldGroup 的正确用法据我了解，它应该主要用于缓存之间的连接查询。

我做错了什么还是这些是使用 Ignite 索引的预期查询性能？

代码：

String strQuery = "time = ? and zoom = ? and x >= ? and x <= ? and y >= ? and y <= ?";
SqlQuery<String, TileKey> query= new SqlQuery<String, TileKey>(TileKey.class, strQuery);
query.setArgs(time, zoom, xMin,xMax,yMin, yMax);
QueryCursor<Entry<String, TileKey>> tileKeyCursor = tileKeyCache.query(query);
Map<String, TileKey> tileKeyMap = new HashMap<String, TileKey>();
for (Entry<String, TileKey> p : keysCursor) 
    tileKeyMap.put(p.getKey(), p.getValue());

缓存配置：

<bean class="org.apache.ignite.configuration.CacheConfiguration">
            <property name="name" value="KeysCache" />
            <property name="cacheMode" value="PARTITIONED" />
            <property name="atomicityMode" value="ATOMIC" />
            <property name="backups" value="0" />
            <property name="queryIndexEnabled" value="true"/>
            <property name="indexedTypes">
                <list>
                    <value>java.lang.String</value>
                    <value>org.ess.map.TileKey</value>
                </list>
            </property>
</bean>

类：

@QueryGroupIndex.List(@QueryGroupIndex(name = "idx1"))
public class TileKey implements Serializable 

   /**
    * 
    */
   private static final long serialVersionUID = 1L;

   private String id;

   @QuerySqlField(index = true)
   @QuerySqlField.Group(name = "idx1", order = 0)
   private int time;

   @QuerySqlField(index = true)
   @QuerySqlField.Group(name = "idx1", order = 1)
   private int zoom;

   @QuerySqlField(index = true)
   @QuerySqlField.Group(name = "idx1", order = 2)
   private int x;

   @QuerySqlField(index = true)
   @QuerySqlField.Group(name = "idx1", order = 3)
   private int y;

   @QuerySqlField(index = true)
   private boolean inCache;

【问题讨论】：

能否请您使用 EXPLAIN 发布查询计划？另外我建议确保对于每个缓存大小，您的查询返回相同数量的条目。

【参考方案1】：

我找到了问题，感谢 bobby_brew 引导我朝着正确的方向前进。

Ignite 的indexing example 不正确，有一个open issue 关于它。

我已经从

更改了索引字段注释

   @QuerySqlField(index = true)
   @QuerySqlField.Group(name = "idx1", order = x)

到

@QuerySqlField(index = true, orderedGroups = @QuerySqlField.Group(name = "idx1", order = x))

现在所有场景的查询持续时间都是 2ms