JanusGraph 创建索引步骤

前言

  JanusGraph是一个图数据库引擎,安装及入门可以参考 JanusGraph 图数据库安装小记。为了提高查询速度,在使用过程中一般要为某些属性创建索引。这篇随笔主要是记录创建索引过程中踩过的坑。

索引介绍

  与mysql创建索引不同,JanusGraph的索引有一套生命周期,如下图所示:

        

  我们的目标是从<create>索引开始,通过一系列action,最终使索引进入ENABLED状态。

       下面简单说明以下各个状态及操作:

  States(SchemaStatus)

  •   INSTALLED       The index is installed in the system but not yet registered with all instances in the cluster
  •    REGISTERED    The index is registered with all instances in the cluster but not (yet) enabled
  •   ENABLED          The index is enabled and in use (到这一步索引就可以用啦)
  •   DISABLED    The index is disabled and no longer in use (删除索引)

  

  Actions (SchemaAction)

  •    REGISTER_INDEX    Registers the index with all instances in the graph cluster. After an index is installed, it must be registered with all graph instances
  •        REINDEX                   Re-builds the index from the graph(如果我们创建索引时已经存在数据,需要执行这个Action)
  •        ENABLE_INDEX       Enables the index so that it can be used by the query processing engine. An index must be registered before it can be enabled
  •   DISABLE_INDEX      Disables the index in the graph so that it is no longer used
  •        REMOVE_INDEX      Removes the index from the graph (optional operation). Only on composite index

创建索引

  创建索引的JanusGraph官方教程所描述的方法是一种理想情况,命令如下:

扫描二维码关注公众号,回复: 5352453 查看本文章
graph.tx().rollback()

mgmt = graph.openManagement()
name = mgmt.getPropertyKey('name')
mgmt.buildIndex('byNameComposite', Vertex.class).addKey(name).buildCompositeIndex()

//Wait for the index to become available
ManagementSystem.awaitGraphIndexStatus(graph, 'byNameComposite').call()

//Reindex the existing data
mgmt.updateIndex(mgmt.getGraphIndex("byNameComposite"), SchemaAction.REINDEX).get()

mgmt.commit()

       实际上在操作时会遇到很多问题,其中最头疼的就是在执行 awaitGraphIndexStatus()方法时,会报 “Script evaluation exceeded the configured 'scriptEvaluationTimeout' threshold of 30000 ms or evaluation was otherwise cancelled directly for request [mgmt.awaitGraphIndexStatus(graph, 'byNameComposite').call()]” 的错误。

    上面的命令其实忽略了关键的几步,下面具体说明以下。

  1. 创建索引之前,确定JanusGraph没有其它事务正在运行

   官方文档说明如下:

  The name of a graph index must be unique. Graph indexes built against newly defined property keys, i.e. property keys that are defined in the same management transaction as the index, are immediately available. Graph indexes built against property keys that are already in use require the execution of a reindex procedure to ensure that the index contains all previously added elements. Until the reindex procedure has completed, the index will not be available. It is encouraged to define graph indexes in the same transaction as the initial schema.

    查询事务命令:

graph.getOpenTransactions()

       假设有其它3条事务,通过官方的 graph.tx().rollback() 命令是无法全部关闭的,实际情况如下

gremlin> graph.getOpenTransactions()
==>standardtitantx[0x1e14c346]
==>standardtitantx[0x7a0067f2]
==>standardtitantx[0x0de3ee40]
gremlin> graph.tx().rollback()
==>null
gremlin> graph.getOpenTransactions()
==>standardtitantx[0x1e14c346]
==>standardtitantx[0x7a0067f2]
==>standardtitantx[0x0de3ee40]

  正确的关闭方法:

for(i=0;i<size;i++) {graph.getOpenTransactions().getAt(0).rollback()}  //size替换为事务的数量

  2. 执行 REGISTER_INDEX ACTION,使索引状态INSTALLED 转为 REGISTERED

  官方文档里没有这关键的一步,在创建完索引后,需要执行以下命令

m = graph.openManagement()
m.updateIndex(m.getGraphIndex('index'), SchemaAction.REGISTER_INDEX).get()
m.commit()

  其中第三条命令执行后实际上是在后台运行的,此时如果我们执行  ManagementSystem.awaitGraphIndexStatus(graph,"byNameComposite").status(SchemaStatus.REGISTERED).call() ,等待30s后很可能依然返回超时错误。这时候需要耐心等待。期间,我们可以通过查看后台cassandra进程CPU占用率来判断是否执行完成。或者可以直接查看索引的状态:

mgmt = graph.openManagement()
index = mgmt.getGraphIndex('index')
Index.getIndexStatus(mgmt.getPropertyKey('name'))

  等待一段时间后,索引的状态最终会变为 REGISTERED,此时再执行awaitGraphIndexStatus() ,会返回

GraphIndexStatusReport[success=true, indexName='byTitleLowercaseComposite', targetStatus=[REGISTERED], notConverged={}, converged={title_lowercase=REGISTERED}, elapsed=PT0.001S]

   注意:若索引迟迟没有变为REGISTERED,也可尝试进行下一步,更新到ENABLE。

  3. 执行REINDEX与ENABLE_INDEX,完成索引

  与上一步类似,需要通过updateIndex()方法来改变索引状态。如果要索引的属性中还未导入数据,则不需要REINDEX的操作,下面的命令二选一:

  REINDEX ACTION:

m = graph.openManagement()
m.updateIndex(m.getGraphIndex('index'), SchemaAction.REINDEX).get()
m.commit()

ManagementSystem.awaitGraphIndexStatus(graph, 'byNameComposite').status(SchemaStatus.ENABLED).call()

   ENABLED ACTION:

m = graph.openManagement()
m.updateIndex(m.getGraphIndex('index'), SchemaAction.ENABLE_INDEX).get() 
m.commit() 

ManagementSystem.awaitGraphIndexStatus(graph, 'byNameComposite').status(SchemaStatus.ENABLED).call()

错误示例: 
i = m.getGraphIndex('index')
m.updateIndex(i, SchemeAction.ENABLE_INDEX)
m.commit()

必须要加‘get()’

  到最后, 执行awaitGraphIndexStatus()返回成功信息:

GraphIndexStatusReport[success=true, indexName='byTitleLowercaseComposite', targetStatus=[ENABLED], notConverged={}, converged={title_lowercase=ENABLED}, elapsed=PT0.001S]

Janusgraph索引状态不变更的问题

JanusGraph的索引因为要同步不同实例及不同后端的数据,因此不是实时能够完成的,视配置,网络和数据量不同,建立/生效索引通常需要一段时间,这也是为什么创建索引时会创建wait()的原因。

在实践中,我们经常遇到timeout()异常的出现,这一方面有数据量,网络,配置的原因,另外一方面,如果系统中有未关闭的事务或者无效的实例,均会导致索引创建阻塞,不断等待,最后超时。下面是我们团队在使用JansuGraph总结出的,解决索引超时的实践,希望对后来者有所帮助。

1.存在没有关闭的Transaction

如果图中存在有没有关系的Transaction,则索引状态不会变更,虽然在官方文档中提到了使用:

graph.tx().rollback()

但该方法只能关闭当前事务,对系统中其他打开的事务无效,可以使用下面的语句替换:

for(i=0;i<graph.getOpenTransactions().size();i++) {graph.getOpenTransactions().getAt(i).rollback()}

2.存在幽灵实例

使用下面的语句查询:

mgmt = graph.openManagement()
mgmt.getOpenInstances();
mgmt.commit();

使用下面的语句关闭:

mgmt = graph.openManagement();
ids = mgmt.getOpenInstances();
for(String id : ids){if(!id.contains("(")){mgmt.forceCloseInstance(id)}};
mgmt.commit();

本文转自:https://www.cnblogs.com/Uglthinx/p/9630779.html

猜你喜欢

转载自blog.csdn.net/tyrroo/article/details/86687776
今日推荐