导入命令参数

完成配置文件修改后，可以运行以下命令将指定来源的数据导入Nebula Graph数据库。

  • 首次导入

    1. <spark_install_path>/bin/spark-submit --master "local" --class com.vesoft.nebula.exchange.Exchange <nebula-exchange-2.x.y.jar_path> -c <application.conf_path>

  • 导入reload文件

    如果首次导入时有一些数据导入失败，会将导入失败的数据存入reload文件，可以用参数-r尝试导入reload文件。

    1. <spark_install_path>/bin/spark-submit --master "local" --class com.vesoft.nebula.exchange.Exchange <nebula-exchange-2.x.y.jar_path> -c <application.conf_path> -r "<reload_file_path>"

Note

JAR文件版本号以实际编译得到的JAR文件名称为准。

Note

如果使用yarn-cluster模式提交任务，请参考如下示例：

  1. $SPARK_HOME/bin/spark-submit     --master yarn-cluster \
  2. --class com.vesoft.nebula.exchange.Exchange \
  3. --files application.conf \
  4. --conf spark.driver.extraClassPath=./ \
  5. --conf spark.executor.extraClassPath=./ \
  6. nebula-exchange-2.6.0.jar \
  7. -c application.conf

下表列出了命令的相关参数。

参数是否必需默认值说明
—class 是无指定驱动的主类。
—master 是无指定Spark集群中master进程的URL。详情请参见master-urls。
-c  / —config 是无指定配置文件的路径。
-h  / —hive 否false添加这个参数表示支持从Hive中导入数据。
-D  / —dry 否false添加这个参数表示检查配置文件的格式是否符合要求，但不会校验tags和edges的配置项是否正确。正式导入数据时不能添加这个参数。
-r / —reload否无指定需要重新加载的reload文件路径。

更多Spark的参数配置说明请参见Spark Configuration。

最后更新: August 12, 2021