常见问题

常见问题

任务运行 直接报错

  1. com.dtstack.taier.common.exception.ClientAccessException: Client access exception.
  2. at com.dtstack.taier.common.client.ClientCache.getClient(ClientCache.java:114)
  3. at com.dtstack.taier.common.client.ClientOperator.judgeSlots(ClientOperator.java:155)
  4. at com.dtstack.taier.scheduler.WorkerOperator.judgeSlots(WorkerOperator.java:93)
  5. at com.dtstack.taier.scheduler.WorkerOperator$$FastClassBySpringCGLIB$$b285a6bd.invoke(<generated>)
  6. at org.springframework.cglib.proxy.MethodProxy.invoke(MethodProxy.java:218)
  7. at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.invokeJoinpoint(CglibAopProxy.java:769)
  8. at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:163)
  9. at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
  10. at org.springframework.aop.framework.adapter.AfterReturningAdviceInterceptor.invoke(AfterReturningAdviceInterceptor.java:55)
  11. at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
  12. at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
  13. at org.springframework.aop.interceptor.ExposeInvocationInterceptor.invoke(ExposeInvocationInterceptor.java:95)
  14. at org.springframework.aop.framework.ReflectiveMethodInvocation.proceed(ReflectiveMethodInvocation.java:186)
  15. at org.springframework.aop.framework.CglibAopProxy$CglibMethodInvocation.proceed(CglibAopProxy.java:747)
  16. at org.springframework.aop.framework.CglibAopProxy$DynamicAdvisedInterceptor.intercept(CglibAopProxy.java:689)
  17. at com.dtstack.taier.scheduler.WorkerOperator$$EnhancerBySpringCGLIB$$9dd74da7.judgeSlots(<generated>)
  18. at com.dtstack.taier.scheduler.jobdealer.JobSubmitDealer.submitEngineJob(JobSubmitDealer.java:340)
  19. at com.dtstack.taier.scheduler.jobdealer.JobSubmitDealer.submitJob(JobSubmitDealer.java:329)
  20. at com.dtstack.taier.scheduler.jobdealer.JobSubmitDealer.lambda$run$0(JobSubmitDealer.java:220)
  21. at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:511)
  22. at java.util.concurrent.FutureTask.run(FutureTask.java:266)
  23. at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
  24. at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
  25. at java.lang.Thread.run(Thread.java:748)
tip

taier部署目录下没有worker-plugins

新建任务下拉框为空 或者 没有数据同步任务类型

tip

任务下拉框为空 查看初始化SQL是否正常执行 dict表中type = 30 是否正常 不包含重复数据
没有数据同步任务类型 或者没有其他任务类型 确认前置组件是否正常配置 组件任务依赖关心

不依赖hadoop 可以实现异构数据源之间的数据同步吗

tip

可以本地部署Flink Standalone 或 DataX 通过数据同步任务或者DataX来实现同步

数据同步版本可以用其他版本吗

tip

不行 Chunjun对接的版本为1.12_release Taier项目依赖的也为1.12 建议使用Flink版本1.12.7

任务提交报错 提示找不到core-jar

  1. Caused by: com.dtstack.taier.common.exception.TaierDefineException: java.util.concurrent.ExecutionException: com.dtstack.taier.common.exception.TaierDefineException: com.dtstack.taier.pluginapi.exception.PluginDefineException: Can not find chunjun core jar in path: /usr/local/chunjun-dist
  2. at com.dtstack.taier.common.client.ClientProxy.init(ClientProxy.java:90)
  3. at com.dtstack.taier.common.client.ClientCache.getClient(ClientCache.java:102)
  4. ... 23 more
  5. Caused by: java.util.concurrent.ExecutionException: com.dtstack.taier.common.exception.TaierDefineException: com.dtstack.taier.pluginapi.exception.PluginDefineException: Can not find chunjun core jar in path: /usr/local/chunjun-dist
  6. at java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:357)
  7. at java.util.concurrent.CompletableFuture.get(CompletableFuture.java:1915)
  8. at com.dtstack.taier.common.client.ClientProxy.init(ClientProxy.java:86)
  9. ... 24 more
  10. Caused by: com.dtstack.taier.common.exception.TaierDefineException: com.dtstack.taier.pluginapi.exception.PluginDefineException: Can not find chunjun core jar in path: /usr/local/chunjun-dist
  11. at com.dtstack.taier.common.client.ClientProxy.lambda$init$0(ClientProxy.java:84)
  12. at java.util.concurrent.CompletableFuture$AsyncSupply.run(CompletableFuture.java:1590)
  13. ... 3 more
  14. Caused by: com.dtstack.taier.pluginapi.exception.PluginDefineException: Can not find chunjun core jar in path: /usr/local/chunjun-dist
  15. at com.dtstack.taier.flink.config.PluginConfig.getCoreJarPath(PluginConfig.java:106)
  16. at com.dtstack.taier.flink.config.PluginConfig.getCoreJarInfo(PluginConfig.java:83)
  17. at com.dtstack.taier.flink.util.FlinkUtil.fillFlinkxToClassLoader(FlinkUtil.java:272)
  18. at com.dtstack.taier.flink.FlinkClient.init(FlinkClient.java:156)
  19. at com.dtstack.taier.common.client.ClientProxy$1.execute(ClientProxy.java:79)
  20. at com.dtstack.taier.common.client.ClientProxy$1.execute(ClientProxy.java:76)
  21. at com.dtstack.taier.pluginapi.callback.ClassLoaderCallBackMethod.callbackAndReset(ClassLoaderCallBackMethod.java:31)
  22. at com.dtstack.taier.common.client.ClientProxy.lambda$init$0(ClientProxy.java:76)
  23. ... 4 more
tip

chunjun-core.jar 寻找的目录是taier服务器本地 需要确保目录、权限、chunjun-dist目录正常
如果是docker部署的话 需要将chunjun 和flink的目录映射到docker内挂载

  1.     volumes:
  2.       - /data/chunjun-dist:/usr/local/chunjun-dist
  1. 2022-11-09 08:03:34.803 [pool-FlinkClient_ClientProxy-24-thread-50] WARN  o.a.flink.client.program.rest.RestClusterClient [RestClusterClient.java:699] - Could not retrieve the web interface URL for the cluster.
  2. java.util.concurrent.ExecutionException: java.util.concurrent.TimeoutException
  3.         at java.util.concurrent.CompletableFuture.reportGet(CompletableFuture.java:357)
  4.         at java.util.concurrent.CompletableFuture.get(CompletableFuture.java:1908)
tip

Flink任务提交之后会有随机端口产生，Hadoop集群的网络需要和Taier互通，不限制端口访问

Flink-Standalone 任务提交类转换异常

  1. Caused by: java.lang.reflect.InvocationTargetException
  2. at sun.reflect.NativeMethodAccessorImpl.invoke0(Native Method)
  3. at sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62)
  4. at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  5. at java.lang.reflect.Method.invoke(Method.java:498)
  6. at java.lang.invoke.SerializedLambda.readResolve(SerializedLambda.java:230)
  7. at sun.reflect.GeneratedMethodAccessor13.invoke(Unknown Source)
  8. at sun.reflect.DelegatingMethodAccessorImpl.invoke(DelegatingMethodAccessorImpl.java:43)
  9. at java.lang.reflect.Method.invoke(Method.java:498)
  10. at java.io.ObjectStreamClass.invokeReadResolve(ObjectStreamClass.java:1275)
  11. ... 69 more
  12. Caused by: java.lang.ClassCastException: com.dtstack.chunjun.connector.jdbc.converter.JdbcColumnConverter cannot be cast to com.dtstack.chunjun.converter.AbstractRowConverter
  13. at com.dtstack.chunjun.converter.AbstractRowConverter.$deserializeLambda$(AbstractRowConverter.java:54)
  14. ... 78 more
tip

Flink-Standalone服务fink-config.yml增加类加载配置解决

  1. classloader.resolve-order: parent-first
  2. classloader.check-leaked-classloader: false

Spark 任务提交类not find

  1. Could not find or load main class org.apache.spark.executor.CoarseGrainedExecutorBackend
tip

Spark组件sparkSqlProxyPath 配置的路径下上传对应依赖jar包

本地部署登录之后提示未登录

login_error

tip

本地通过访问http://ip:8090/

选择数据源提示初始化失败

  1. com.dtstack.taier.datasource.api.exception.InitializeException: get classloader error, pluginName: mysql5
  2.     at com.dtstack.taier.datasource.api.manager.list.ClassloaderManager.lambda$getClassloaderByPluginName$0(ClassloaderManager.java:184)
  3.     at java.util.concurrent.ConcurrentHashMap.computeIfAbsent(ConcurrentHashMap.java:1660)
  4.     at com.dtstack.taier.datasource.api.manager.list.ClassloaderManager.getClassloaderByPluginName(ClassloaderManager.java:178)
  5.     at com.dtstack.taier.datasource.api.manager.list.ClientManager.registerClient(ClientManager.java:90)
  6.     at com.dtstack.taier.datasource.api.base.ClientCache.getClientByType(ClientCache.java:74)
  7.     at com.dtstack.taier.datasource.api.base.ClientCache.getClient(ClientCache.java:78)
tip

确保taier部署环境存在同级目录datasource-plugins

数据同步任务一直等待运行

tip

session 模式 确认 flink session是否拉起 可以参考github issue standalone 默认 确认 standalone是否正常启动 组件参数配置是否正常 等待运行的信息可以在taier.log日志中查看

数据同步任务运行class not found

login_error

tip

chunjun的connector部分依赖包是provided,运行时候需要下载对应jar包放在flink组件配置的flinkLibDir目录下

数据同步运行serialVersionUID错误

login_error

tip

chunjun的connector更换过之后，需要重启Taier和Flink Session

数据同步运行 session拉启失败

login_error

tip

检查Node Manager 是否健康 以及 是否能手动拉启Flink Session

数据同步运行 数据写入 但是界面指标展示为0

tip

指标数据来源于prometheus地址，指标展示为0的话

  1. 普罗米修斯没有数据
  2. prometheus服务器和Taier服务器、数据库时间不一致,时间间隔取值不对
  3. Chunjun的指标信息推送为异步 数据过少 可能任务已经结束 指标还未推送
  4. Flink组件promgateway或prometheus地址、端口不正确
tip

查看/logs/taier_flink_monitor.log日志 是否有hosts等信息未配置导致

Taier-UI编译失败

tip

手动通过npm等方式编译或者删除Taier-ui下node_modules目录再次编译 npm版本建议v16.16

Taier等插件包编译失败

tip

修改Maven仓库镜像地址为阿里云Maven镜像地址

Taier支持1.16吗

tip

Taier支持高版本的Flink或Spark 需要提交插件开发适配才能支持，最新版本还未发布的话，就是暂未支持

提交sparkjar运行，出现Error: Could not find or load main class org.apache.spark.deploy.yarn.ApplicationMaster

tip

是否正确上传$SPARK_HOME/jars下的包到spark组件sparkYarnArchive配置到HDFS路径下

任务提交到Yarn默认用户为admin 如何调整

tip

application.properties 配置hadoop.user.name=hdfs 重启Taier 更多参数参考 EnvironmentContext类

Yarn或Hdfs测试连通性不过

tip

确认集群对应的计算节点host信息是否在Taier的服务器或镜像配置正确
测试连通性是通过YarnClient和组件进行连接测试，确保网络连接正常

logback类加载不到

tip

参考issue 把logback-core-1.2.11.jar、logback-classic-1.2.11.jar 放入到flinkLibDir目录下 并重新拉起Flink Session

任务提交显示资源不足

tip

确认集群的cpu、内存或flink slot数量是否足够

如果访问页面提示空白

tip

img.png 如果访问页面提示空白 原因为前端dist文件不存在 需要编译后在启动 参考本地启动文档