You need to enable JavaScript to run this app.
导航
常见问题
最近更新时间:2024.05.06 16:33:24首次发布时间:2024.05.06 16:33:24

spark提交任务找不到对应jar,报错ClassNotFoundException。

  • 现象描述:任务依赖jar复制到/opt/emr/current/spark/jars/,但还是报错ClassNotFoundException。

  • 原因剖析:集群默认配置了spark.yarn.archive,会读hdfs上的tar.gz包hdfs://master-1-1.emr-xxx.cn-beijing.emr-volces.com:8020/user/spark/spark-jars.tar.gz

  • 解决方案:

    • 方法1 将spark.yarn.archive的value置空,此时将读/opt/emr/current/spark/jars/目录下的jars。

    • 方法2 压缩spark-jars.tar.gz包,并替换hdfs上的目录,压缩方式:cd /opt/emr/current/spark/jars/ && tar -zcvf /opt/new/spark-jars.tar.gz --exclude=spark-jars.tar.gz \*