You need to enable JavaScript to run this app.
导航
常见问题
最近更新时间:2024.05.13 15:49:28首次发布时间:2024.05.13 15:49:28

1 SQL解析失败常见原因

1.1 语法错误(PARSE_SYNTAX_ERROR)

[PARSE_SYNTAX_ERROR] Syntax error at or near end of input: missing 'FUNCTIONS'.(line 1, pos 13) == SQL == show database -------------^^^

该提示代表您编写的SQL中存在语法问题,您可参考报错提示中的line和pos信息,定位到发生语法错误的SQL。

1.2 库表不存在(TABLE_OR_VIEW_NOT_FOUND)

[TABLE_OR_VIEW_NOT_FOUND] The table or view nihao cannot be found. Verify the spelling and correctness of the schema and catalog. If you did not qualify the name with a schema, verify the current_schema() output, or qualify the name with the correct schema and catalog. To tolerate the error on drop use DROP VIEW IF EXISTS or DROP TABLE IF EXISTS.; line 1 pos 14

该提示代表您SQL中访问的库表,在元数据中并不存在,请检查相应库表名称。

1.3 访问库表无权限(Permission denied)

Permission denied: user [22xxxxx] does not have privilege in: [Resource{resourceScope='TABLE', catalogName='hive', schemaName='grant_to_tw_test', tableName='tbl1'}], action:[SELECT]

该提示代表您访问了无权限的库表。上述例子中,代表您无grant_to_tw_``test 库下 tb``l1 表的 查询(SELECT)权限,请前往LAS Formation 进行权限授予。

1.4 参数设置错误

Dynamic partition strict mode requires at least one static partition column. To turn this off set hive.exec.dynamic.partition.mode=nonstrict

Spark SQL中,存在一些默认的限制,提示您的SQL可能会导致大量的资源使用。例如上述的例子代表您正在使用动态分区插入,在分区较多的情况,可能会导致任务运行缓慢,您可以按照提示,在SQL最前面加上:

set hive.exec.dynamic.partition.mode=nonstrict;

即可关闭该限制。

2 任务失败如何排查

通过日志,我们可以拿到作业id:

在EMR Serverless Spark作业管理处,输入作业id,查询当前作业的详细信息
点击日志,查看日志报错

在日志中,则会展示当前作业最直观的报错信息,您可以根据日志完成作业失败原因排查

3 查询大小限制

当前控制台查询结果默认限制结果条数不能超过100万条,如果您有更高的查询结果行数要求,请提交工单联系我们。