Spark

  • Spark-SQL 有用的 SQL

    这篇文章是一份偏备忘录性质的 Spark-SQL 实用 SQL 记录,主要解决本地创建 Iceberg 表以及连接 Hive Metastore 时缺少现成示例的问题。正文给出了 Spark-SQL 启动 Iceberg 所需的 package 依赖写法、本地创建 Iceberg V2 表的方法,以及连接 HMS 时的相关配置,同时补充了在网络较差场景下将依赖 Jar 直接放入 Spark 目录以绕过在线下载的做法。

    2023年11月12日
    2.9K3