Kerberos 是最为头疼的鉴权配置，但是 Hadoop 全家桶绕不开，只能硬着头皮干了。本文以 Trino 和 StarRocks 为例，讲述如何在非 EMR 的节点上，通过一系列魔幻配置连上阿里云 EMR 的 Kerberos。StarRocks 和 Trino 的配置风格有点不同，Trino 因为在 catalog properties 已…

最近阅读 HDFS 的源码，看到在 DFSClient 中很多地方用到了 HTrace 这款框架，所以特意学习下。 HTrace 是一款由 Cloudera 开发的分布式追踪框架，在设计上借鉴了 Google 的 Dapper 论文，虽然 HTrace 已经停止了更新，在 Apache 里面孵化失败了，但是它现在任然被 Hadoop 和 HBase…

最近阅读 Hadoop 源码，使用 IDEA 打开 Hadoop，正常导入 maven 依赖后，发现某些类里面总是会报各种类不存在的错误，如下图： 一开始以为是因为我配置了国内 maven 镜像仓库，然后国内镜像仓库里面某些 jar 包没有及时同步，导致的缺失。但是我看了看 maven 中的导入记录，发现并没有报 jar 包找不到的错误。 看了看缺…

本篇文章主要介绍如何搭建完全分布式的 Hadoop 集群，介于 Hadoop 配置复杂，特此写下此篇文章记录。 基础准备 这一次我使用三台服务器组建一个 Hadoop 集群，三台机器我通过虚拟机（Parallel Desktop）模拟，当然大家也可以使用 VirtualBox 或 VMWare 等软件。 三台机器配置信息如下： CPU：双核 内存：…