假如我还有三天假期

n 年不遇的 gap，即将迎来了尾声，写下这篇日记的时候，假期余额已不足3天。 要我评价这 15 天的 gap，我只能说一个字，爽，两个字，真爽。自打毕业后，就没这么爽过了。 前几天还沉浸在离职的伤感中，休息了几天后…

从 StarRocks 离开，再出发

雄关漫道真如铁，而今迈步从头越 写于 2024 年 12 月 20 日礼拜五 last day，StarRocks 杭州办公室的会议室中。 用流水账记录一下这两年发生的事情以及最近离职带来心里上的感触，便于 n 年后的自己再次进行 review…

Apache Parquet Bloom Filter

Bloom Filter 只能处理 =，IN 谓词。 什么是 Bloom Filter? Bloom Filter 是用于判断某个元素是否在一个集合中的数据结构，优点是空间效率和查询时间都非常高，缺点是有一定的误判率。 布隆过滤器是由一个Bit数组和…

Apache Parquet ZoneMap 过滤支持小记

前置背景 ZoneMap Min-max 过滤也叫 ZoneMap 过滤。 一个 ZoneMap 一般包含如下信息： Parquet 的 ZoneMap 含有： ORC 的 ZoneMap 含有： ZoneMap 需要支持处理的表达式 ZoneMap 应用限制 比如 $f(a) = 10$ 这个表…

最近日子过的是一团“浆糊”

写在假期的尾巴，即礼拜天的晚上： 自从工作后，自己貌似逐渐失去了学生时代对代码的激情。不过也不是说就不喜欢代码，只是纯粹到了周六日，啥事不想干，就想爽玩！ 这一年不知道是不是因为 P 事太多了，使得每一个…

Apache Polaris 从入门到精通

Iceberg Rest Catalog 在介绍 Polaris 之前，先介绍下 Iceberg 的 Rest catalog。 Iceberg 支持众多 catalog，比如 Hive、Glue、Hadoop、REST 等等。这里面最为开放的就是 REST catalog。你只需要按照官方的 rest a…

ORC vs Parquet，孰强孰弱？

2024 年的今天，从事实上看，Parquet 貌似已经在这一场数据湖格式之争中胜利了，这从各大表格式的支持程度上可见一般。 Hudi Paimon Iceberg DeltaLake Hive Parquet ✅ ✅ ✅ ✅ ✅ ORC ❌ ✅ ✅ ❌ ✅ 本文存粹按…

Apache ORC 加密解析

Apache ORC 支持对列进行加密，且会对该列的统计信息一起加密。同时加密后的文件，即使 reader 没有正确的 master key 也能够正常的查看，只不过看到的都是错误的，被 mask 后的数据。 但是 ORC 的加密只能支持到列…