沧海月明

Big Data

Apache ORC 加密解析

Apache ORC 支持对列进行加密，且会对该列的统计信息一起加密。同时加密后的文件，即使 reader 没有正确的 master key 也能够正常的查看，只不过看到的都是错误的，被 mask 后的数据。但是 ORC 的加密只能支持到列，无法精确到复杂类型的子列。如果一个 struct 列是加密列，那么它所有的子列也都会被用相同的密钥加密。 ORC 的密钥分为两个层级，分别是 LocalKe…...
- Smith
- 7月7日
- 0
- 29
Big Data

RLE 编码在 Apache ORC 中的实现

介绍 Apache ORC 中 RLE v1 和 RLE v2 的具体算法实现。...
- Smith
- 6月8日
- 0
- 134
Big Data

浅谈 Apache ORC 之 Decimal 存储

Decimal 在 Apache ORC 存储主要是依赖 zigzag 编码，zigzag 编码能有效的压缩绝对值小的数字。...
- Smith
- 5月5日
- 1
- 174
C++

C++ 函数虚表 Virtual Table

之前老是搞不明白这个八股，后面有幸看到 The virtual table 这篇文章，终于搞明白了，特此记录一下。 C++ 标准从来没有规定过如何实现虚函数，都是由编译器自行实现。 Virtual Table 实现 C++ 实现虚函数都是通过 virtual table 的方式，virtual table 是一个维护函数映射的表。虽然虚函数表的具体实现是编译器决定的（即不同的编译器可能有不同的实现…...
- Smith
- 5月3日
- 0
- 196
Lakehouse

自适应 Cache 之 Starburst Warp Speed

Starburst 的 Warp Speed 技术利用机器学习算法，为 Trino 查询自动预热数据，显著提升性能。本文通过对 Warp Speed 架构的解析，来说明如何在 Lakehouse 中做好 cache 这个特性。...
- Smith
- 4月21日
- 0
- 140
Big Data

浅谈 HDFS 慢节点的解决方案

在优化 HDFS 查询性能时，慢节点问题会显著影响 SQL 的查询效率。本文浅谈了目前解决 HDFS 慢节点的几种思路。...
- Smith
- 3月25日
- 3
- 592
StarRocks

StarRocks 华为云 OBS 配置

介绍如何正确配置 StarRocks，使其能够正常访问华为云的 OBS 和并行文件系统。...
- Smith
- 3月2日
- 5
- 580
Big Data

Spark-SQL 有用的SQL

我发现自己每次用 Spark 造Iceberg表都要耗费老大的劲，官方文档总是没有一个现成的Demo，网上也搜索不到，全靠自己琢磨。故在这里记录一下，顺带帮助一下可能需要的人。 Iceberg Spark-SQL 启动 Iceberg： ./bin/spark-sql --packages org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.…...
- Smith
- 23年11月12日
- 3
- 827