RLE 编码在 Apache ORC 中的实现

最近刚学习了 Zigzag（浅谈 Apache ORC 之 Decimal 存储），那就干脆趁热打铁，再学一下 Apache ORC 里面的 RLE 吧。 RLE（Run Length Encoding） 说说简单，比如 [1, 1, 1, 1] 四个 int32，本来需要 4 * 4 = 16 by…

浅谈 Apache ORC 之 Decimal 存储

Apache ORC 官方文档用一句话轻描淡写了 Decimal 的存储，但这句话让我这个 CRUD Boy 看的好苦。 Decimal was introduced in Hive 0.11 with infinite precision (the total number of digits). In Hive 0.13, the …

C++ 函数虚表 Virtual Table

之前老是搞不明白这个八股，后面有幸看到 The virtual table 这篇文章，终于搞明白了，特此记录一下。 C++ 标准从来没有规定过如何实现虚函数，都是由编译器自行实现。 Virtual Table 实现 C++ 实现虚函数都是通过 …

自适应 Cache 之 Starburst Warp Speed

A long time ago in a galaxy far，far away。Lake is Lake，Warehouse is Warehouse。不知道什么时候，搞 Lake 的野心开始膨胀，想要干一部分 Warehouse 的活。但是他们又有自知之明，知道自己不能 100% 取代 Ware…

浅谈 HDFS 慢节点的解决方案

这段时间在和客户一起优化查询慢的问题，发现大量 SQL的查询性能不达标是因为 HDFS 慢节点的问题。有时候整个 IO 性能会差到，拉 200KB 的数据能花 1分钟，这直接导致一个 OLAP 数据库的性能和 Hive 差不多。 但是…

StarRocks 华为云 OBS 配置

不少用华为云的 OBS 用户，不知道怎么配置 StarRocks 才能正常访问 OBS，这里写一篇教程，简单说一下。 访问华为云有两种办法，一种是走 S3 的兼容 API，另外一种则是通过华为云自己官方的 Hadoop JAR 包进行访问。…

Spark-SQL 有用的 SQL

我发现自己每次用 Spark 造 Iceberg 表都要耗费老大的劲，官方文档总是没有一个现成的 Demo，网上也搜索不到，全靠自己琢磨。故在这里记录一下，顺带帮助一下可能需要的人。 本地 Iceberg Spark-SQL 启动 Iceberg：…

HDFS Hedged Read 的利弊分析

鄙人在之前一篇文章中，简单的介绍了将 Hedged Read 引入 StarRocks 的效果，见 StarRocks 中关于 Hadoop Hedged Read 性能测试 这篇文章。当时得出来的结论是在存在慢节点的情况下，hedged read 一定是正优化的。…

StarRocks 常见疑难杂症

本文简单梳理一下自己在使用 StarRocks 时遇到的一些疑难杂症，仅供参考，本文会持续更新。 问题列表 ERROR 1064 (HY000): BE access S3 file failed, SdkResponseCode=-1, SdkErrorType=99, SdkErrorMessage=curlC…

2023年10月1日数据湖测试

OLAP 有 ClickBench，向量化有 VectorDBBench，那么数据湖就不能有一个 DataLakeBench？正可谓知己知彼，方能百战不殆。国庆自己整了一个 TPCH 100G 测试，来测试目前国内几个 AP 系统在湖上的查询能力。 这次只是…