C++ 函数虚表 Virtual Table

之前老是搞不明白这个八股，后面有幸看到 The virtual table 这篇文章，终于搞明白了，特此记录一下。 C++ 标准从来没有规定过如何实现虚函数，都是由编译器自行实现。 Virtual Table 实现 C++ 实现虚函数都是通过 …

自适应 Cache 之 Starburst Warp Speed

A long time ago in a galaxy far，far away。Lake is Lake，Warehouse is Warehouse。不知道什么时候，搞 Lake 的野心开始膨胀，想要干一部分 Warehouse 的活。但是他们又有自知之明，知道自己不能 100% 取代 Ware…

浅谈 HDFS 慢节点的解决方案

这段时间在和客户一起优化查询慢的问题，发现大量 SQL的查询性能不达标是因为 HDFS 慢节点的问题。有时候整个 IO 性能会差到，拉 200KB 的数据能花 1分钟，这直接导致一个 OLAP 数据库的性能和 Hive 差不多。 但是…

StarRocks 华为云 OBS 配置

不少用华为云的 OBS 用户，不知道怎么配置 StarRocks 才能正常访问 OBS，这里写一篇教程，简单说一下。 访问华为云有两种办法，一种是走 S3 的兼容 API，另外一种则是通过华为云自己官方的 Hadoop JAR 包进行访问。…

Spark-SQL 有用的 SQL

我发现自己每次用 Spark 造 Iceberg 表都要耗费老大的劲，官方文档总是没有一个现成的 Demo，网上也搜索不到，全靠自己琢磨。故在这里记录一下，顺带帮助一下可能需要的人。 本地 Iceberg Spark-SQL 启动 Iceberg：…

HDFS Hedged Read 的利弊分析

鄙人在之前一篇文章中，简单的介绍了将 Hedged Read 引入 StarRocks 的效果，见 StarRocks 中关于 Hadoop Hedged Read 性能测试 这篇文章。当时得出来的结论是在存在慢节点的情况下，hedged read 一定是正优化的。…

StarRocks 常见疑难杂症

本文简单梳理一下自己在使用 StarRocks 时遇到的一些疑难杂症，仅供参考，本文会持续更新。 问题列表 ERROR 1064 (HY000): BE access S3 file failed, SdkResponseCode=-1, SdkErrorType=99, SdkErrorMessage=curlC…

2023年10月1日数据湖测试

OLAP 有 ClickBench，向量化有 VectorDBBench，那么数据湖就不能有一个 DataLakeBench？正可谓知己知彼，方能百战不殆。国庆自己整了一个 TPCH 100G 测试，来测试目前国内几个 AP 系统在湖上的查询能力。 这次只是…

Trino / StarRocks 阿里云 EMR Kerberos 认证指南

Kerberos 是最为头疼的鉴权配置，但是 Hadoop 全家桶绕不开，只能硬着头皮干了。本文以 Trino 和 StarRocks 为例，讲述如何在非 EMR 的节点上，通过一系列魔幻配置连上阿里云 EMR 的 Kerberos。StarRocks 和 Trino …