记录一次 StarRocks CSV Reader 性能优化过程
这段时间，一位用户间断性的吐槽 StarRocks 有些 SQL 比 Trino、Apache Doris 慢了 n 个数量。起初我们没有太在意，觉得可能是某些 bad case 引起。后面感谢用户的定位，发现了这些查询的数据源大多为 Hive Text 格…
沧海月明
“This is the way”
沧海月明
“This is the way”
Trino / StarRocks 阿里云 EMR Kerberos 认证指南
Kerberos 是最为头疼的鉴权配置，但是 Hadoop 全家桶绕不开，只能硬着头皮干了。本文以 Trino 和 StarRocks 为例，讲述如何在非 EMR 的节点上，通过一系列魔幻配置连上阿里云 EMR 的 Kerberos。StarRocks 和 Trino …
StarRocks 中关于 Hadoop Hedged Read 性能测试
Hedged Read 简介 If a read from a block is slow, start up another parallel, ‘hedged’ read against a different block replica. We then take the result of which ever read returns first (the outstanding …
618 之我的刀把金鱼缸主机
自己一直惺惺念念想拥有一台优雅的、强劲的台式机，终于在今年的 618，组上了一台艺术品，废话不多说，先上图： 机箱特意选了一个乔思伯 TK-1 金鱼缸机箱，侧弯的玻璃能够完美的展现机箱内部，而且机箱相对小巧一点…
StarRocks 全新云厂商鉴权系统食用指南
随着 StarRocks 3.0 的发布，彻底结束了过去云厂商鉴权参数军阀混战的年代，现在采用统一的全新鉴权参数。而且这些鉴权参数可以使用在任何需要发生鉴权的地方，可以是数据湖的 catalog，也可以是导入导出，甚至还可…
云计算新人之公有云 IAM
本篇文章简单的说下目前公有云厂商的 IAM 机制，以全球最大的三个云厂商为例（AWS，Azure 和 GCP），在说明的过程顺带浅谈一下它们家存储产品（也就是 S3，Azure Blob Storage，和 Google Cloud Storage），毕竟这…
博客最近老挂
今天打开博客，又挂了，距离上一次挂差不多有一礼拜，我开始有点警觉了！ 在过去的 n 年当中，我的博客从来没有挂过，我也从来不会考虑这个问题。直到一礼拜前，一个用户发了一封邮件告诉我的博客挂了，我才第一次…
TinyKV Project4 Transactions
这一节实现的事务本应该需要和 TinySQL 配合使用，但是因为我们只有实现 TinyKV 部分，所以有些地方看起来有些割裂。 Percolator 首先说明的一点是，Percolator 基于单行事务实现了多行事务，Google BigTable 能够…
TinyKV Project3 MultiRaftKV
这一节中，最难的就是 Project 3B，引无数英雄竞折腰！！当然撑过 3B，你就解放了。 Membership Change 在 Project3A 中我们需要实现 Leader Transfer 和新增或移除一个 Region 里面的节点，这里并不是很难但是你要…
TinyKV Project2 RaftKV
这一节需要我们实现 Raft，TinyKV Raft 这部分很多都是抄 Etcd 的 Raft 模块。你可以注意到连测试用例都很像。所以这一节我拿到手就会做啊，首先去 Etcd clone 一份源码。我抄的是 Etcd 3.5.1 版本，也就是目前最新…