-
-
C++ 函数虚表 Virtual Table
之前老是搞不明白这个八股,后面有幸看到 The virtual table 这篇文章,终于搞明白了,特此记录一下。 C++ 标准从来没有规定过如何实现虚函数,都是由编译器自行实现。 Virtual Table 实现 C++ 实现虚函数都是通过 virtual table 的方式,virtual table 是一个维护函数映射的表。虽然虚函数表的具体实现是编译器决定的(即不同的编译器可能有不同的实现…- 29
- 0
-
自适应 Cache 之 Starburst Warp Speed
Starburst 的 Warp Speed 技术利用机器学习算法,为 Trino 查询自动预热数据,显著提升性能。本文通过对 Warp Speed 架构的解析,来说明如何在 Lakehouse 中做好 cache 这个特性。- 46
- 0
-
-
-
Spark-SQL 有用的SQL
我发现自己每次用 Spark 造Iceberg表都要耗费老大的劲,官方文档总是没有一个现成的Demo,网上也搜索不到,全靠自己琢磨。故在这里记录一下,顺带帮助一下可能需要的人。 Iceberg Spark-SQL 启动 Iceberg: ./bin/spark-sql --packages org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.…- 569
- 0
-
HDFS Hedged Read 的利弊分析
HDFS Hedged read 是一种优化 HDFS 客户端读取文件性能的方法。它会在存在慢节点的情况下,通过申请多个内存来提高读取性能。但是,由于 Hedged read 会频繁申请内存,可能会导致内存消耗过大,从而影响系统性能。因此,HDFS 并没有默认开启 Hedged read 功能。在使用 Hedged read 时,需要注意内存消耗的问题,以避免对系统性能造成负面影响。- 398
- 0
-
StarRocks 常见疑难杂症
本文简单梳理一下自己在使用 StarRocks 时遇到的一些疑难杂症,仅供参考,本文会持续更新。 问题列表 ERROR 1064 (HY000): BE access S3 file failed, SdkResponseCode=-1, SdkErrorType=99, SdkErrorMessage=curlCode: 77, Problem with the SSL CA cert (pat…- 563
- 0
-
2023年10月1日数据湖测试
OLAP 有 ClickBench,向量化有 VectorDBBench,那么数据湖就不能有一个 DataLakeBench?正可谓知己知彼,方能百战不殆。国庆自己整了一个 TPCH 100G 测试,来测试目前国内几个 AP 系统在湖上的查询能力。 这次只是一个初步摸底,为后续跑通 DataLakeBench 流程做准备。 测试数据集分为 ORC、Parquet 和 Iceberg + Parqu…- 670
- 0
-
记录一次 StarRocks CSV Reader 性能优化过程
这段时间,一位用户间断性的吐槽 StarRocks 有些 SQL 比 Trino、Apache Doris 慢了 n 个数量。起初我们没有太在意,觉得可能是某些 bad case 引起。后面感谢用户的定位,发现了这些查询的数据源大多为 Hive Text 格式(也就是 CSV 格式)。 天将降大任于斯人也,领导便把这个重任交付与我。其实问题一到手,我是非常疑惑的,这个 CSV Reader 在我入…- 701
- 0
-
Trino / StarRocks 阿里云 EMR Kerberos 认证指南
Kerberos 是最为头疼的鉴权配置,但是 Hadoop 全家桶绕不开,只能硬着头皮干了。本文以 Trino 和 StarRocks 为例,讲述如何在非 EMR 的节点上,通过一系列魔幻配置连上阿里云 EMR 的 Kerberos。StarRocks 和 Trino 的配置风格有点不同,Trino 因为在 catalog properties 已经暴露了 Kerberos 相关的配置,所以可以替…- 558
- 0
-
StarRocks 中关于 Hadoop Hedged Read 性能测试
Hedged Read 简介 If a read from a block is slow, start up another parallel, ‘hedged’ read against a different block replica. We then take the result of which ever read returns first (the outstanding rea…- 666
- 0
-
618 之我的刀把金鱼缸主机
自己一直惺惺念念想拥有一台优雅的、强劲的台式机,终于在今年的 618,组上了一台艺术品,废话不多说,先上图: 侧颜照 机箱特意选了一个乔思伯 TK-1 金鱼缸机箱,侧弯的玻璃能够完美的展现机箱内部,而且机箱相对小巧一点,放在桌子上面不会占用过多的位置。 起初有点想买 4060Ti 的显卡,毕竟价格便宜,功耗也低,但是想想自己都是 4K 的屏幕,最后还是选择了 4070。 买了海景房的机箱怎么能不玩…- 826
- 0
-
StarRocks 全新云厂商鉴权系统食用指南
随着 StarRocks 3.0 的发布,彻底结束了过去云厂商鉴权参数军阀混战的年代,现在采用统一的全新鉴权参数。而且这些鉴权参数可以使用在任何需要发生鉴权的地方,可以是数据湖的 catalog,也可以是导入导出,甚至还可以在备份中使用,可谓是 anywhere。(数据湖的外部表不支持,因为这个功能即将入土)。 所有鉴权参数的命名采用 云厂商.产品.参数=xxx 的方式进行命名,其中参数中多个单词…- 1.3k
- 0
-
云计算新人之公有云 IAM
本篇文章简单的说下目前公有云厂商的 IAM 机制,以全球最大的三个云厂商为例(AWS,Azure 和 GCP),在说明的过程顺带浅谈一下它们家存储产品(也就是 S3,Azure Blob Storage,和 Google Cloud Storage),毕竟这玩意是我们和 IAM 打交道最多的产品。 IAM 的作用 IAM,Identity and Access Management,字如其名,就是…- 1k
- 0
-
TinyKV Project4 Transactions
这一节实现的事务本应该需要和 TinySQL 配合使用,但是因为我们只有实现 TinyKV 部分,所以有些地方看起来有些割裂。 Percolator 首先说明的一点是,Percolator 基于单行事务实现了多行事务,Google BigTable 能够提供单行事务。在这里 TinyKV 也会通过锁来保证单行数据的原子性(但是单行事务好像没有,可能要结合 TinySQL)。Percolator 这…- 13.7k
- 0
-
TinyKV Project3 MultiRaftKV
这一节中,最难的就是 Project 3B,引无数英雄竞折腰!!当然撑过 3B,你就解放了。 Membership Change 在 Project3A 中我们需要实现 Leader Transfer 和新增或移除一个 Region 里面的节点,这里并不是很难但是你要处理好细节,不然就是 BUG 满天飞。 Leader Transfer Leader transfer 会作为一条 Admin 指令… -
TinyKV Project2 RaftKV
这一节需要我们实现 Raft,TinyKV Raft 这部分很多都是抄 Etcd 的 Raft 模块。你可以注意到连测试用例都很像。所以这一节我拿到手就会做啊,首先去 Etcd clone 一份源码。我抄的是 Etcd 3.5.1 版本,也就是目前最新版。 TinyKV 中的 Raft 和 6.824 中的 Raft 有很大的不同。这里将整个 Raft 设计为一个状态机,从一端输入消息,从另一端输…- 1.5k
- 0
-
TinyKV Project1 Standalone KV
这一节实验要求我们基于 badger 实现一个支持 Column Family 的 KV 数据库。 Column Family,也叫 CF,这个概念从 HBase 中来,就是将多个列合并为一个CF进行管理。这样读取一行数据时,你可以按照 CF 加载列,不需要加载所有列(通常同一个CF的列会保存在同一个文件中,所以这样有很高的效率)。此外因为同一列的数据格式相同,你可以针对某种格式采用高效的压缩算法…- 1.2k
- 0
-
ChatGPT 牛逼,我准备下岗了
最近看一段 CSV 代码申请大量内存的问题,看了半天没有思绪,就想尝试刁难一下 ChatGPT,结果它还真答得有模有样,虽然并没有解决问题,不过确实牛逼 plus。 看到答案,我惊了,说实话我都没有它考虑的那么周到。。。。。。- 1.2k
- 0
-
StarRocks perfect IDE development setup (Support IDEA & Clion)
Chinese version: https://www.inlighting.org/archives/setup-perfect-starrocks-dev-env Some people want to become StarRocks contributor, but are troubled by the development environment, so here I write …- 1.2k
- 0
-
个人使用的 Shell 环境搭建
自从用了远程开发机,天天和命令行打交道,一套属于自己的 shell 配置已经刻不容缓,否则工作效率太低了。 现在 我自己搞了一个 dotfiles 仓库,专门用来一键初始化机器。 git clone https://github.com/Smith-Cruise/dotfiles.git 然后执行如下命令: # install prepared software bash install.sh #…- 1.3k
- 0
-
StarRocks 完美开发环境搭建
鉴于经常有人问我 StarRocks 的开发环境如何搭建,这里本人写一篇教程,方便大家跟着 step-by-step。 什么叫完美? 支持一键编译 BE 和 FE。 Clion,IDEA 均支持代码跳转。 IDE 全部变量能正常解析,不会出现红线。 Clion 可以正常启用其 analyze 功能。 支持 FE 和 BE 的 Debug。 环境准备 鄙人使用环境是,本地开发一台 Mac,远程一台服…- 4.2k
- 0
❯
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!