-
浅谈 HDFS 慢节点的解决方案
这段时间在和客户一起优化查询慢的问题，发现大量 SQL的查询性能不达标是因为 HDFS 慢节点的问题。有时候整个 IO 性能会差到，拉 200KB 的数据能花 1分钟，这直接导致一个 OLAP 数据库的性能和 Hive 差不多。 但是有一个奇怪的现象，客户用 Presto 查并没有这个问题，只有用 StarRocks 查询才会遇到，而且整个查询耗时忽快忽慢。当客户事后去复盘慢查询的 SQL时，又基…- 187
- 0
-
StarRocks 华为云 OBS 配置
不少用华为云的 OBS 用户，不知道怎么配置 StarRocks 才能正常访问 OBS，这里写一篇教程，简单说一下。 访问华为云有两种办法，一种是走 S3 的兼容 API，另外一种则是通过华为云自己官方的 Hadoop JAR 包进行访问。 如果你创建的是普通的 OBS 桶，那么走 S3 兼容 API 就行了，这个最方便，不需要什么改动。 但是如果你用了华为云的并行文件系统，那么你就会头疼了。你会…- 212
- 0
-
Spark-SQL 有用的SQL
我发现自己每次用 Spark 造Iceberg表都要耗费老大的劲，官方文档总是没有一个现成的Demo，网上也搜索不到，全靠自己琢磨。故在这里记录一下，顺带帮助一下可能需要的人。 Iceberg Spark-SQL 启动 Iceberg： ./bin/spark-sql --packages org.apache.iceberg:iceberg-spark-runtime-3.5_2.12:1.4.…- 499
- 0
-
HDFS Hedged Read 的利弊分析
HDFS Hedged read 是一种优化 HDFS 客户端读取文件性能的方法。它会在存在慢节点的情况下，通过申请多个内存来提高读取性能。但是，由于 Hedged read 会频繁申请内存，可能会导致内存消耗过大，从而影响系统性能。因此，HDFS 并没有默认开启 Hedged read 功能。在使用 Hedged read 时，需要注意内存消耗的问题，以避免对系统性能造成负面影响。- 353
- 0
-
StarRocks 常见疑难杂症
本文简单梳理一下自己在使用 StarRocks 时遇到的一些疑难杂症，仅供参考，本文会持续更新。 问题列表 ERROR 1064 (HY000): BE access S3 file failed, SdkResponseCode=-1, SdkErrorType=99, SdkErrorMessage=curlCode: 77, Problem with the SSL CA cert (pat…- 463
- 0
-
2023年10月1日数据湖测试
OLAP 有 ClickBench，向量化有 VectorDBBench，那么数据湖就不能有一个 DataLakeBench？正可谓知己知彼，方能百战不殆。国庆自己整了一个 TPCH 100G 测试，来测试目前国内几个 AP 系统在湖上的查询能力。 这次只是一个初步摸底，为后续跑通 DataLakeBench 流程做准备。 测试数据集分为 ORC、Parquet 和 Iceberg + Parqu…- 612
- 0
-
记录一次 StarRocks CSV Reader 性能优化过程
这段时间，一位用户间断性的吐槽 StarRocks 有些 SQL 比 Trino、Apache Doris 慢了 n 个数量。起初我们没有太在意，觉得可能是某些 bad case 引起。后面感谢用户的定位，发现了这些查询的数据源大多为 Hive Text 格式（也就是 CSV 格式）。 天将降大任于斯人也，领导便把这个重任交付与我。其实问题一到手，我是非常疑惑的，这个 CSV Reader 在我入…- 665
- 0
-
Trino / StarRocks 阿里云 EMR Kerberos 认证指南
Kerberos 是最为头疼的鉴权配置，但是 Hadoop 全家桶绕不开，只能硬着头皮干了。本文以 Trino 和 StarRocks 为例，讲述如何在非 EMR 的节点上，通过一系列魔幻配置连上阿里云 EMR 的 Kerberos。StarRocks 和 Trino 的配置风格有点不同，Trino 因为在 catalog properties 已经暴露了 Kerberos 相关的配置，所以可以替…- 540
- 0
-
StarRocks 中关于 Hadoop Hedged Read 性能测试
Hedged Read 简介 If a read from a block is slow, start up another parallel, ‘hedged’ read against a different block replica. We then take the result of which ever read returns first (the outstanding rea…- 652
- 0
-
618 之我的刀把金鱼缸主机
自己一直惺惺念念想拥有一台优雅的、强劲的台式机，终于在今年的 618，组上了一台艺术品，废话不多说，先上图： 侧颜照 机箱特意选了一个乔思伯 TK-1 金鱼缸机箱，侧弯的玻璃能够完美的展现机箱内部，而且机箱相对小巧一点，放在桌子上面不会占用过多的位置。 起初有点想买 4060Ti 的显卡，毕竟价格便宜，功耗也低，但是想想自己都是 4K 的屏幕，最后还是选择了 4070。 买了海景房的机箱怎么能不玩…- 788
- 0
-
StarRocks 全新云厂商鉴权系统食用指南
随着 StarRocks 3.0 的发布，彻底结束了过去云厂商鉴权参数军阀混战的年代，现在采用统一的全新鉴权参数。而且这些鉴权参数可以使用在任何需要发生鉴权的地方，可以是数据湖的 catalog，也可以是导入导出，甚至还可以在备份中使用，可谓是 anywhere。（数据湖的外部表不支持，因为这个功能即将入土）。 所有鉴权参数的命名采用 云厂商.产品.参数=xxx 的方式进行命名，其中参数中多个单词…- 1.2k
- 0
-
云计算新人之公有云 IAM
本篇文章简单的说下目前公有云厂商的 IAM 机制，以全球最大的三个云厂商为例（AWS，Azure 和 GCP），在说明的过程顺带浅谈一下它们家存储产品（也就是 S3，Azure Blob Storage，和 Google Cloud Storage），毕竟这玩意是我们和 IAM 打交道最多的产品。 IAM 的作用 IAM，Identity and Access Management，字如其名，就是…- 986
- 0
-
TinyKV Project4 Transactions
这一节实现的事务本应该需要和 TinySQL 配合使用，但是因为我们只有实现 TinyKV 部分，所以有些地方看起来有些割裂。 Percolator 首先说明的一点是，Percolator 基于单行事务实现了多行事务，Google BigTable 能够提供单行事务。在这里 TinyKV 也会通过锁来保证单行数据的原子性（但是单行事务好像没有，可能要结合 TinySQL）。Percolator 这…- 13.7k
- 0
-
TinyKV Project3 MultiRaftKV
这一节中，最难的就是 Project 3B，引无数英雄竞折腰！！当然撑过 3B，你就解放了。 Membership Change 在 Project3A 中我们需要实现 Leader Transfer 和新增或移除一个 Region 里面的节点，这里并不是很难但是你要处理好细节，不然就是 BUG 满天飞。 Leader Transfer Leader transfer 会作为一条 Admin 指令… -
TinyKV Project2 RaftKV
这一节需要我们实现 Raft，TinyKV Raft 这部分很多都是抄 Etcd 的 Raft 模块。你可以注意到连测试用例都很像。所以这一节我拿到手就会做啊，首先去 Etcd clone 一份源码。我抄的是 Etcd 3.5.1 版本，也就是目前最新版。 TinyKV 中的 Raft 和 6.824 中的 Raft 有很大的不同。这里将整个 Raft 设计为一个状态机，从一端输入消息，从另一端输…- 1.4k
- 0
-
TinyKV Project1 Standalone KV
这一节实验要求我们基于 badger 实现一个支持 Column Family 的 KV 数据库。 Column Family，也叫 CF，这个概念从 HBase 中来，就是将多个列合并为一个CF进行管理。这样读取一行数据时，你可以按照 CF 加载列，不需要加载所有列（通常同一个CF的列会保存在同一个文件中，所以这样有很高的效率）。此外因为同一列的数据格式相同，你可以针对某种格式采用高效的压缩算法…- 1.2k
- 0
-
ChatGPT 牛逼，我准备下岗了
最近看一段 CSV 代码申请大量内存的问题，看了半天没有思绪，就想尝试刁难一下 ChatGPT，结果它还真答得有模有样，虽然并没有解决问题，不过确实牛逼 plus。 看到答案，我惊了，说实话我都没有它考虑的那么周到。。。。。。- 1.2k
- 0
-
StarRocks perfect IDE development setup (Support IDEA & Clion)
Chinese version: https://www.inlighting.org/archives/setup-perfect-starrocks-dev-env Some people want to become StarRocks contributor, but are troubled by the development environment, so here I write …- 1.2k
- 0
-
个人使用的 Shell 环境搭建
自从用了远程开发机，天天和命令行打交道，一套属于自己的 shell 配置已经刻不容缓，否则工作效率太低了。 现在 我自己搞了一个 dotfiles 仓库，专门用来一键初始化机器。 git clone https://github.com/Smith-Cruise/dotfiles.git 然后执行如下命令： # install prepared software bash install.sh #…- 1.2k
- 0
-
StarRocks 完美开发环境搭建
鉴于经常有人问我 StarRocks 的开发环境如何搭建，这里本人写一篇教程，方便大家跟着 step-by-step。 什么叫完美？ 支持一键编译 BE 和 FE。 Clion，IDEA 均支持代码跳转。 IDE 全部变量能正常解析，不会出现红线。 Clion 可以正常启用其 analyze 功能。 支持 FE 和 BE 的 Debug。 环境准备 鄙人使用环境是，本地开发一台 Mac，远程一台服…- 4k
- 0
-
StarRocks Elasticsearch 外表查询源码解析
文章随手写的，有需要的自己看看。 ES 相关概念 index：index 在 es 中不是指索引，其对应数据库中的 table 概念。一个 index 含有多个 document，一个 document 是一个 json。 mapping：针对于 index 来说的，指一个 index 的结构，对应数据库中的 table schema。 mapping type：一般也叫 type，在老版 ES …- 1.9k
- 0
-
StarRocks Docker 开发环境搭建指南
因为 StarRocks 源自于 Apache Doris，故 Apache Doris 也可以参考此方案。 StarRocks 分为 FE 和 BE，其中 FE 使用 Java 编写，凭借 JVM，环境其实还算好搭，我个人在 M1 的 MacBook 上也能成功跑起来，具体可以参考 StarRocks FE 在 IDEA 上开发环境设置 这篇文章。但是 BE 就很难了，毕竟 C++ 写的，估计光…- 3.5k
- 0
-
StarRocks FE 在 IDEA 上开发环境设置
这篇文章已经 Deprecated 了，请大家看 https://www.inlighting.org/archives/setup-perfect-starrocks-dev-env 最近在公司看 StarRocks 的 FE 源码，经过自己的摸索，终于能在 M1 MacBook 中直接使用 IDEA 运行和 DEBUG 程序，这能极大的提升生产力，故在本文中进行总结，为后人提供参考。 即使你不…- 2.3k
- 0
扫码打开当前页
-
￥优惠劵使用时效：无法使用使用时效：
之前
使用时效：永久有效优惠劵ID：×