-
StarRocks 华为云 OBS 配置
不少用华为云的 OBS 用户,不知道怎么配置 StarRocks 才能正常访问 OBS,这里写一篇教程,简单说一下。 访问华为云有两种办法,一种是走 S3 的兼容 API,另外一种则是通过华为云自己官方的 Hadoop JAR 包进行访问。 如果你创建的是普通的 OBS 桶,那么走 S3 兼容 API 就行了,这个最方便,不需要什么改动。 但是如果你用了华为云的并行文件系统,那么你就会头疼了。你会…- 204
- 0
-
StarRocks 常见疑难杂症
本文简单梳理一下自己在使用 StarRocks 时遇到的一些疑难杂症,仅供参考,本文会持续更新。 问题列表 ERROR 1064 (HY000): BE access S3 file failed, SdkResponseCode=-1, SdkErrorType=99, SdkErrorMessage=curlCode: 77, Problem with the SSL CA cert (pat…- 447
- 0
-
2023年10月1日数据湖测试
OLAP 有 ClickBench,向量化有 VectorDBBench,那么数据湖就不能有一个 DataLakeBench?正可谓知己知彼,方能百战不殆。国庆自己整了一个 TPCH 100G 测试,来测试目前国内几个 AP 系统在湖上的查询能力。 这次只是一个初步摸底,为后续跑通 DataLakeBench 流程做准备。 测试数据集分为 ORC、Parquet 和 Iceberg + Parqu…- 607
- 0
-
记录一次 StarRocks CSV Reader 性能优化过程
这段时间,一位用户间断性的吐槽 StarRocks 有些 SQL 比 Trino、Apache Doris 慢了 n 个数量。起初我们没有太在意,觉得可能是某些 bad case 引起。后面感谢用户的定位,发现了这些查询的数据源大多为 Hive Text 格式(也就是 CSV 格式)。 天将降大任于斯人也,领导便把这个重任交付与我。其实问题一到手,我是非常疑惑的,这个 CSV Reader 在我入…- 663
- 0
-
Trino / StarRocks 阿里云 EMR Kerberos 认证指南
Kerberos 是最为头疼的鉴权配置,但是 Hadoop 全家桶绕不开,只能硬着头皮干了。本文以 Trino 和 StarRocks 为例,讲述如何在非 EMR 的节点上,通过一系列魔幻配置连上阿里云 EMR 的 Kerberos。StarRocks 和 Trino 的配置风格有点不同,Trino 因为在 catalog properties 已经暴露了 Kerberos 相关的配置,所以可以替…- 531
- 0
-
StarRocks 中关于 Hadoop Hedged Read 性能测试
Hedged Read 简介 If a read from a block is slow, start up another parallel, ‘hedged’ read against a different block replica. We then take the result of which ever read returns first (the outstanding rea…- 652
- 0
-
StarRocks 全新云厂商鉴权系统食用指南
随着 StarRocks 3.0 的发布,彻底结束了过去云厂商鉴权参数军阀混战的年代,现在采用统一的全新鉴权参数。而且这些鉴权参数可以使用在任何需要发生鉴权的地方,可以是数据湖的 catalog,也可以是导入导出,甚至还可以在备份中使用,可谓是 anywhere。(数据湖的外部表不支持,因为这个功能即将入土)。 所有鉴权参数的命名采用 云厂商.产品.参数=xxx 的方式进行命名,其中参数中多个单词…- 1.2k
- 0
-
StarRocks perfect IDE development setup (Support IDEA & Clion)
Chinese version: https://www.inlighting.org/archives/setup-perfect-starrocks-dev-env Some people want to become StarRocks contributor, but are troubled by the development environment, so here I write …- 1.2k
- 0
-
StarRocks 完美开发环境搭建
鉴于经常有人问我 StarRocks 的开发环境如何搭建,这里本人写一篇教程,方便大家跟着 step-by-step。 什么叫完美? 支持一键编译 BE 和 FE。 Clion,IDEA 均支持代码跳转。 IDE 全部变量能正常解析,不会出现红线。 Clion 可以正常启用其 analyze 功能。 支持 FE 和 BE 的 Debug。 环境准备 鄙人使用环境是,本地开发一台 Mac,远程一台服…- 4k
- 0
-
StarRocks Elasticsearch 外表查询源码解析
文章随手写的,有需要的自己看看。 ES 相关概念 index:index 在 es 中不是指索引,其对应数据库中的 table 概念。一个 index 含有多个 document,一个 document 是一个 json。 mapping:针对于 index 来说的,指一个 index 的结构,对应数据库中的 table schema。 mapping type:一般也叫 type,在老版 ES …- 1.9k
- 0
-
StarRocks Docker 开发环境搭建指南
因为 StarRocks 源自于 Apache Doris,故 Apache Doris 也可以参考此方案。 StarRocks 分为 FE 和 BE,其中 FE 使用 Java 编写,凭借 JVM,环境其实还算好搭,我个人在 M1 的 MacBook 上也能成功跑起来,具体可以参考 StarRocks FE 在 IDEA 上开发环境设置 这篇文章。但是 BE 就很难了,毕竟 C++ 写的,估计光…- 3.5k
- 0
-
StarRocks FE 在 IDEA 上开发环境设置
这篇文章已经 Deprecated 了,请大家看 https://www.inlighting.org/archives/setup-perfect-starrocks-dev-env 最近在公司看 StarRocks 的 FE 源码,经过自己的摸索,终于能在 M1 MacBook 中直接使用 IDEA 运行和 DEBUG 程序,这能极大的提升生产力,故在本文中进行总结,为后人提供参考。 即使你不…- 2.3k
- 0
❯
搜索
扫码打开当前页
返回顶部
幸运之星正在降临...
点击领取今天的签到奖励!
恭喜!您今天获得了{{mission.data.mission.credit}}积分
我的优惠劵
-
¥优惠劵使用时效:无法使用使用时效:
之前
使用时效:永久有效优惠劵ID:×
没有优惠劵可用!