Database
-
OceanBase Mac/Win Clion 开发环境搭建
这篇文章介绍了如何在 Mac 和 Windows 环境下借助 OrbStack、WSL2 和远端 Ubuntu,为 OceanBase 配置一套可用的 Clion 开发环境。正文先说明目标是让本机只负责写代码与索引,远端负责编译部署,再逐步介绍基础环境准备、OceanBase 编译与部署、Clion 的 Toolchains、CMake、Deployment 和 gcc/clang 头文件配置,以及第三方库 headers 的同步方法,最后补充了直接打开远端工程、调整 Clion JVM 内存和清理 cache 等使用建议。
-
How to deploy StarRocks with IAM enabled in AWS EKS?
This article records a practical walkthrough for deploying StarRocks on AWS EKS with IAM enabled, using CloudShell, eksctl, Helm, and IAM service accounts. It starts from creating an EKS cluster and fixing pod scheduling issues by reducing FE and BE resource requests, then shows how to bind IAM roles to StarRocks pods so they can access services such as S3 and Glue, and finally covers applying the updated Helm values, connecting to the cluster, and cleaning up both the IAM service account and the EKS cluster after the test.
-
StarRocks 华为云 OBS 配置
这篇文章介绍了 StarRocks 访问华为云 OBS 的两套配置思路,并重点解释为什么并行文件系统场景需要 FE 和 BE 分别采用不同的访问实现。正文先说明普通 OBS 桶可以直接通过 S3 兼容 API 配置鉴权和外部表,但路径中含等号时需要额外参数避免 403;随后分析并行文件系统在 list 超过 1000 个文件时的兼容性问题,并给出 FE 使用华为云官方 Hadoop Jar、BE 继续走 S3 兼容 API,以及在 RCFile、Avro 等 JNI 场景下同步 Jar 和 core-site.xml 的完整方案。
-
StarRocks 常见疑难杂症
这篇文章汇总了作者在使用 StarRocks 过程中遇到的一些常见疑难杂症及处理办法。当前内容主要围绕对象存储访问问题展开,包括官方 Release 包在 Ubuntu 上运行时因 SSL 证书路径不一致导致 AWS SDK 报错,以及使用 KS3、OBS 等兼容 S3 的存储时因路径中包含等号触发 403 的兼容性问题,并给出了通过补充证书文件和调整配置项规避这些故障的方法。
-
2023年10月1日数据湖测试
这篇文章记录了一次针对数据湖查询能力的初步摸底测试,比较了 Trino 427、StarRocks 3.1.3 和 Apache Doris 2.0.1.1 在 TPCH 100G 场景下访问 ORC、Parquet 与 Iceberg+Parquet 数据集的表现。正文先说明测试环境、数据格式、软件版本和结果仅供参考的前提,再逐条列出三种格式上 22 条查询的耗时与失败情况,最后总结了 StarRocks 在完整性上能跑通全部 SQL、Doris 在 Iceberg 上仍不成熟,以及当前测试机器规格过高导致部分结果差异不够稳定等观察。
-
记录一次 StarRocks CSV Reader 性能优化过程
这篇文章复盘了一次 StarRocks CSV Reader 的性能优化过程,从用户反馈性能落后于 Trino、Doris 和 ClickHouse 开始,一步步定位热点并做针对性改造。正文先通过基准测试和火焰图发现列名映射、分区列追加和频繁对象分配带来的开销,再分别介绍预先建立列映射、批量追加分区列、复用 fields 容器和减少 Slice 拷贝等优化思路,以及对应 PR 的效果,最后结合 HDFS、OSS 和缓存场景下的对比测试总结出当前瓶颈已经更多转向外部存储访问。
-
StarRocks 中关于 Hadoop Hedged Read 性能测试
这篇文章围绕 StarRocks 接入 HDFS 后启用 Hadoop Hedged Read 的效果做了一轮系统性能测试,重点观察不同线程池大小和超时阈值对查询耗时的影响。正文先介绍 Hedged Read 的工作机制和实验环境,再分别在单线程、慢节点和高并发 CPU 打满等场景下比较多组配置结果,最后结合 DFSClient 的线程池实现分析其共享方式和扩缩容行为,并给出较大的超时阈值配合较宽线程池的推荐配置。
-
StarRocks 全新云厂商鉴权系统食用指南
这篇文章介绍了 StarRocks 3.0 之后统一云厂商鉴权参数体系的使用方法和设计思路,目标是用一套一致的配置支持不同模块访问多种云存储与元数据服务。正文先列出 AWS、GCP、Azure 以及兼容 S3 的国内云厂商所支持的鉴权模式,再以 AWS S3 和 Glue 为例说明新参数在 catalog、导入导出和备份等场景中的配置方式,最后补充 FE 与 BE 在实现上对 Hadoop Jar、S3 SDK 和 JindoSDK 的依赖差异,以及现阶段鉴权参数校验和报错定位上的不足。
-
StarRocks perfect IDE development setup (Support IDEA & Clion)
This article provides an English guide for setting up a workable StarRocks development environment with both IDEA and Clion, aiming to let contributors write code on a local MacBook while compiling and debugging on a remote Ubuntu server. It walks through local and remote dependency setup, the first full build of StarRocks, FE development and remote debug in IDEA, and BE development in Clion with remote toolchain, deployment mapping, generated source handling, and GDB-based debugging, so that FE and BE can both be developed with normal code navigation and analysis support.
-
StarRocks 完美开发环境搭建
这篇文章给出了一套面向 StarRocks 3.4 的完整开发环境搭建方案,目标是在 Mac 本地写代码、远程 Ubuntu 服务器负责编译和调试的前提下,同时满足 FE、BE 的编译、跳转和 Debug 需求。正文先说明本地与服务器的依赖准备、`thirdparty` 的获取方式和一键编译流程,再分别介绍 FE 在 IDEA 中的本地与远程 Debug 配置,以及 BE 在 Clion 中的远程 Toolchain、Deployment、CMake 和环境变量设置,最后补充了使用 gdb、LLDB 调试 BE 的方法和一些实际开发中的注意事项。