StarRocks

This article records a practical walkthrough for deploying StarRocks on AWS EKS with IAM enabled, using CloudShell, eksctl, Helm, and IAM service accounts. It starts from creating an EKS cluster and fixing pod scheduling issues by reducing FE and BE resource requests, then shows how to bind IAM roles to StarRocks pods so they can access services such as S3 and Glue, and finally covers applying the updated Helm values, connecting to the cluster, and cleaning up both the IAM service account and the EKS cluster after the test.

这篇文章介绍了 StarRocks 访问华为云 OBS 的两套配置思路，并重点解释为什么并行文件系统场景需要 FE 和 BE 分别采用不同的访问实现。正文先说明普通 OBS 桶可以直接通过 S3 兼容 API 配置鉴权和外部表，但路径中含等号时需要额外参数避免 403；随后分析并行文件系统在 list 超过 1000 个文件时的兼容性问题，并给出 FE 使用华为云官方 Hadoop Jar、BE 继续走 S3 兼容 API，以及在 RCFile、Avro 等 JNI 场景下同步 Jar 和 core-site.xml 的完整方案。

这篇文章汇总了作者在使用 StarRocks 过程中遇到的一些常见疑难杂症及处理办法。当前内容主要围绕对象存储访问问题展开，包括官方 Release 包在 Ubuntu 上运行时因 SSL 证书路径不一致导致 AWS SDK 报错，以及使用 KS3、OBS 等兼容 S3 的存储时因路径中包含等号触发 403 的兼容性问题，并给出了通过补充证书文件和调整配置项规避这些故障的方法。

这篇文章复盘了一次 StarRocks CSV Reader 的性能优化过程，从用户反馈性能落后于 Trino、Doris 和 ClickHouse 开始，一步步定位热点并做针对性改造。正文先通过基准测试和火焰图发现列名映射、分区列追加和频繁对象分配带来的开销，再分别介绍预先建立列映射、批量追加分区列、复用 fields 容器和减少 Slice 拷贝等优化思路，以及对应 PR 的效果，最后结合 HDFS、OSS 和缓存场景下的对比测试总结出当前瓶颈已经更多转向外部存储访问。

这篇文章围绕 StarRocks 接入 HDFS 后启用 Hadoop Hedged Read 的效果做了一轮系统性能测试，重点观察不同线程池大小和超时阈值对查询耗时的影响。正文先介绍 Hedged Read 的工作机制和实验环境，再分别在单线程、慢节点和高并发 CPU 打满等场景下比较多组配置结果，最后结合 DFSClient 的线程池实现分析其共享方式和扩缩容行为，并给出较大的超时阈值配合较宽线程池的推荐配置。

这篇文章介绍了 StarRocks 3.0 之后统一云厂商鉴权参数体系的使用方法和设计思路，目标是用一套一致的配置支持不同模块访问多种云存储与元数据服务。正文先列出 AWS、GCP、Azure 以及兼容 S3 的国内云厂商所支持的鉴权模式，再以 AWS S3 和 Glue 为例说明新参数在 catalog、导入导出和备份等场景中的配置方式，最后补充 FE 与 BE 在实现上对 Hadoop Jar、S3 SDK 和 JindoSDK 的依赖差异，以及现阶段鉴权参数校验和报错定位上的不足。

This article provides an English guide for setting up a workable StarRocks development environment with both IDEA and Clion, aiming to let contributors write code on a local MacBook while compiling and debugging on a remote Ubuntu server. It walks through local and remote dependency setup, the first full build of StarRocks, FE development and remote debug in IDEA, and BE development in Clion with remote toolchain, deployment mapping, generated source handling, and GDB-based debugging, so that FE and BE can both be developed with normal code navigation and analysis support.

这篇文章给出了一套面向 StarRocks 3.4 的完整开发环境搭建方案，目标是在 Mac 本地写代码、远程 Ubuntu 服务器负责编译和调试的前提下，同时满足 FE、BE 的编译、跳转和 Debug 需求。正文先说明本地与服务器的依赖准备、`thirdparty` 的获取方式和一键编译流程，再分别介绍 FE 在 IDEA 中的本地与远程 Debug 配置，以及 BE 在 Clion 中的远程 Toolchain、Deployment、CMake 和环境变量设置，最后补充了使用 gdb、LLDB 调试 BE 的方法和一些实际开发中的注意事项。

这篇文章从源码角度梳理了 StarRocks 查询 Elasticsearch 外表的整体流程。正文先补充 index、mapping、doc_values、`_source`、text 和 keyword 等 ES 基础概念，再说明创建外表后 FE 如何通过 `EsRepository`、`EsMetaStateTracker` 定期同步版本、mapping 和 shard 元信息，并指出 shard 地址选择上的一个已知问题；后半部分继续分析 FE 侧 `EsScanNode` 如何决定 doc_values 下推与分片分配，以及 BE 侧 `ESDataSource`、`ESScanReader`、`ScrollParser` 如何生成 Query DSL、执行 scroll 读取并把返回结果填充到 chunk 中。

这篇文章介绍了如何借助 Docker 为 StarRocks 构建统一的开发环境，重点解决 BE 本地编译复杂、依赖沉重以及远程调试不便的问题。正文先分析这套方案在 thirdparty 编译、链接速度、SSH 远程开发、GDB 调试和端口隔离上的优势与限制，再说明镜像、目录映射和容器启动方式，随后分别比较 VS Code、Jetbrains Gateway 和代码同步式远程开发的使用体验，并给出 FE 与 BE 的远程 Debug 配置方法和一些实际开发中的注意事项。