StarRocks 常见疑难杂症

这篇文章汇总了作者在使用 StarRocks 过程中遇到的一些常见疑难杂症及处理办法。当前内容主要围绕对象存储访问问题展开,包括官方 Release 包在 Ubuntu 上运行时因 SSL 证书路径不一致导致 AWS SDK 报错,以及使用 KS3、OBS 等兼容 S3 的存储时因路径中包含等号触发 403 的兼容性问题,并给出了通过补充证书文件和调整配置项规避这些故障的方法。

本文简单梳理一下自己在使用 StarRocks 时遇到的一些疑难杂症,仅供参考,本文会持续更新。

问题列表

ERROR 1064 (HY000): BE access S3 file failed, SdkResponseCode=-1, SdkErrorType=99, SdkErrorMessage=curlCode: 77, Problem with the SSL CA cert (path? access rights?): file = s3://hello/a.parquet

BE 访问对象存储时,遇到如上报错。这是因为 StarRocks 的 Release 包是在 Centos 上面打的,而你可能是在 Ubuntu 上面运行官方的 Release 包,两个系统的 SSL 证书路径不同,使得 AWS SDK 中的 CURL 会找不到 SSL 证书,便抛出这个错误。当然如果你用的是 Ubuntu 编译的 StarRocks,就没有这个问题。

你可以尝试执行如下命令,sudo cp /etc/ssl/certs/ca-certificates.crt /etc/pki/tls/certs/ca-bundle.crt,把 Ubuntu 平台下的 ca-certificates.crt 拷贝一份到目标位置,这样 AWS SDK 中的 CURL 就能顺利找到对应证书。


在使用 KS3,OBS 等对象存储时,发现如果路径存在 = 号,BE 就会抛出 403 异常。

这是因为 StarRocks 使用 AWS SDK 去访问国内这些对象存储,走的是 S3 协议,但是国内的厂商可能没有很好的兼容,从而导致鉴权失败。

be.conf 里面添加一行 aws_sdk_enable_compliant_rfc3986_encoding=true 即可解决。

原创文章,作者:Smith,如若转载,请注明出处:https://www.inlighting.org/archives/starrocks-faqs

打赏 微信扫一扫 微信扫一扫
SmithSmith
上一篇 2023年9月6日 下午11:09
下一篇 2024年3月2日 下午5:26

相关推荐

  • StarRocks Docker 开发环境搭建指南

    这篇文章介绍了如何借助 Docker 为 StarRocks 构建统一的开发环境,重点解决 BE 本地编译复杂、依赖沉重以及远程调试不便的问题。正文先分析这套方案在 thirdparty 编译、链接速度、SSH 远程开发、GDB 调试和端口隔离上的优势与限制,再说明镜像、目录映射和容器启动方式,随后分别比较 VS Code、Jetbrains Gateway 和代码同步式远程开发的使用体验,并给出 FE 与 BE 的远程 Debug 配置方法和一些实际开发中的注意事项。

    2022年7月30日
    7.0K34
  • 记录一次 StarRocks CSV Reader 性能优化过程

    这篇文章复盘了一次 StarRocks CSV Reader 的性能优化过程,从用户反馈性能落后于 Trino、Doris 和 ClickHouse 开始,一步步定位热点并做针对性改造。正文先通过基准测试和火焰图发现列名映射、分区列追加和频繁对象分配带来的开销,再分别介绍预先建立列映射、批量追加分区列、复用 fields 容器和减少 Slice 拷贝等优化思路,以及对应 PR 的效果,最后结合 HDFS、OSS 和缓存场景下的对比测试总结出当前瓶颈已经更多转向外部存储访问。

    2023年9月6日
    2.4K6
  • StarRocks perfect IDE development setup (Support IDEA & Clion)

    This article provides an English guide for setting up a workable StarRocks development environment with both IDEA and Clion, aiming to let contributors write code on a local MacBook while compiling and debugging on a remote Ubuntu server. It walks through local and remote dependency setup, the first full build of StarRocks, FE development and remote debug in IDEA, and BE development in Clion with remote toolchain, deployment mapping, generated source handling, and GDB-based debugging, so that FE and BE can both be developed with normal code navigation and analysis support.

    2023年1月20日
    2.0K0

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注