文章
文章
全部标签

Apache ORC

  • ORC vs Parquet，孰强孰弱？

    ORC vs Parquet，孰强孰弱？

    本文深入探讨了 ORC 和 Parquet 这两种主流数据湖文件格式的异同。从文件结构、类型系统、NULL处理到复杂类型存储，文章全面比较了两种格式的设计理念和实现细节。特别关注了统计信息的存储、随机 IO 性能、Footer 大小以及 Schema Evolution 支持等关键方面。虽然Parquet 在当前市场占据优势，但文章指出两种格式各有千秋，选择应基于具体使用场景。通过这篇深度分析，读…
    Big Data
    • 272
    • 0
    SmithSmith
  • Apache ORC 加密解析

    Apache ORC 加密解析

    Apache ORC 支持对列进行加密，且会对该列的统计信息一起加密。同时加密后的文件，即使 reader 没有正确的 master key 也能够正常的查看，只不过看到的都是错误的，被 mask 后的数据。 但是 ORC 的加密只能支持到列，无法精确到复杂类型的子列。如果一个 struct 列是加密列，那么它所有的子列也都会被用相同的密钥加密。 ORC 的密钥分为两个层级，分别是 LocalKe…
    Big Data
    • 118
    • 0
    SmithSmith
  • RLE 编码在 Apache ORC 中的实现

    RLE 编码在 Apache ORC 中的实现

    介绍 Apache ORC 中 RLE v1 和 RLE v2 的具体算法实现。
    Big Data
    • 214
    • 0
    SmithSmith
  • 浅谈 Apache ORC 之 Decimal 存储

    浅谈 Apache ORC 之 Decimal 存储

    Decimal 在 Apache ORC 存储主要是依赖 zigzag 编码，zigzag 编码能有效的压缩绝对值小的数字。
    Big Data
    • 217
    • 0
    SmithSmith
❯
搜索

  • 扫码打开当前页

返回顶部