Parquet原理

时间 2021-01-17

原文原文链接

在互联网大数据应用场景下，通常数据量很大且字段很多，但每次查询数据只针对其中的少数几个字段，这时候列式存储是极佳的选择。列式存储要解决的问题：把IO只给查询需要用到的数据只加载需要被计算的列空间节省列式的压缩效果更好可以针对数据类型进行编码开启矢量化的执行引擎(不再1条1条的处理数据，而是一次处理1024条数据) Parquet和ORC是两种列式存储格式今天主要介绍Parquet

>>阅读原文<<

1. Spark的Parquet向量化读取原理
2. Parquet
3. parquet 简介
4. Hive ORC和Parquet
5. Spark Parquet file split
6. Spark Parquet详解
7. Parquet文件
8. parquet学习总结
9. Parquet 学习笔记
10. Parquet格式解析
更多相关文章...
• MyBatis的工作原理 - MyBatis教程
• BASE原理与最终一致性 - NoSQL教程
• ☆技术问答集锦（13）Java Instrument原理
• Java Agent入门实战（三）-JVM Attach原理与使用