RDD实现

解析器集成 Scala解析器处理一般过程: 1 将用户输入每一行编译成一个类 2 将该类载入到JVM中 3 调用该类中的某个函数 内存管理 1 未序列化Java对象存储在内存中 2 序列化的数据存于内存中 3 存于磁盘中 内存使用LRU(最近最少)回收算法管理 RDD编程接口 1 RDD分区(Partitions) 2 RDD首选位置(PreferredLocations):离数据最近的位置 3
相关文章
相关标签/搜索