Hadoop Streaming 实战: 输出文件分割

咱们知道,Hadoop streaming框架默认状况下会以'/t’做为分隔符,将每行第一个'\t’以前的部分做为key,其他内容做为value,若是没有'\t’分隔符,则整行做为key;这个key/tvalue对又做为reduce的输入。hadoop 提供配置供用户自主设置分隔符。        -D stream.map.output.field.separator :设置map输出中key和
相关文章
相关标签/搜索