博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop的文件输入输出Format的几个separator属性参数
阅读量:4111 次
发布时间:2019-05-25

本文共 613 字,大约阅读时间需要 2 分钟。

Hadoop版本:

$ hadoop versionHadoop 0.20.2-cdh3u4Subversion git://ubuntu-slave01/var/lib/jenkins/workspace/CDH3u4-Full-RC/build/cdh3/hadoop20/0.20.2-cdh3u4/source -r 214dd731e3bdb687cb55988d3f47dd9e248c5690Compiled by jenkins on Mon May  7 13:01:39 PDT 2012From source with checksum a60c9795e41a3248b212344fb131c12c

 

Hadoop的OutputFormat和InputFormat 中有几个重要的文件分割属性参数,参数详情如下:

mapred.line.input.format.linespermap NLineInputFormat与TextInputFormat相同,但每个分片一定有N行。N在此处设置,默认1key.value.separator.in.input.line    KeyValueTextInputFormat中,key和value之间的分隔符,默认为\tmapred.textoutputformat.separator OutputFormat中key和value之间的分隔符,默认为\t

 

转载地址:http://zjqsi.baihongyu.com/

你可能感兴趣的文章
指针数组
查看>>
大小端模式
查看>>
构造函数、析构函数 与抛出异常
查看>>
sizeof与strlen区别(2019.10.23)
查看>>
临界区
查看>>
构造函数、拷贝构造函数、赋值函数
查看>>
存储管理
查看>>
CSingleLock
查看>>
-128的补码
查看>>
索引查找
查看>>
堆排序建堆的时间复杂度
查看>>
有符号数、无符号数之间的转换
查看>>
磁盘调度算法
查看>>
基数排序
查看>>
排序算法稳定性
查看>>
auto与decltype
查看>>
shared_ptr简单实现
查看>>
海量数据处理-BloomFilter
查看>>
socket阻塞与非阻塞,同步与异步
查看>>
select、poll、epoll
查看>>