时间:2021-05-28
sequence文件存储格式
1.txt
纯文本格式,若干行记录。默认用字符编码存储
2.SequenceFile格式(顺序文件格式,可进行切割)
key-value 格式进行存储,最终形成的是一个二进制文件, 需用hadoop提供的api进行写入存储。
编写 写入 seq文件案例。
3.编写读取 seq 文件案例
Configuration configuration = new Configuration(); configuration.set("fs.defaultFS","hdfs://s100:8020"); FileSystem fileSystem = FileSystem.get(configuration); Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq"); SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration); IntWritable key = new IntWritable(); Text value = new Text(); while (sr.next(key,value)){ System.out.println(key +":"+value ); }4.查看文件内容
$> hdfs dfs -text /user/myfile.seq$> hdfs dfs -cat /user/myfile.seq (此命令查看会出现乱码)seq 文件格式解析
顺序文件由文件头和随后的一条或多条记录组成
---文件头--------key-value----sync--key-value------key-value------key-value------key-value----sync--key-value------key-value------key-value----sync文件头格式
SEQ+版本号+key类型class+value类型class + 压缩格式类型
代码案例
/** * 读取文件位置 */ public void seekSeq() throws IOException { Configuration configuration = new Configuration(); configuration.set("fs.defaultFS","hdfs://s100:8020"); FileSystem fileSystem = FileSystem.get(configuration); Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq"); SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration); IntWritable key = new IntWritable(); Text value = new Text(); sr.seek(253); // 定位到第253字节的位置,告诉指针下一次要定位的位置。 sr.next(key,value); // 定位到第253字节的位置,并取出相应的值。 System.out.println(key +" : " + value); sr.close(); } /** * 读取seqfile 同步点 */ public void sync() throws IOException { /** * -----文件头------- 128byte* --key-value----sync 153byte* --key-value---- .* --key-value---- .* --key-value---- .* --key-value----sync * --key-value---- * --key-value---- * --key-value----sync */ Configuration configuration = new Configuration(); configuration.set("fs.defaultFS","hdfs://s100:8020"); FileSystem fileSystem = FileSystem.get(configuration); Path path = new Path("hdfs://s100:8020/user/seqmyfile.seq"); SequenceFile.Reader sr = new SequenceFile.Reader(fileSystem,path,configuration); IntWritable key = new IntWritable(); Text value = new Text(); int syncPos = 12; sr.sync(syncPos);//如上图在写入文件的时候可一指定多少条记录写入一个同步点 long pos = sr.getPosition();//获取下次要定位的字节位置。 sr.next(key,value); System.out.println("syncPos : " + syncPos + "pos : " + pos +"key : "+key+"value : " + value); }MapFile文件格式
1.是排序的seqfie,具有索引。要求key按照大小顺序添加
2.包含两个文件
总结
以上所述是小编给大家介绍的Hadoop文件的存储格式实例详解,希望对大家有所帮助,如果大家有任何疑问欢迎给我留言,小编会及时回复大家的!
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
Hadoop中HBaseShell命令的详解HBase包含可以与HBase进行通信的Shell。HBase使用Hadoop文件系统来存储数据。所有这些任务发生在
Hadoop多Job并行处理的实例详解有关Hadoop多Job任务并行处理,经过测试,配置如下:首先做如下配置:1、修改mapred-site.xml添加调度器
php判断文件上传图片格式的实例详解判断文件图片类型,$type=$_FILES['image']['tmp_name'];//文件名//$type=$this
Java执行hadoop的基本操作实例代码向HDFS上传本地文件publicstaticvoiduploadInputFile(StringlocalFile)
对HDFS上的文件进行上传和下载是对集群的基本操作,在《HADOOP权威指南》一书中,对文件的上传和下载都有代码的实例,但是对如何配置HADOOP客户端却是没有