重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
这篇文章主要讲解了“怎么把Avro数据转换为Parquet格式”,文中的讲解内容简单清晰,易于学习与理解,下面请大家跟着小编的思路慢慢深入,一起来研究和学习“怎么把Avro数据转换为Parquet格式”吧!
创新互联专注为客户提供全方位的互联网综合服务,包含不限于成都做网站、网站建设、交城网络推广、微信小程序、交城网络营销、交城企业策划、交城品牌公关、搜索引擎seo、人物专访、企业宣传片、企业代运营等,从售前售中售后,我们都将竭诚为您服务,您的肯定,是我们最大的嘉奖;创新互联为所有大学生创业者提供交城建站搭建服务,24小时服务热线:18982081108,官方网址:www.cdcxhl.com
本文主要测试将Avro数据转换为Parquet格式的过程并查看 Parquet 文件的 schema 和元数据。
将文本数据转换为 Parquet 格式并读取内容,可以参考 Cloudera 的 MapReduce 例子:https://github.com/cloudera/parquet-examples。
准备文本数据 a.txt 为 CSV 格式:
1,2 3,4 4,5
准备 Avro 测试数据,可以参考 将Avro数据加载到Spark 一文。
本文测试环境为:CDH 5.2,并且 Avro、Parquet 组件已经通过 YUM 源安装。
在 Hive 中创建一个表并导入数据:
create table mycsvtable (x int, y int) row format delimited FIELDS TERMINATED BY ',' STORED AS TEXTFILE; LOAD DATA LOCAL INPATH 'a.txt' OVERWRITE INTO TABLE mycsvtable;
创建 Parquet 表并转换数据:
create table myparquettable (a INT, b INT) STORED AS PARQUET LOCATION '/tmp/data'; insert overwrite table myparquettable select * from mycsvtable;
查看 hdfs 上生成的 myparquettable 表的数据:
$ hadoop fs -ls /tmp/data Found 1 items -rwxrwxrwx 3 hive hadoop 331 2015-03-25 15:50 /tmp/data/000000_0
在 hive 中查看 myparquettable 表的数据:
hive (default)> select * from myparquettable; OK myparquettable.a myparquettable.b 1 2 3 4 4 5 Time taken: 0.149 seconds, Fetched: 3 row(s)
查看 /tmp/data/000000_0 文件的 schema :
$ hadoop parquet.tools.Main schema /tmp/data/000000_0 message hive_schema { optional int32 a; optional int32 b; }
查看 /tmp/data/000000_0 文件的元数据:
$ hadoop parquet.tools.Main meta /tmp/data/000000_0 creator: parquet-mr version 1.5.0-cdh6.2.0 (build 8e266e052e423af5 [more]... file schema: hive_schema -------------------------------------------------------------------------------- a: OPTIONAL INT32 R:0 D:1 b: OPTIONAL INT32 R:0 D:1 row group 1: RC:3 TS:102 -------------------------------------------------------------------------------- a: INT32 UNCOMPRESSED DO:0 FPO:4 SZ:51/51/1.00 VC:3 ENC:BIT [more]... b: INT32 UNCOMPRESSED DO:0 FPO:55 SZ:51/51/1.00 VC:3 ENC:BI [more]...
使用 将Avro数据加载到Spark 中的 schema 和 json 数据,从 json 数据生成 avro 数据:
$ java -jar /usr/lib/avro/avro-tools.jar fromjson --schema-file twitter.avsc twitter.json > twitter.avro
将 twitter.avsc 和 twitter.avro 上传到 hdfs:
$ hadoop fs -put twitter.avsc $ hadoop fs -put twitter.avro
使用 https://github.com/laserson/avro2parquet 将 avro 转换为 parquet 格式:
$ hadoop jar avro2parquet.jar twitter.avsc twitter.avro /tmp/out
然后,在 hive 中创建表并导入数据:
create table tweets_parquet (username string, tweet string, timestamp bigint) STORED AS PARQUET; load data inpath '/tmp/out/part-m-00000.snappy.parquet' overwrite into table tweets_parquet;
感谢各位的阅读,以上就是“怎么把Avro数据转换为Parquet格式”的内容了,经过本文的学习后,相信大家对怎么把Avro数据转换为Parquet格式这一问题有了更深刻的体会,具体使用情况还需要大家实践验证。这里是创新互联,小编将为大家推送更多相关知识点的文章,欢迎关注!