重庆分公司,新征程启航
为企业提供网站建设、域名注册、服务器等服务
本篇内容介绍了“Spark Streaming怎么批量写入HBase”的有关知识,在实际案例的操作过程中,不少人都会遇到这样的困境,接下来就让小编带领大家学习一下如何处理这些情况吧!希望大家仔细阅读,能够学有所成!
我们提供的服务有:网站设计制作、成都网站设计、微信公众号开发、网站优化、网站认证、泊头ssl等。为上1000家企事业单位解决了网站和推广的问题。提供周到的售前咨询和贴心的售后服务,是有科学管理、有技术的泊头网站制作公司
val ssc = new StreamingContext(conf, Seconds(10)) val lines = ssc.textFileStream("hdfs://master:9000/woozoom/").repartition(12).map(_.split(",")) lines.foreachRDD { rdd => { if (rdd.count > 100) { rdd.foreachPartition { part => { val hbaseConf = HBaseConfiguration.create() val htable = new HTable(hbaseConf, TableName.valueOf("UAV_LOG")) htable.setAutoFlush(false, false) htable.setWriteBufferSize(3 * 1024 * 1024) part.foreach { log => { htable.put(convertFromLogToHabse(log)) } } htable.flushCommits() } } } } } ssc.start() ssc.awaitTermination()
“Spark Streaming怎么批量写入HBase”的内容就介绍到这里了,感谢大家的阅读。如果想了解更多行业相关的知识可以关注创新互联网站,小编将为大家输出更多高质量的实用文章!