建站
咨詢
售后
建站咨詢
新聞中心
1、描述spark中怎么加載lzo壓縮格式的文件
創(chuàng)新互聯(lián)建站專注于企業(yè)成都全網(wǎng)營銷推廣、網(wǎng)站重做改版、延邊朝鮮族網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、HTML5建站、商城網(wǎng)站定制開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)網(wǎng)站制作、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁設(shè)計(jì)等建站業(yè)務(wù)，價格優(yōu)惠性價比高，為延邊朝鮮族等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。
2、比較lzo格式文件以textFile方式和LzoTextInputFormat方式計(jì)算數(shù)據(jù)，Running Tasks個數(shù)的影響
a.確保lzo文件所在文件夾中生成lzo.index索引文件
（對該lzo壓縮文件進(jìn)行index操作，生成lzo.index文件，map操作才可以進(jìn)行split
hadoop jar ${HADOOP_HOME}/lib/hadoop-lzo.jar com.hadoop.compression.lzo.DistributedLzoIndexer /wh/source/）
b.以LzoTextInputFormat處理，能夠正常按分塊數(shù)分配Tasks
查看文件塊數(shù)量
[tech@dx2 ~]$ hdfs fsck /wh/source/hotel.2017-08-07.txt_10.10.10.10_20170807.lzo Connecting to namenode via http://nn1.zdp.ol:50070 FSCK started by bwtech (auth:SIMPLE) from /10.10.10.10 for path /wh/source/hotel.2017-08-07.txt_10.10.16.105_20170807.lzo at Tue Aug 08 15:27:52 CST 2017 .Status: HEALTHY Total size:2892666412 B Total dirs:0 Total files:1 Total symlinks:0 Total blocks (validated):11 (avg. block size 262969673 B) Minimally replicated blocks:11 (100.0 %) Over-replicated blocks:0 (0.0 %) Under-replicated blocks:0 (0.0 %) Mis-replicated blocks:0 (0.0 %) Default replication factor:3 Average block replication:3.0 Corrupt blocks:0 Missing replicas:0 (0.0 %) Number of data-nodes:21 Number of racks:2 FSCK ended at Tue Aug 08 15:27:52 CST 2017 in 3 milliseconds
Spark源代碼可以參考https://github.com/chocolateBlack/LearningSpark/blob/master/src/main/scala-2.11/SparkLzoFile.scala
import com.hadoop.mapreduce.LzoTextInputFormat
import org.apache.hadoop.io.{Text, LongWritable}
import org.apache.spark.{SparkContext, SparkConf}
object SparkLzoFile{
def main(args:Array[String]){
val conf = new SparkConf().setAppName("Spark_Lzo_File")
val sc = new SparkContext(conf)
//文件路徑
val filePath = "/wh/source/hotel.2017-08-07.txt_10.10.10.10_20170807.lzo"
//按textFile方式加載文件
val textFile = sc.textFile(filePath)
//按lzoTextInputFormat加載數(shù)據(jù)文件
val lzoFile = sc.newAPIHadoopFile[LongWritable, Text, LzoTextInputFormat](filePath)
println(textFile.partitions.length)// partitions個數(shù)輸出 1
println(lzoFile.partitions.length)// partitions個數(shù)輸出 11
//兩種方式計(jì)算word count查看后臺任務(wù)
lzoFile.map(_._2.toString).flatMap(x=>x.split("-")).map((_,1)).reduceByKey(_+_).collect
textFile.flatMap(x=>x.split("\t")).map((_,1)).reduceByKey(_+_).collect
}
}
當(dāng)前題目：【總結(jié)】spark按文本格式和Lzo格式處理Lzo壓縮文件的比較
分享地址：http://fisionsoft.com.cn/article/pjecej.html
