【Spark-创新互联

spark-core:
rdd api =>算子
scala：
高阶函数/ 高阶api

1.构建rdd
1.从已经存在集合
2.已经存在外部数据源
1.textFile ：
1.Spark creates one partition for each block of the file hdfs [没有问题的]
2. you cannot have fewer partitions than blocks

val rdd = sc.textFile("hdfs://bigdata32:9000/wc.data")  2
3 =》 3 

	保存： 
		saveAstextFile:

落地hdfs文件的个数：
mapreduce =》 reduce task数量
spark-core =》 最终的rdd的分区数

2.RDD 相关的操作
1.transformations 【转换操作】：
create a new dataset from an existing one
2.actions 【触发job执行的操作】
which return a value to the driver program 【spark client、控制台】
after running a computation on the dataset. 【rdd】
构建rdd：
1.从已经存在集合
2.已经存在外部数据源
3.从已经存在rdd转换生成一个新的rdd
transformation：
1.All transformations in Spark are lazy =》 懒加载

rdda =>rddb =>rddc  =>不会立即执行 不会触发job的执行
rdd.map().fitler. 
=》 rdd 血缘关系

action：
触发作业的执行

好处： mapreduce
1=>2=>3=>4
spark-core: job pipiline
1=>2=>3=>4 action =>job作业的执行

1.map : 一一映射
处理rdd里面每一个元素

2.filter
map相关的算子、kv类型的算子、other算子
3.map相关的算子
makeRDD =>了解 =》 parallelize
map vs mapPartitions：
1.map 一个作用的rdd里面每一个元素
2.mapPartitions 作用的rdd里面 分区

需求： spark-core：
	map filter =》 不让用 如何实现 功能？  平台
		MapPartitionsRDD

1.collect()
2.foreach() 输出 :
driver :
1.控制台
2.hdfs 不这样用
3.db

你是否还在寻找稳定的海外服务器提供商？创新互联www.cdcxhl.cn海外机房具备T级流量清洗系统配攻击溯源，准确流量调度确保服务器高可用性，企业级服务器适合批量采购，新人活动首月15元起，快前往官网查看详情吧