RDD算子是Spark计算框架中定义的对RDD进行操作的各种函数，从RDD算子的功能可将RDD算子分为四类：创建算子、转换算子、缓存算子和行动算子。

RDD算子

创建算子

创建RDD有两种方式：

1. 一种是将基于Scala的集合类型数据（如List或Set类型）分布到集群中生成RDD，

2. 另一种则是加载外部数据源（如本地文本文件或HDFS文件）生成RDD。

上面所提到的两种方式都是通过SparkContext的接口函数提供的，前者有两种方法：makeRDD和parallelize，后者则因为其支持不同形式和不同格式的文件，有较多的函数。

基于集合类型数据创建RDD

SparkContext.makeRDD：创建RDD

# 输入参数seq为一个集合数据集，参数String序列指定了希望将该数据集产生的RDD分区希望放置的节点，
# 可以用Spark节点的主机名（hostname）描述
def makeRDD[T](seq: Seq[(T, Seq[String])])(implicit arg0: ClassTag[T]): [RDD]


# 输入参数seq为一个数据集，numSlices是分区数量，若不指定数量，
# 将使用Spark配置中的spark.default.parallelism参数所生成的defaultParallelism数值，为默认的分区数量。
def makeRDD[T](seq: Seq[T], numSlices: Int = [defaultParallelism])(implicit arg0: ClassTag[T]): [RDD]

makeRDD

SparkContext.parallelize：数据并行化生成RDD

# 将集合数据seq分布到节点上形成RDD，并返回生成的RDD。numSlices是分区数量，
# 若不指定数量，将使用Spark配置中的spark.default.parallelism参数所生成的defaultParallelism数值，为默认的分区数量。
def parallelize[T](seq: Seq[T], numSlices: Int = defaultParallelism)(implicit arg0: ClassTag[T]): RDD[T]

parallelize

基于外部数据创建RDD

SparkContext.textFile——基于文本文件创建RDD

# 从HDFS、本地文件系统或者其他Hadoop支持的文件系统，按行读入指定路径下的文本文件，并返回生成的RDD。
# path是待读入的文本文件的路径，minPartitions是分区数量，不给定由spark配置中参数生成默认值
def textFile(path: String, minPartitions: Int = defaultMinPartitions): RDD[String]

textFile

SparkContext.wholeTextFiles——基于一个目录下的全部文本文件创建RDD

def wholeTextFiles(path: String, minPartitions: Int = defaultMinPartitions): RDD[(String, String)]

Read a directory of text files from HDFS, a local file system (available on all nodes), or any Hadoop-supported file system URI. Each file is read as a single record and returned in a key-value pair, where the key is the path of each file, the value is the content of each file.

基于Hadoop API从Hadoop文件数据创建RDD

http://spark.apache.org/docs/latest/api/scala/index.html#org.apache.spark.SparkContext

Hadoop API

spark