Resilient Distributed Dataset

What is Resilient Distributed Dataset?

Resilient Distributed Dataset(이하 RDD)은 Spark에서 사용되는 object로, 다음과 같은 두가지 특징을 가지고 있다.

1. Resilient and Distributed 가장 효율적으로 데이터를 처리할 수 있도록 Cluster Manager가 여러 cluster에 task를 적절하게 분배한다. 따라서 만약 한 cluster가 task를 처리할 수 없는 상태가 된다 하더라도 해당 task는 다른 cluster가 처리할 수 있다록 한다. 이러한 과정은 Spark 내에서 자동으로 이루어지므로 따로 신경 쓸 필요가 없다.

2. Dataset 데이터셋을 하나의 object로 표현할 수 있다. Spark는 빅데이터를 처리하는데 특화되어 있으므로 큰 데이터셋이 하나의 object로 표현되는 경우가 많다.

SparkContext

SparkContext, 즉 SC는 RDD를 생성하기 위해 사용되는 시작점과 같은 역할을 한다. 즉, RDD를 생성하기 위해서는 사전에 SparkContext를 설정해야 한다.

Creating RDD

RDD는 다양한 format으로 된 파일로부터 생성할 수 있다. 예를 들어 다음과 같은 format들이 있다:

1. Text file
2. Hive
3. JDBC
4. Cassandra
5. HBase
6. Elasticsearch
7. JSON

Transforming RDD

RDD object를 생성하였으면 해당 object에 다양한 연산을 적용할 수 있다. Python이나 Java에서 사용되는 연산과 비슷하므로 금방 이해하고 적용할 수 있을 것이다. 대표적으로 사용되는 연산 방법은 다음과 같다:

1. map: 함수를 RDD의 요소들에 일대일 적용한다.
2. flatmap: 함수를 RDD의 요소들에 일대다 적용한다.
3. filter
4. distinct
5. sample
6. union, intersection, subtract, cartesian

RDD Actions

RDD에 대양한 action을 적용할 수 있다. 대표적으로 사용되는 action은 다음과 같다:

1. collect
2. count
3. countByValue
4. take
5. top
6. reduce

Key-Value RDD

RDD는 키-값으로 표현하여 연산하는 경우가 많다. 이때, RDD의 각 라인의 첫번째 값이 키 값이 된다. 대표적으로 사용되는 키-값 연산방법은 다음과 같다:

1. mapValues: Value 값에 명시된 함수를 적용하여 연산한다.
2. reduceByKey: 같은 키끼리 연산을 적용한다.
3. SortByKey: 키 값을 기준으로 정렬한다.