PySpark tutorial 学习笔记6——Serializers

Serializers

Serializers用于Apache Spark的性能调优。 通过网络发送或写入磁盘或持久存储在内存中的所有数据都应该序列化.

PySpark支持用于性能调优的自定义序列化程序。 PySpark支持以下两个序列化程序 - 

MarshalSerializer
使用Python的Marshal Serializer序列化对象。 此序列化程序比PickleSerializer更快，但支持更少的数据类型。

class pyspark.MarshalSerializer

PickleSerializer
使用Python的Pickle Serializer序列化对象。 此序列化程序几乎支持任何Python对象，但可能不如MarshalSerializer快。

class pyspark.PickleSerializer
让我们看一下PySpark序列化的例子。 在这里，我们使用MarshalSerializer序列化数据。

--------------------------------------serializing.py-------------------------------------
from pyspark.context import SparkContext
from pyspark.serializers import MarshalSerializer
sc = SparkContext("local", "serialization app", serializer = MarshalSerializer())
print(sc.parallelize(list(range(1000))).map(lambda x: 2 * x).take(10))
sc.stop()
--------------------------------------serializing.py-------------------------------------
Command − The command is as follows −

$SPARK_HOME/bin/spark-submit serializing.py
Output − The output of the above command is −

[0, 2, 4, 6, 8, 10, 12, 14, 16, 18]