pyspark環境セッションでのブロブのconfを設定する方法

エリクサー：

私が持っているpyspark私が開始するスクリプトsparkのセッションを、私が使用してブロブストアから読み取ることができないのですspark.read.format('json').load("my_blob_path")。以下は、私のセッションの初期化があります。私は環境の中で私のブロブの資格情報を設定して助けてください。

conf = SparkConf().setAppName("session1")
sc = SparkContext(conf=conf)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("session1").getOrCreate()

アグラワルのAshwin：

あなたは使用して、紺碧-BLOBストレージアカウントの資格情報を設定することができspark.conf.set、あなたの火花セッションを初期化した後。

以下のコードは次のとおりです。

conf = SparkConf().setAppName("session1")
sc = SparkContext(conf=conf)
from pyspark.sql import SparkSession
spark = SparkSession.builder.appName("session1").getOrCreate()

spark.conf.set("fs.azure.account.key.{blob_account_name}.blob.core.windows.net","{blob_account_key}")

これは、あなたのパスにアカウントを設定し、その後、あなたが使用してブロブから読み取ることができます spark.read.format('json').load('wasb://{blob_container}@{blob_account_name}.blob.core.windows.net/{blob_path}')