1.spark 将数据写入hdfs 报 Container killed by YARN for exceeding memory limits. 8.5 GB of 8 GB physical memory used. Consider boosting spark.yarn.executor.memoryO,预估内存是够的，但是往hdfs写的时候报错
dataframe.repartition(50).write 数据往hdfs写入的时候报错
解决：
1. spark.sql.shuffle.partitions 调的小一点
2. 增大excutor-memory
原因：DataFrame 的 repartition 方法和 write 方法都可以导致内存占用过高的问题，特别是在处理大量数据时。
repartition 方法会触发 Spark 的 Shuffle 操作，将数据重新分区，并重新组织数据的布局。这个过程可能涉及到大量的数据读写和网络传输操作，需要消耗大量的内存和 CPU 资源。因此，建议仅在需要重新分区的情况下才使用 repartition 方法，并且注意确定分区数量时要权衡性能和内存占用的平衡。
类似地，write 操作也会涉及到大量的 I/O 操作和序列化操作，因此也可能导致内存占用过高。例如，在对数据进行写操作时，如果数据分区太多，写入操作会涉及到大量的文件操作，这可能导致内存占用过多，从而引起内存溢出或 Spark 任务失败。
为了避免这些问题，可以考虑以下解决方案和最佳实践：
避免过于细分分区：如果数据分区过多，可能会导致有太多的小文件和碎片，从而影响 I/O 性能和内存消耗。建议根据数据大小和集群规模等因素综合考虑分区数量，避免过度分区。
合并写操作：如果需要对一个 DataFrame 进行多个写操作，可以考虑尽可能地避免重复执行 repartition 操作，并将多个写入操作合并为一个，以避免重复的 I/O 操作和内存消耗。
合理配置 Spark 环境：根据集群硬件资源和数据处理需求等因素，合理配置 Spark 的内存限制、分区数量、输入输出格式等参数，以取得最佳性能。
使用分布式文件系统：由于分布式文件系统具有高容错性和可伸缩性，因此可以通过使用这些系统来避免单机瓶颈和内存限制，同时更好地控制数据分布和维护数据一致性。
总的来说，使用 repartition 和 write 方法时，需要考虑到 Spark 的 Shuffle 操作、数据大小、集群资源等问题，适当进行调整和配置，从而避免内存溢出和性能问题
2.Could not obtain block: BP-401569843-10.193.3.38-1569031274800:blk_3811427409_2740545742
原因：这个错误可能是由于 HDFS 的一个块丢失或者损坏引起的，或者是网络问题导致的数据传输问题。这种情况可能会导致文件无法读取或无法写入