ApacheSpark:长时间阻塞的Shuffle读取时间。为什么?
创始人
2024-09-06 12:31:57
0

通常情况下,Spark Shuffle操作是Spark应用程序中的瓶颈之一。当发现Shuffle操作时间较长时,可以遵循以下步骤进行排查和修复。

  1. 检查Shuffle分区大小是否足够。如果容量过小,可能会导致过多的Shuffle操作,令计算机无法及时处理,因此应该适当调整分区的容量。
  2. 检查数据存储设置。Spark有许多选项可以显着提高性能,例如:复制系数,缓存策略等。调整这些设置有助于提高Shuffle的速度。
  3. 使用专门的Shuffle优化工具调整Spark设置。例如Spark自带的Tungsten Shuffle委员会,可以帮助优化Shuffle操作。在优化后,长时间阻塞的Shuffle读取时间将会大大减少。

以下示例展示如何使用Tungsten Shuffle委员会优化Spark Shuffle:

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext

object SparkShuffle {
    def main(args: Array[String]) {
        val conf = new SparkConf().setAppName("SparkShuffle").setMaster("local")
        val sc = new SparkContext(conf)
        
        // 加载数据
        val data = sc.textFile("data.txt")
        val words = data.flatMap(line => line.split(" "))
        val pairs = words.map(word => (word, 1))
        
        // Tungsten Shuffle优化
        sc.getConf.set("spark.shuffle.manager", "tungsten-sort")
        sc.getConf.set("spark.shuffle.compress", "true")
        sc.getConf.set("spark.shuffle.spill.compress", "true")
        sc.getConf.set("spark.shuffle.file.buffer", "128k")
        
        // 聚合操作
        val counts = pairs.reduceByKey(_ + _)
        
        counts.saveAsTextFile

相关内容

热门资讯

安装apache-beam==... 出现此错误可能是因为用户的Python版本太低,而apache-beam==2.34.0需要更高的P...
避免在粘贴双引号时向VS 20... 在粘贴双引号时向VS 2022添加反斜杠的问题通常是由于编辑器的自动转义功能引起的。为了避免这个问题...
Android Recycle... 要在Android RecyclerView中实现滑动卡片效果,可以按照以下步骤进行操作:首先,在项...
omi系统和安卓系统哪个好,揭... OMI系统和安卓系统哪个好?这个问题就像是在问“苹果和橘子哪个更甜”,每个人都有自己的答案。今天,我...
原生ios和安卓系统,原生对比... 亲爱的读者们,你是否曾好奇过,为什么你的iPhone和安卓手机在操作体验上有着天壤之别?今天,就让我...
Android - 无法确定任... 这个错误通常发生在Android项目中,表示编译Debug版本的Java代码时出现了依赖关系问题。下...
Android - NDK 预... 在Android NDK的构建过程中,LOCAL_SRC_FILES只能包含一个项目。如果需要在ND...
Akka生成Actor问题 在Akka框架中,可以使用ActorSystem对象生成Actor。但是,当我们在Actor类中尝试...
Agora-RTC-React... 出现这个错误原因是因为在 React 组件中使用,import AgoraRTC from “ago...
Alertmanager在pr... 首先,在Prometheus配置文件中,确保Alertmanager URL已正确配置。例如:ale...