出现的异常

spark在yarn模式下运行任务报错
异常信息：
1 、 ERROR cluster.YarnScheduler: Lost executor
2 、 ERROR client.TransportClient: Failed to send RPC
3 、 WARN storage.BlockManagerMaster: Failed to remove RDD
4 、 ERROR cluster.YarnScheduler: Lost executor 1 on 192.168.23.105: Slave lost
出现此问题的原因是任务需要的内存过高，需要修改spark-env.sh调整默认的内存大小

解决

在spark-env.sh文件内添加如下配置

[root@master ~]# vi /usr/local/src/spark/conf/spark-env.sh
  export SPARK_EXECUTOR_INSTANCES=4   # yarn集群中，最多能够同时启动的EXECUTOR的实例个数
  export SPARK_EXECUTOR_CORES=4       # 每个EXECUTOR能够使用的CPU core的数量
  export SPARK_EXECUTOR_MEMORY=4G     # 每个EXECUTOR分配的内存的大小
  export SPARK_DRIVER_MEMORY=2G       # DRIVER分配的内存的大小