Pyspark学習ログ

Yarn-AM-不十分なリソース例外



Yarn Am Insufficient Resource Exception



Yarn-AM-不十分なリソース例外

Application is added to the scheduler and is not yet activated. Queue's AM resource limit exceeded. Details : AM Partition = 3ssystem AM Resource Request = Queue Resource Limit for AM = User AM Resource Limit of the queue = Queue AM Resource Usage =

ドライバーが最大アプリケーションマスターリソースで構成されている最大メモリを超えていること。 AMの最大メモリを増やすか、ジョブのドライバメモリを減らすことができます。



  1. 解決策1：yarn.scheduler.capacity.maximum-am-resource-percentを調整します
yarn.scheduler.capacity.maximum-am-resource-percent 0.6
  1. 解決策2：ジョブのドライバーメモリを減らします。

転載：https：//www.jianshu.com/p/a7395e225285