Sparkのマルチバージョンの問題：Sparkの複数のバージョンがインストールされていますが、SPARK_MAJOR_VERSIONが設定されていません

Spark Multi Version Problems

まず、問題の背景

記述されたSparkジョブを送信するためのシェルスクリプト（spark-submit ...）、中間統合スクリプトとしてのシェルスクリプトBはスクリプトAを呼び出しますが、ジョブはyarnを送信しませんでした。ログ情報を表示するには、次のようにします。

Sparkの複数のバージョンがインストールされていますが、SPARK_MAJOR_VERSIONが設定されていません

第二に、分析プロセス

1.Sparkの現在のバージョンを確認します

spark-submit --version

2.デフォルトバージョンのSparkを設定します

export SPARK_MAJOR_VERSION=2

3.スパークシェルを開始します

Sparkのバージョン1.xを設定する

Sparkの2.xバージョンを設定します