MacOSにScalaとApacheSparkをインストールする方法

MacOSにScalaとApacheSparkをインストールする方法

これは、MacOSにScalaとApacheSparkをインストールするためのステップバイステップガイドです。

ステップ1:自作を取得する

Homebrewは、Mac OSにアプリケーションと言語をインストールすることになると、あなたの生活をずっと楽にしてくれます。あなたはそれのウェブサイトの指示に従うことによって自作を得ることができます。

これは基本的に、ターミナルを開いて次のように入力するように指示するだけです。

/usr/bin/ruby -e "$(curl -fsSL //raw.githubusercontent.com/Homebrew/install/master/install)"

プロジェクトのGitHubページにインストールの詳細な手順があります。Homebrewを介してすべてをインストールすると、適切なPATH設定がすべてプロファイルに自動的に追加されます。

ステップ2:xcode-selectをインストールする

コマンドラインからJava、Scala、Sparkをインストールするには、おそらくxcode-selectとコマンドライン開発者ツールをインストールする必要があります。ターミナルに移動して、次のように入力します。

xcode-select --install

次のようなプロンプトが表示されます。

先に進み、インストールを選択します。

ステップ3:Homebrewを使用してJavaをインストールする

ScalaはJavaに依存しているため、インストールする必要がある場合とない場合があります。それをインストールする最も簡単な方法は、HomeBrewを使用することです。

ターミナルタイプ:

brew cask install java

Javaのインストールを完了するには、ある時点でパスワードの入力が必要になる場合があります。このHomebrewを実行した後、Javaのインストールを処理する必要があります。これで、Scalaに移ることができます。

ステップ4:Homebrewを使用してScalaをインストールする

Homebrewがインストールされたら、ターミナルに移動して次のように入力します。

brew install scala

ステップ5:Homebrewを使用してApacheSparkをインストールする

Scalaがインストールされたら、ターミナルに移動して次のように入力します。

brew install apache-spark

HomebrewはApacheSparkをダウンロードしてインストールします。インターネット接続によっては、時間がかかる場合があります。

ステップ5:SparkShellを起動します

次のコマンドを試してください。

spark-shell

大量のテキストと警告が表示されるはずですが、最終的には次のようなものが表示されます。

Welcome to ____ __ / __/__ ___ _____/ /__ _\ \/ _ \/ _ `/ __/ '_/ /___/ .__/\_,_/_/ /_/\_\ version 2.0.1 /_/
Using Scala version 2.11.8 (Java HotSpot(TM) 64-Bit Server VM, Java 1.8.0_102)Type in expressions to have them evaluated.Type :help for more information.
scala>

Scalaコードを入力すると、動作していることを確認できます。

val s = "hello world"

おめでとう!これで準備は完了です。

一般的な問題:bashでPATHを設定します。

Homebrewがこれらすべてを処理する必要がありますが、PATHにスパークを追加する必要がある場合は、次のものを使用することをお勧めします。

export SPARK_HOME=/usr/local/Cellar/apache-spark/2.0.1/libexecexport PYTHONPATH=/usr/local/Cellar/apache-spark/2.0.1/libexec/python/:$PYTHONP$

ターミナルに直接入力するだけです。

私はJosePortillaです。Udemyでのプログラミング、データサイエンス、機械学習について20万人以上の学生に教えています。ここで私のすべてのコースをチェックできます。

データサイエンスと機械学習のためのPythonの学習に興味がある場合は、こちらのコースをご覧ください。(私はDjangoでフルスタックWeb開発も教えています!)