spark ubuntu集群安装

编程学习
,

Scala 安装

1.使用镜像地址http://distfiles.macports.org/scala2.13/

1
2
3
4
5
6
7
#创建文件夹
mkdir sparkWork
cd sparkWork
#下载scala
wget http://distfiles.macports.org/scala2.13/scala-2.13.0.tgz
#解压
tar -xvf scala-2.13.0.tgz


2.配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#获取当前路径
pwd

#为系统每一个用户配置环境
sudo nano /etc/profile
#进入文件最后添加如下
export SCALA_HOME=/home/ubuntu/sparkWork/scala-2.12.10 #此为解压scala文件夹位置
export PATH=$PATH:$SCALA_HOME/bin
#使环境变量生效
source /etc/profile

#为当前用户配置环境
sudo nano ~/.bashrc
#进入文件最后添加如下
export SCALA_HOME=/home/ubuntu/sparkWork/scala-2.12.10 #此为解压scala文件夹位置
export PATH=$PATH:$SCALA_HOME/bin
#使环境变量生效
source ~/.bashrc

3.验证
1
scala -version

显示如下表明安装成功

QlaQ58.md.png

spark安装

1.安装
国外安装太慢，可以使用北理工的镜像服务选择合适的版本

http://mirror.bit.edu.cn/apache/spark/

1
2
3
4
5
6
7
8
9
#创建文件夹
mkdir sparkWork
cd sparkWork
#下载spark
wget http://mirror.bit.edu.cn/apache/spark/spark-2.4.4/spark-2.4.4-bin-hadoop2.6.tgz
#解压 
tar -xvf spark-2.4.4-bin-hadoop2.6.tgz
#修改文件名
mv spark-2.4.4-bin-hadoop2.6 spark-2.4.4

2.配置
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
#获取当前路径
pwd

#为系统每一个用户配置环境
sudo nano /etc/profile
#进入文件最后添加如下
export SPARK_HOME=/home/ubuntu/sparkWork/spark-2.4.4 #此为解压spark文件夹位置
export PATH=$PATH:$SPARK_HOME/bin
#使环境变量失效
source /etc/profile

#为当前用户配置环境
sudo nano ~/.bashrc
#进入文件最后添加如下
export SPARK_HOME=/home/ubuntu/sparkWork/spark-2.4.4 #此为解压spark文件夹位置
export PATH=$PATH:$SPARK_HOME/bin
#使环境变量失效
source ~/.bashrc

3.验证

1
spark-shell

显示如下即安装成功

QladaV.md.png

安装过程中出现任何bug，将报错信息复制到谷歌搜索中进行搜索，大部分原因可能是安装版本不匹配的问题