spark

安装

上传spark-2.1.0-bin-hadoop2.7.tgz 点击这里下载

解压：

tar -zxvf spark-2.1.0-bin-hadoop2.7.tgz

建目录：

mkdir -p /usr/local/spark

移动hadoop至/usr/local/hadoop：

mv spark-2.1.0-bin-hadoop2.7 /usr/local/spark

使用软连接指定hadoop:

ln -snf /usr/local/spark/spark-2.1.0-bin-hadoop2.7 /usr/local/spark/spark

配置

先把命令放到/etc/profie 下即可：

export PATH=/usr/local/spark/spark/bin:$PATH

spark相关配置只需要/usr/local/spark/spark/conf/spark-env.sh添加如下2句话就可以了(指定hadoop地址和yarn地址即可)

export HADOOP_CONF_DIR=/usr/local/hadoop/hadoop/etc/hadoop
export YARN_CONF_DIR=/usr/local/hadoop/hadoop/etc/hadoop

spark集群

spark集群使用yarn所以只需啊哟配置了HADOOP_CONF_DIR YARN_CONF_DIR就可以直接使用了不过都是命令的问题

• Spark on YARN 传送门