本文主要是讲解Spark在Windows环境是如何搭建的

一、JDK的安装

1、1 下载JDK

首先需要安装JDK，并且将环境变量配置好，如果已经安装了的老司机可以忽略。JDK（全称是JavaTM Platform Standard Edition Development Kit）的安装，去Oracle官网下载，下载地址是Java SE Downloads。

上图中两个用红色标记的地方都是可以点击的，点击进去之后可以看到这个最新版本的一些更为详细的信息，如下图所示：

下载完之后，我们安装就可以直接JDK，JDK在windows下的安装非常简单，按照正常的软件安装思路去双击下载得到的exe文件，然后设定你自己的安装目录（这个安装目录在设置环境变量的时候需要用到）即可。

1、2 JDK环境变量设置

接下来设置相应的环境变量，设置方法为：在桌面右击【计算机】－－【属性】－－【高级系统设置】，然后在系统属性里选择【高级】－－【环境变量】，然后在系统变量中找到“Path”变量，并选择“编辑”按钮后出来一个对话框，可以在里面添加上一步中所安装的JDK目录下的bin文件夹路径名，我这里的bin文件夹路径名是：C:\Program Files\Java\jre1.8.0_92\bin，所以将这个添加到path路径名下，注意用英文的分号“;”进行分割。如图所示：

这样设置好后，便可以在任意目录下打开的cmd命令行窗口下运行下面命令。查看是否设置成功。

java -version

观察是否能够输出相关java的版本信息，如果能够输出，说明JDK安装这一步便全部结束了。如图所示：

二、Scala的安装

我们从官网：http:///steveloughran/winutils选择你安装的Hadoop版本号，然后进入到bin目录下，找到winutils.exe文件，下载方法是点击winutils.exe文件，进入之后在页面的右上方部分有一个Download按钮，点击下载即可。 如图所示：

下载winutils.exe文件

将下载好winutils.exe后，将这个文件放入到Hadoop的bin目录下，我这里是C:\Hadoop\hadoop-2.7.1\bin。

在打开的cmd中输入

复制代码 代码如下:C:\Hadoop\hadoop-2.7.1\bin\winutils.exe chmod 777 /tmp/Hive //修改权限，777是获取所有权限

但是我们发现报了一些其他的错(Linux环境下也是会出现这个错误)

<console>:14: error: not found: value spark import spark.implicits._ ^ <console>:14: error: not found: value spark import spark.sql

其原因是没有权限在spark中写入metastore_db 这个文件。

处理方法：我们授予777的权限

Linux环境，我们在root下操作：

sudo chmod 777 /home/hadoop/spark #为了方便，可以给所有的权限 sudo chmod a+w /home/hadoop/spark

window环境下：

存放Spark的文件夹不能设为只读和隐藏，如图所示：

授予完全控制的权限，如图所示：

经过这几个步骤之后，然后再次开启一个新的cmd窗口，如果正常的话，应该就可以通过直接输入spark-shell来运行Spark了。正常的运行界面应该如下图所示：

六、Python下Spark开发环境搭建

下面简单讲解Python下怎么搭建Spark环境

1、将spark目录下的pyspark文件夹（C:\Spark\python\pyspark）复制到python安装目录C:\Python\Python35\Lib\site-packages里。如图所示

spark的pysaprk

将pyspark拷贝至Python的安装的packages目录下。

2、然后使用cd命令，进入目录D:\python27\Scripts，运行pip install py4j安装py4j库。如图所示：

如果需要在python中或者在类似于IDEA IntelliJ或者PyCharm(笔者用的就是PyCharm)等IDE中使用PySpark的话，需要在系统变量中新建一个PYTHONPATH的系统变量，然后设置好下面变量值就可以了

PATHONPATH=%SPARK_HOME%\python;%SPARK_HOME%\python\lib\py4j-0.10.4-src.zip

后面的事情就交给PyCharm了。

至此，Spark在Windows环境下的搭建讲解已结束。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持。