时间:2021-05-19
Intellij是进行scala开发的一个非常好用的工具,可以非常轻松查看scala源码,当然用它来开发Java也是很爽的,之前一直在用scala ide和eclipse,现在换成intellij简直好用到飞起,但是有些人不知道怎么用intellij去创建一个spark项目,这里介绍两种
1、选择File->new Project->Java->Scala,这里scala版本是2.11.8
2 .之后一路点击next,直到finish,创建完的项目见下图,这时候已经可以创建scala文件了,接下来就可以添加spark相关的jar包了,从官网下载http://spark.apache.org/downloads.html,我这里用的是spark-2.2.1-bin-hadoop2.7,你可以根据自己需要选择相应的版本,下载完压缩包后解压
3 . 选择File->Project Structure->Libraries,点击+,选择Java,选择之前下载的spark2.2-hadoop2.7解压后的jars文件夹,将该文件夹下的jar包全部引进该项目,见下图
4 . 之后在libraries中点击+,选择scala sdk,这里选择系统版本的scala,为2.11.8版本,添加见下图
5 . 添加完毕后Project Structure类似于下面这种格式
6 .现在该项目有了spark的jar和scala的sdk,之后创建一个scala文件进行测试,代码及运行结果见下图
7 .出现上面这些内容表明Intellij创建spark项目成功,总结一下这种方式需要引入scala sdk以及spark的jar包,还有另外一种方式是见下图,选择File->New Project->Scala->IDEA,选择next
8 .之后指定项目名称和项目所处位置,点击finish,创建项目
9 .这时候创建的项目如下,这种情况下可以直接右键new 创建scala文件,不需要在额外添加scala sdk
10 .接下来的操作和上面那种一样,添加spark jar包即可,添加完后测试一下
11 .成功输出,表明Intellij创建spark项目成功,当然前提是intellij安装了scala插件,在File->Settings->Plugins,搜索scala,根据查找的结果进行安装后重启intellij即可,下图是我已经安装好的
以上就是两种创建spark项目的方式,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
分享两种eclipse创建spirngboot项目的办法:方案一:创建maven项目后修改pom文件1.用eclipse创建简单的maven项目2.修改pom文
一。从gitlab上clone代码到本地pycharm(一)。gitlab上找到创建项目的连接地址,分两种:1.http连接方式:http://10.22.1.
第一种方式、pom添加上图:第二种、在项目上右键选择自己需要的即可,也有一些不方便的,那就要去pom里边啦!!附录:IDEA中WEB项目添加依赖的两种方式注意:
AndroidSharedPreferences详解获取SharedPreferences的两种方式:1调用Context对象的getSharedPrefere
本文介绍了浅谈Java的两种多线程实现方式,分享给大家。具有如下:一、创建多线程的两种方式Java中,有两种方式可以创建多线程:1通过继承Thread类,重写T