时间:2021-05-19
关于Maven的使用就不再啰嗦了,网上很多,并且这么多年变化也不大,这里仅介绍怎么搭建Hadoop的开发环境。
1. 首先创建工程
复制代码 代码如下:mvn archetype:generate -DgroupId=my.hadoopstudy -DartifactId=hadoopstudy -DarchetypeArtifactId=maven-archetype-quickstart -DinteractiveMode=false
2. 然后在pom.xml文件里添加hadoop的依赖包hadoop-common, hadoop-client, hadoop-hdfs,添加后的pom.xml文件如下
<project xmlns:xsi="http://pletion(true) ? 0 : 1); }}运行“mvn package”命令产生jar包hadoopstudy-1.0-SNAPSHOT.jar,并将jar文件复制到hadoop安装目录下
这里假定我们需要分析几个日志文件中的Event信息来统计各种Event个数,所以创建一下目录和文件
/tmp/input/event.log.1
/tmp/input/event.log.2
/tmp/input/event.log.3
因为这里只是要做一个列子,所以每个文件内容可以都一样,假如内容如下
JOB_NEW ...
JOB_NEW ...
JOB_FINISH ...
JOB_NEW ...
JOB_FINISH ...
然后把这些文件复制到HDFS上
复制代码 代码如下:$ bin/hdfs dfs -put /tmp/input /user/fkong/input
运行mapreduce作业
复制代码 代码如下:$ bin/hadoop jar hadoopstudy-1.0-SNAPSHOT.jar my.hadoopstudy.mapreduce.EventCount /user/fkong/input /user/fkong/output
查看执行结果
复制代码 代码如下:$ bin/hdfs dfs -cat /user/fkong/output/part-r-00000
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持。
声明:本页内容来源网络,仅供用户参考;我单位不保证亦不表示资料全面及准确无误,也不保证亦不表示这些资料为最新信息,如因任何原因,本网内容或者用户因倚赖本网内容造成任何损失或损害,我单位将不会负任何法律责任。如涉及版权问题,请提交至online#300.cn邮箱联系删除。
Maven搭建springboot项目本文是基于Windows10系统环境,使用Maven搭建springboot项目Windows10apache-maven
IDEA配置maven环境一、配置maven本地环境先参照以下博客进行maven的安装,配置IDEA如何搭建maven安装、下载、配置(图文)使用Intelli
本文中使用maven+eclipse搭建activiti-5.14的开发环境一、创建maven工程创建一个普通的java工程,pom文件的内容如下
一、搭建开发环境1.1、使用Maven创建Web项目 执行如下命令:复制代码代码如下:mvnarchetype:create-DgroupId=me.gacl
macOS搭建SpringBoot开发环境,具体内容如下软硬件环境macOSSierrajava1.8.0_65maven3.5.0idea2017.1.5前言