idea搭建spark运行环境

发表于 2023-06-9 更新于 2024-04- 11

作者 Administrator

5~6 分钟 阅读

系统：windows

一、idea配置

idea新建maven项目，下载Scala插件，项目添加scala框架支持

二、pom.xml

    <dependencies>
        <dependency>
            <groupId>org.apache.spark</groupId>
            <artifactId>spark-core_2.12</artifactId>
            <version>3.1.1</version>
        </dependency>
    </dependencies>

三、下载文件

Hadoop点击下载需要的版本，下载格式为tar.gz

winutils点击下载与hadoop一致的版本

四、解压

解压hadoop.tar.gz与winutils，将winutils的bin目录里面的hadoop.dll与winutils.exe复制到hadoop的bin目录里面

五、环境变量

1.新建环境变量变量名：HADOOP_HOME 变量值：path\hadoop-x.x.x

2.添加path环境变量：变量值：path\hadoop-x.x.x\bin

六、重启idea

七、运行日志去除

可选

resources目录下新建log4j.properties

log4j.rootLogger=ERROR,stdout
log4j.appender.stdout=org.apache.log4j.ConsoleAppender
log4j.appender.stdout.layout=org.apache.log4j.PatternLayout
log4j.appender.stdout.layout.ConversionPattern=%d %p [%-20c] - %m%n
log4j.appender.logfile=org.apache.log4j.FileAppender
log4j.appender.logfile.File=target/spring.log
log4j.appender.logfile.layout=org.apache.log4j.PatternLayout
log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

默认分类

大数据

许可协议: CC BY 4.0