#Spark

5 篇文章

2023年6月9日

IDEA搭建Spark运行环境

Windows 环境下使用 IntelliJ IDEA 搭建 Spark 开发环境的步骤，包括 Maven 依赖、Hadoop 配置与环境变量设置

2023年11月6日

Spark 3.1.1 Standalone 模式集群部署完整流程，涵盖环境配置、高可用设置、历史服务器搭建及任务提交

2023年11月7日

Spark 3.1.1 在 YARN 模式下的单点部署流程，包括环境配置、内存检查关闭、历史服务器搭建及任务提交

2023年11月12日

大数据离线组件集群启停命令与 Web UI 地址速查表，涵盖 Hadoop、Zookeeper、Spark、Hive、HBase、ClickHouse、Azkaban

2023年11月15日

Spark DataFrame 常用 API 速查，涵盖读写操作、Join 连接、日期处理、排序筛选等核心方法