在 Ubuntu 20.04 上安装 Apache Spark 教程

Apache Spark 是一种用于大规模数据处理的开源、通用、多语言分析引擎，它通过利用集群中的 RAM 对大量数据执行快速数据查询，在单个和多个节点上工作。它提供批处理数据处理和实时流，并支持 Python、SQL、Scala、Java 或 R 等语言的高级 API。该框架提供内存技术，允许它直接将查询和数据存储在 集群节点的主内存。

本文介绍了如何在 Ubuntu 20.04 服务器上安装 Apache Spark。

安装之前请准备好一个 Ubuntu 20.04 系统，本地机器或者 VPS 都可以。然后最好准备一个具有 root 权限的非 root 账户。

一、安装 Java

更新系统

$ sudo apt update

安装 Java

$ sudo apt install default-jdk -y

验证 Java 安装

$ java -version

二、安装 Apache Spark

安装所需软件包

$ sudo apt install curl mlocate git scala -y

下载 Apache Spark，更多最新版本可以查看官方下载页面。

$ curl -O https://archive.apache.org/dist/spark/spark-3.2.0/spark-3.2.0-bin-hadoop3.2.tgz

解压安装文件

$ sudo tar xvf spark-3.2.0-bin-hadoop3.2.tgz

创建目录 /opt/spark.

$ sudo mkdir /opt/spark

复制文件

$ sudo mv spark-3.2.0-bin-hadoop3.2/* /opt/spark

修改权限

$ sudo chmod -R 777 /opt/spark

编辑 bashrc 配置文件，增加 Apache Spark 安装目录到系统路径

$ sudo nano ~/.bashrc

添加下面两行到文件并保存

export SPARK_HOME=/opt/spark
export PATH=$PATH:$SPARK_HOME/bin:$SPARK_HOME/sbin

保存文件并生效

$ source ~/.bashrc

启动 master server

$ start-master.sh

访问 http://ServerIPaddress:8080 以获取 server hostname，比如下面的链接

URL: spark://my-server-development:7077

启动 Apache Spark 工作进程，修改 spark://ubuntu:7077 成你的 server hostname

$ start-slave.sh spark://ubuntu:7077

三、访问 Apache Spark Web 界面

打开浏览器，输入 http://ServerIPaddress:8080 来访问 Apache Spark 的 Web 界面，比如

http://192.0.2.10:8080

四、优选 VPS 商家推荐

参考：《#老唐推荐# 最好用的国内云服务器、国外便宜 VPS 推荐》。

• 搬瓦工购买教程：《2021 最新搬瓦工购买教程：新用户注册账户、选择套餐、支付宝付款》
• 搬瓦工优惠码：BWH3HYATVBJW

下面是目前搬瓦工推荐方案。