《Spark 快速入门与生态资源》
本文整理 Spark 入门资料、Jupyter 集成以及 Spark Streaming 源码学习路线。
1 官方资源
- 快速开始：https://spark.apache.org/docs/latest/quick-start.html
- 示例代码：https://spark.apache.org/examples.html
- 官方文档：https://spark.apache.org/docs/latest/
- 项目地址：https://github.com/apache/spark
2 通过 Jupyter 使用 Spark（Toree）
Apache Toree 提供 Spark 的 Jupyter 内核，可以在 Notebook 中交互式编写 Scala。
安装（以 pip 方式为例）：
# 安装 Toree 内核
pip install --upgrade toree
jupyter toree install --spark_home=/usr/local/bin/apache-spark/
# 安装 notebook
pip install notebook
启动 Jupyter：
# 默认端口 8888
jupyter notebook
# 指定端口
jupyter notebook --port 9999
参考资料：
- https://toree.incubator.apache.org/docs/current/user/quick-start/
- https://jupyter.readthedocs.io/en/latest/running.html
3 Spark Streaming 源码解读
阅读 —
·
全站 —