1.参考。

利用IDEA工具编译Spark源码(1.60~2.20)

Maven编译打包spark（2.1.0）源码及出现问题的解决方案（win7+Intellij IDEA）

通过maven将spark源码导入idea

 

使用 IntelliJ IDEA 导入 Spark 最新源码及编译 Spark 源代码（博主强烈推荐）

 

利用IDEA查看和修改spark源码

 

Spark源码之路（一）：Windows下用IDEA搭建源码阅读环境

 

spark source code下载：（我选择版本的是spark-2.2.0）

 

2.在使用sbt/maven用idea导入源码之前，先是在命令行build spark，但是构建失败。

a.Build Spark 的详细步骤参见构建Spark（中文）

http://spark.apachecn.org/docs/cn/2.2.0/building-spark.html#apache-maven

b.将MAVEN_OPTS设定为环境变量，win7下创建一个用户变量：

  变量名是MAVEN_OPTS 值为 -Xmx2g (or more)

c.在spark源码解压后的根目录D:\IdeaProject\spark-2.2.0下执行：

  mvn -DskipTests clean package

报错：

[ERROR] Failed to execute goal org.apache.maven.plugins:maven-antrun-plugin:1.8:

run (default) on project spark-core_2.11: An Ant BuildException has occured: Exe

cute failed: java.io.IOException: Cannot run program "bash" (in directory "D:\Id

eaProject\spark-2.2.0\core"): CreateProcess error=2, 系统找不到指定的文件。

[ERROR] around Ant part ...<exec executable="bash">... @ 4:27 in D:\IdeaProject\

解决：安装Windows Subsystem for Linux ，简单说就是可以在WINDOWS上执行Bash命令。

至少需要win10系统。我的是win7解决不了。

3.决定直接使用idea的open object打开源码压缩包，直接编译。