int32bit
公告
外部文章迁移完毕文章分类
最新评论
最新留言
友情链接
RSS
功能
热门文章
随机文章
存档
访问次数
301410
构建hadoop2.5.2环境下的spark1.1.1
int32位
posted @ Dec 01, 2014 01:09:04 PM
in hadoop/spark
, 1572 阅读
转载请注明：http://krystism.is-programmer.com/若有错误，请多多指正，谢谢！
转载请注明：http://krystism.is-programmer.com/若有错误，请多多指正，谢谢！
当前已编译的spark二进制包只有hadoop2.4和cdh4版本的，如果搭的是hadoop2.5.x，则需要自己从源码中构建。
下载源码
从官网中下载源码，在Chose a package type 中选择Source Code, 下载后解压缩。
tar xvf spark-1.1.1.tgz
编译
Step1 设置maven内存限制
export MAVEN_OPTS="-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m"
Step2 增加hadoop-2.5的profile
注意hadoop版本2.x.x需要指定profile，在根下的pom.xml下只有2.4.0的profile， 如果要在hadoop-2.5.x下，需要手动加上hadoop-2.5的profile，即添加pom.xml：
<profile>
<id>hadoop-2.5</id>
<properties>
<hadoop.version>2.5.2</hadoop.version>
<protobuf.version>2.5.0</protobuf.version>
<jets3t.version>0.9.0</jets3t.version>
</properties>
</profile>
否则编译的结果得到的protobuf版本不对，无法读取hdfs上的文件，抛java.lang.VerifyError: class org.apache.hadoop.hdfs .protocol.proto.ClientNamenodeProtocolProtos$CreateSnapshotRequestProto overrides final method getUnknownFields.() Lcom/google/protobuf/UnknownFieldSet;
Step3 编译
运行:
mvn -Pyarn -Phadoop-2.5 -Dhadoop.version=2.5.2 -Phive -DskipTests clean package
评论 (0)