转载

搭建MESOS大数据平台的总结

基于阿三的《Mesos大数据资源调度与大规模容器运行最佳实践》，主要就列举一些注意事项

搭建采用的是在笔记本电脑上的virtualbox内建的虚拟机，基本配置：1C2G20G 网络连接：采用桥接方式

操作系统： Ubuntu14.04LTS （一开始采用Ubuntu14.10版本，编译mesos时各种报错，后换为14.04版本）

一、mesos

基本按照书上P8~15页上的操作即可，需要注意的是要将/etc/host文件修改如下：

127.0.0.1 localhost

127.0.0.1 mesos //此行注释掉

192.168.1.112 mesos //采用固定IP（用ifconfig查询）

vagrant我没有安装成功，这块如果有人在virtubox的ubuntu虚拟机中装成功的，可以告诉我一下，我学习学习

二、 zookeeper

注：书的编排估计有点问题，前面mesos安装部署时举例没有讲zookeeper配置方式，而后面的hadoop、spark、storm等等举例又用的是zookeeper配置方式，所以这里要先做一下P108页的zookeeper配置。

三. hadoop

基本上可以参照P23~27页操作，需要注意：

1. 设置环境变量，在/etc/profile开头添加：

export JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64/" //JDK安装目录

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

export HADOOP_HOME=/home/fjibj/hadoop //hadoop安装目录

export PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

2. 如果运行hadoop命令时报找不到native本地库的错误，需要重新编译CDH：

mvn package -Pdist,native -DskipTests -Dtar

编译时会遇到各种问题，下面把我遇到的问题及解决方案列一下：

（1）findbugs: findbugs必须网上下载，解压，之后编译安装：

unzip findbugs-3.0.1-source.zip

进入到解压后的目录，直接运行ant命令

然后在shell输入: export FINDBUGS_HOME=解压后的目录。不安装的话会有这个错误:

Caused by: org.apache.maven.plugin.MojoExecutionException: An Ant BuildException has occured: stylesheet /home/hadoop/hadoop-2.0.4-alpha-src/hadoop-common-project/hadoop-common/${env.FINDBUGS_HOME}/src/xsl/default.xsl doesn't exist.

（2）如果运行hadoop命令时报找不到native本地库，检查hadoop-2.5.0-cdh5.2.0/lib/native目录下是否有Linux-amd64-64目录及该目录下一堆.so文件（包括一些软连接），如果没有需要重新编译CDH，进入到hadoop-2.5.0-cdh5.2.0/src目录下运行：

mvn package -Pdist,native -DskipTests -Dtar

经过漫长的编译时间后，

将编译后的src/hadoop-dist/target/hadoop-2.5.0-cdh5.2.0/lib/native下的内容复制到lib/native/Linux-amd64-64目录下，并建立相应的软连接

（3）执行hadoop jobtracker时如果

遇到Failed to load native Mesos library from /home/fjibj/hadoop/lib/native/Linux-amd64-64

15/11/05 02:52:41 FATAL mapred.JobTracker: java.lang.UnsatisfiedLinkError: no mesos in java.library.path

执行：

fjibj@mesos:/usr/local/lib$ cp libmesos-0.25.0.so ~/hadoop/lib/native/Linux-amd64-64/

fjibj@mesos:/usr/local/lib$ cd ~/hadoop/lib/native/Linux-amd64-64/

fjibj@mesos:~/hadoop/lib/native/Linux-amd64-64$ ln -s libmesos-0.25.0.so libmesos.so

（4）如果上传文件到dfs时遇到put: Cannot create file/xxxxx.tar.gz._COPYING_. Name node is in safe mode.可以

去除安全模式：hadoop dfsadmin -safemode leave

（5）hadoop datanode不能启动或经常自动挂掉的解决方案：

a)进入/home/fjibj/hadoop/logs/hadoop-fjibj-datanode-mesos.out所在目录，检查

tail -100 hadoop-fjibj-datanode-mesos.log

发现有：

java.io.IOException: Incompatible clusterIDs in /home/fjibj/tmp/dfs/data:namenode clusterID = CID-62809071-82b4-4cca-bbcf-c87d4ddb85fd; datanode clusterID = CID-8606188a-f0b5-4999-88d9-5ed44bea449d

表示datanode与namenode的clusterID不一致

b) 检查core-site.xml或hdfs-site.xml中的hadoop.tmp.dir的值，这里是/home/fjibj/tmp，同时检查是否有设置dfs.data.dir，如果有的话以dfs.data.dir的值为准

c) 进入上一步查出的目录（/home/fjibj/tmp）/dfs/data/current目录下，修改VERSION文件：

将其中的

clusterID= 前面异常信息中的namenode clusterID的值

保存

d) 重启datanode

hadoop-daemon.sh start datanode

四、spark

基本可参考P38~41页上操作，需要注意：

（1）vim conf/spark-defaults.conf

spark.executor.uri hdfs://localhost:9000/tmp/spark-1.5.1.tar.gz

spark.io.compression.codec lzf

spark.master mesos://zk://localhost:2181/mesos

spark.mesos.coarse true

（2）vim conf/spark-env.sh

JAVA_HOME="/usr/lib/jvm/java-7-openjdk-amd64/"

MESOS_HOME=/home/fjibj/mesos

MESOS_NATIVE_JAVA_LIBRARY=/home/fjibj/hadoop/lib/native/Linux-amd64-64/libmesos.so

SPARK_EXECUTOR_URI=hdfs://localhost:9000/tmp/spark-1.5.1.tar.gz

MASTER=mesos://zk://localhost:2181/mesos

HADOOP_HOME=/home/fjibj/hadoop

PATH=$HADOOP_HOME/bin:$PATH

SPARK_DIST_CLASSPATH=$(hadoop classpath)

SPARK_EXECUTOR_MEMORY=100M

SPARK_WORKER_MEMORY=100M

（3）运行 ./bin/run-example org.apache.spark.examples.SparkPi时遇到

Caused by: org.xerial.snappy.SnappyError: [FAILED_TO_LOAD_NATIVE_LIBRARY] null

是由于snappy版本问题，可采用修改压缩方式解决：

修改vim conf/spark-defaults.conf添加：

spark.io.compression.codec lzf

（遇到WARN component.AbstractLifeCycle: FAILED SelectChannelConnector@0.0.0.0:4040: java.net.BindException: Address already in use

java.net.BindException: Address already in use问题可直接忽略，spark会尝试4041，4042等其他端口）

（4）将spark目录重新打包并上传到hdfs

tar zcvf spark-1.5.1.tar.gz spark-1.5.1-bin-without-hadoop

hadoop fs -put spark-1.5.1.tar.gz /tmp

（5）以zookeeper方式启动mesos-master、mesos-slave、hadoop namenode、hadoop datanode

启动zookeeper:

cd mesos/3rdparty/zookeeper-3.4.5/

bin/zkServer.sh start

或

mesos/3rdparty/zookeeper-3.4.5/bin/zkServer.sh start

启动mesos master:

mesos-master --quorum=1 --work_dir=/var/lib/mesos --zk=zk://localhost:2181/mesos --log_dir=/home/fjibj/mesos/mesos-master.log &

启动mesos slave:

mesos-slave --master=zk://localhost:2181/mesos

五、各平台对应的WEB UI：

mesos： http://192.168.1.112:5050/

hdfs： http://192.168.1.112:50070/

spark： http://192.168.1.112:4040/

六、后面storm直到marathon的安装部署都比较顺利

正文到此结束

所属分类：编程技术

本文标签： 目录 Hadoop zookeeper 时间 build linux classpath ip 安全大数据 example 下载编译 shell apr NSA 操作系统笔记本电脑 web maven Datanode 数据 XML http apache db Namenode UI Select core zip node HDFS 配置 App src java 端口 find 安装 CTO lib Ubuntu IBM tar map 注释 dist
版权声明： 本文为互联网转载文章，出处已在文章中说明(部分除外)。如果侵权，请联系本站长删除，谢谢。
本文海报： 生成海报一生成海报二

其他链接

关于本站

本站定位：个人技术类博客

本站作用：写博客、记日志、闲聊扯淡鼓捣技术。

问题交流

搭建MESOS大数据平台的总结

127.0.0.1 mesos //此行注释掉

热门推荐

相关文章

说给你听

本文目录

随机标签

书籍教程

近期评论

网站信息

其他链接

关于本站

问题交流