使用VirtualBox搭建 Hadoop 测试集群

环境:

  • 物理机: i7 4核8线程,16G 内存的组装兼容机
  • VirtualBox Host: Ubuntu 14.04
  • VirtualBox: 4.3.20
  • VirtualBox Guest: CentOS 6.6 x86_64

本文的目的只是为了测试和理解Hadoop在集群机器中的运行过程。具体针对物理机的Hadoop 集群的一些操作不能以本位作为参考。

首先安装一台VM, 设置好之后,用linked clone 3台,这3台只需改一下IP, hostname 和一些必要的配置,这样操作的话可以减少很多时间和节约Host机的硬盘空间。

总共4台虚拟机,第一台 6G内存,其他2G, 因为我的Host机器只有16G 内存,这样的 分配应该不至于内存溢出。第一台机器因为承担比较重的任务,所以分配的内存比其他 三台都要高。

创建第一台机器,也就是克隆的原型

如果之前没有没有安装过CentOS, 国内同学可以去理工大服务器下载。

http://mirror ...

more ...

Mac OSX 下 Hadoop 使用本地库提高效率

环境:

  • Mac OSX: 10.9.5
  • Hadoop: 2.6.0
  • Java: 1.7.0_71

Mac OSX 下运行Hadoop老出现以下警告, 其实就是缺少本地库

14/12/05 14:40:27 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable

安装 protobuf

首先安装protobuf, 不然编译Hadoop会报错, 从以下地址下载

https://protobuf.googlecode.com/files ...

more ...

Mac OSX 下 Hadoop 单节点集群配置

环境:

  • Mac OSX: 10.9.5
  • Hadoop: 2.6.0
  • Java: 1.7.0_71 (1.8.0_25)

大数据是未来的趋势,要顺势而学之。

本文是参考Hadoop文档,但其描述为Linux写的。所以Mac是否适用容我来验证一下。 而且Hadoop的官方测试JDK只支持到1.7.0, 1.8.0是否成功也一起试了。

2014-12-05 Update: 1.8.0 虽然支持,但在用Maven编译Native Library的时候遇到很多 问题。所以最好转回1.7.0_71。

参考:

  • http://hadoop.apache.org/docs/r2.6.0/hadoop-project-dist ...
more ...