Hadoop搭建开发环境图文教程

Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序,充分利用集群的威力进行高速运算和存储。 Hadoop 以一种可靠、高效、可伸缩的方式进行数据处理。Hadoop 依赖于社区服务，因此它的成本比较低，任何人都可以使用。

一、Hadoop配置软件（我的电脑是Windows7旗舰--64bit）

1. VMWare专用CentOS镜像(Centos是Linux操作系统的一种)

2. VMware-workstation10

3. hadoop-2.7.1.tar.gz

4. jdk-6u24-linux-i586.bin

5. PieTTY 0.3.26（登陆远程主机的终端）

6. winscp516setup（能够和Linux传输的文件的工具）

以上以及Hbase，Hive等软件的下载地址如下：

二、环境搭建

2.1 安装VMware-workstation10

VMware-workstation10的安装非常简单，只需要根据提示一步步选择“Next”即可，遇到回答“Yes”还是“No”的地方，选 择“Yes”。在安装过程中，会出现暂时的网络中断，不要惊慌，一会就会恢复。安装完成后在网络共享中心→更改适配器设置，会出现VMware- workstation10自动建立的虚拟网络如下图2.1所示

图2.1

vmnet0， 实际上就是一个虚拟的网桥（VMware已经不显示了，但仍然有此功能）

vmnet1， 这是一个Host-Only网络模式（使用Host-Only连接方式必须启用此网卡）

vmnet8， 这是一个NAT方式（使用NAT连接方式必须启用此网卡）

2.2 用VMware打开Centos镜像

将Centos镜像解压开以后，找到一下目录如下图2.2所示

图2.2

双击方框内的文件即可，不用安装，里面的Centos已经配置好，一共两个用户，一个是Hadoop普通账户，密码为hadoop,一个是root用户，密码为hadoop。

2.3 宿主机（windows）与客户机（安装在虚拟机中的Linux）网络连接

(1) host-only 宿主机与客户机单独组网。

好处：网络隔离

坏处：虚拟机与其他服务器之间不能通信

(2) brige 客户机与宿主机在同一个局域网中。

好处：都在同一个局域网可以相互访问

坏处：不安全

(3)NAT 略

2.4 设置网络

大家可以根据自己的条件设置自己的网络连接方式，由于使用的是内网我的IP端有限制，所以我使用桥接的方式。设置方式如下：

图 2.3

图 2.4

图 2.5

由于我使用的是桥接模式，虚拟机的VMnet1和VMnet8没有用到所以我将其禁用了，但选择Host-Only或NAT不能全部禁用，使用哪个就开启哪个。

(1)开机

图 2.6

在此处点击我已经移动

图 2.7

图 2.8

开启之后，我们选择Other，输入root，密码：hadoop进入系统，如下图

(2)配置静态网络

由于我使用的是桥接方式，所以Linux所设置的网段和我Host主机的网段在同一个网段中

图 2.9

图 2.10

图 2.11

图2.12 我电脑的IP为192.168.1.49，虚拟机的为192.168.1.50，两者在同一网段中，选择Manual静态模式，最后点击Apply

图2.13 配置成功