我使用的是ubuntu10.04.3版本,Hadoop与HBase使用的是Cloudera公司的hadoop0.20.2-cdh3u1与hbase0.90.3-cdh3u1版本。
1.集群规划:
使用3个虚拟机来构建集群,以后可以考虑做增加节点的实验。
机器名,IP分别为:
myCloud01,10.63.0.121, hadoop namenode,datanode / hbase HMaster
myCloud02,10.63.0.122, hadoop datanode / hbase HRegionServer
myCloud03,10.6.30.123, hadoop daganode / hbase HRegionServer
myCloud01做为master,slave与JobTracker,myCloud02与myCloud03做为slave与TaskTracker。
查看机器名字:$hostname
修改ubuntun机器的hostname,直接修改/etc /hostname文件
2.安装Hadoop与HBase之前的准备:
1) 创建非root用户hadoop
由于Cloudera公司的Hadoop只能在非root用户下启动,因此,我们建立一个非root用户hadoop,密码也为hadoop。
2)安装jdk
由于Hadoop要使用到jdk,因此在安装Hadoop之前必须安装jdk。我下载的是jdk-6u16-dlj-linux-i586.bin。首先赋予该文件执行权限:
$chmod a+x jdk-6u16-dlj-linux-i586.bin
然后安装jdk:
$./jdk-6u16-dlj-linux-i586.bin
3)解压hadoop0.20.2-cdh3u1,hbase0.90.3-cdh3u1
在myCloud01,myCloud02,myCloud03上创建cdh3目录
$mkdir /home/hadoop/cdh3
在myCloud01上解压hadoop0.20.2-cdh3u1,hbase0.90.3-cdh3u1,zookeeper-3.3.3-cdh3u1
$tar zxvf hadoop0.20.2-cdh3u1.tar.gz -C /home/hadoop/cdh3
$tar zxvf hbase0.90.3-cdh3u1.tar.gz -C /home/hadoop/cdh3
$tar zxvf zookeeper-3.3.3-cdh3u1.tar.gz -C /home/hadoop/cdh3
在myCloud01上修改/etc/profile
$sudo vim /etc/profile
添加代码
在myCloud02,myCloud03上修改/etc/profile
$sudo vim /etc/profile
添加代码
4)设置ssh免密码登录
用hadoop用户登录myCloud01,myCloud02,myCloud03,在/home/hadoop/下建立.ssh目录
$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
在~/.ssh/会生成两个文件:id_rsa和id_rsa.pub
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将authorized_keys拷贝到myCould02和myCloud03
$ scp /home/hadoop/.ssh/authorized_keys hadoop@10.63.0.122:/home/hadoop/.ssh/
5)修改hosts文件
$sudo vim /etc/hosts
修改所有机器的/etc/hosts文件为:
然后在myCloud01上用ssh登陆myCloud02,myCloud03,第一次登录需要确认,以后就不需要了。
$ssh myCloud02
$ssh myCloud03
3.安装Hadoop
1)在myCloud01上修改Hadoop环境变量
在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hadoop-env.sh中添加
2)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/core-site.xml中添加
3)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hdfs-site.xml中添加
4)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/mapred-site.xml中添加
5)将/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/masters修改为
6)将/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/slaves修改为
7)拷贝myCloud01的Hadoop到myCloud02与myCloud03
$ scp -r /home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/hadoop@10.63.0.122:/home/hadoop/cdh3/
8)格式化Hadoop
在myCloud01上使用下面的命令:
$hadoop namenode -format
启动Hadoop:
$start-all.sh
使用$jps命令查看,如果namenode,secondarynode,datanode,jobtracker,tasktracker都启动起来表明Hadoop启动成功。然后打开http//myCloud01:50070就可以观察datanode,打开http://myCloud01:50030就可以观察JobTracker。
4.安装HBase
1)在myCloud01上修改/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/hbase-env.sh添加
2) 在myCloud01上修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hadoop-env.sh添加
2)在myCloud01上修改/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/hbase-site.xml添加
3)在myCloud01上/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/regionservers添加
4)将myCloud01上得hbase拷贝到myCloud02与myCloud03上
$ scp -r /home/hadoop/cdh3/hbase-0.90.3-cdh3u1/ hadoop@10.63.0.122:/home/hadoop/cdh3/
5) 在Hadoop启动的情况下,使用$start-hbase.sh命令,用$jps查看,如果发现HMaster进程,则表明已经HBase已经启动。可以打开http://myCloud01查看HBase的详细信息。
1.集群规划:
使用3个虚拟机来构建集群,以后可以考虑做增加节点的实验。
机器名,IP分别为:
myCloud01,10.63.0.121, hadoop namenode,datanode / hbase HMaster
myCloud02,10.63.0.122, hadoop datanode / hbase HRegionServer
myCloud03,10.6.30.123, hadoop daganode / hbase HRegionServer
myCloud01做为master,slave与JobTracker,myCloud02与myCloud03做为slave与TaskTracker。
查看机器名字:$hostname
修改ubuntun机器的hostname,直接修改/etc /hostname文件
2.安装Hadoop与HBase之前的准备:
1) 创建非root用户hadoop
由于Cloudera公司的Hadoop只能在非root用户下启动,因此,我们建立一个非root用户hadoop,密码也为hadoop。
2)安装jdk
由于Hadoop要使用到jdk,因此在安装Hadoop之前必须安装jdk。我下载的是jdk-6u16-dlj-linux-i586.bin。首先赋予该文件执行权限:
$chmod a+x jdk-6u16-dlj-linux-i586.bin
然后安装jdk:
$./jdk-6u16-dlj-linux-i586.bin
3)解压hadoop0.20.2-cdh3u1,hbase0.90.3-cdh3u1
在myCloud01,myCloud02,myCloud03上创建cdh3目录
$mkdir /home/hadoop/cdh3
在myCloud01上解压hadoop0.20.2-cdh3u1,hbase0.90.3-cdh3u1,zookeeper-3.3.3-cdh3u1
$tar zxvf hadoop0.20.2-cdh3u1.tar.gz -C /home/hadoop/cdh3
$tar zxvf hbase0.90.3-cdh3u1.tar.gz -C /home/hadoop/cdh3
$tar zxvf zookeeper-3.3.3-cdh3u1.tar.gz -C /home/hadoop/cdh3
在myCloud01上修改/etc/profile
$sudo vim /etc/profile
添加代码
JAVA_HOME=/home/hadoop/cdh3/jdk1.6.0_16 JRE_HOME=$JAVA_HOME/jre HADOOP_HOME=/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1 HBASE_HOME=/home/hadoop/cdh3/hbase-0.90.3-cdh3u1 ZOOKEEPER_HOME=/home/hadoop/cdh3/zookeeper-3.3.3-cdh3u1 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar:$CLASSPATH PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$ZOOKEEPER_HOME/bin:$ZOOKEEPER_HOME/conf:$PATH export JAVA_HOME JRE_HOME CLASSPATH HADOOP_HOME HBASE_HOME ZOOKEEPER_HOME PATH
在myCloud02,myCloud03上修改/etc/profile
$sudo vim /etc/profile
添加代码
JAVA_HOME=/home/hadoop/cdh3/jdk1.6.0_16 JRE_HOME=$JAVA_HOME/jre HADOOP_HOME=/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1 HBASE_HOME=/home/hadoop/cdh3/hbase-0.90.3-cdh3u1 CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar$CLASSPATH PATH=$JAVA_HOME/bin:$HADOOP_HOME/bin:$HBASE_HOME/bin:$PATH export JAVA_HOME JRE_HOME CLASSPATH HADOOP_HOME HBASE_HOME PATH
4)设置ssh免密码登录
用hadoop用户登录myCloud01,myCloud02,myCloud03,在/home/hadoop/下建立.ssh目录
$ssh-keygen -t rsa -P '' -f ~/.ssh/id_rsa
在~/.ssh/会生成两个文件:id_rsa和id_rsa.pub
$cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
将authorized_keys拷贝到myCould02和myCloud03
$ scp /home/hadoop/.ssh/authorized_keys hadoop@10.63.0.122:/home/hadoop/.ssh/
5)修改hosts文件
$sudo vim /etc/hosts
修改所有机器的/etc/hosts文件为:
127.0.0.1 loaclhost 10.63.0.121 myCloud01 10.63.0.122 myCloud02 10.63.0.123 myCloud03
然后在myCloud01上用ssh登陆myCloud02,myCloud03,第一次登录需要确认,以后就不需要了。
$ssh myCloud02
$ssh myCloud03
3.安装Hadoop
1)在myCloud01上修改Hadoop环境变量
在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hadoop-env.sh中添加
export JAVA_HOME=/home/hadoop/cdh3/jdk1.6.0_16
2)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/core-site.xml中添加
<property> <name>fs.default.name</name> <value>hdfs://myCloud01:9000</value> </property> <property> <name>hadoop.tmp.dir</name> <value>/data/tmp</value> </property>
3)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hdfs-site.xml中添加
<property> <name>dfs.replication</name> <value>1</value> </property> <property> <name>dfs.permissions</name> <value>false</value> </property> <property> <name>dfs.name.dir</name> <value>/data/name</value> </property> <property> <name>dfs.data.dir</name> <value>/data/data</value> </property>
4)在/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/mapred-site.xml中添加
<property> <name>mapred.job.tracker</name> <value>myCloud01:9001</value> </property>
5)将/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/masters修改为
myCloud01
6)将/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/slaves修改为
myCloud01 myCloud02 myCloud03
7)拷贝myCloud01的Hadoop到myCloud02与myCloud03
$ scp -r /home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/hadoop@10.63.0.122:/home/hadoop/cdh3/
8)格式化Hadoop
在myCloud01上使用下面的命令:
$hadoop namenode -format
启动Hadoop:
$start-all.sh
使用$jps命令查看,如果namenode,secondarynode,datanode,jobtracker,tasktracker都启动起来表明Hadoop启动成功。然后打开http//myCloud01:50070就可以观察datanode,打开http://myCloud01:50030就可以观察JobTracker。
4.安装HBase
1)在myCloud01上修改/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/hbase-env.sh添加
export JAVA_HOME=/home/hadoop/cdh3/jdk1.6.0_16 export HBASE_CLASSPATH=/home/hadoop/cdh3/hbase-0.90.3/conf
2) 在myCloud01上修改/home/hadoop/cdh3/hadoop-0.20.2-cdh3u1/conf/hadoop-env.sh添加
export HBASE_HOME=/home/hadoop/cdh3/hbase-0.90.3-cdh3u1 export HADOOP_CLASSPATH=$HADOOP_CLASSPATH:$HBASE_HOME/hbase-0.90.3-cdh3u1.jar:$HBASE/hbase-0.90.3-cdh3u1-tests.jar:$HBASE_HOME/lib/zookeeper-3.3.3-cdh3u1.jar
2)在myCloud01上修改/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/hbase-site.xml添加
<property> <name>hbase.rootdir</name> <value>hdfs://myCloud01:9000/hbase</value> </property> <property> <name>hbase.cluster.distributed</name> <value>true</value> </property> <property> <name>hbase.master.port</name> <value>6000</value> </property> <property> <name>hbase.zookeeper.quorum</name> <value>myCloud01</value> </property>
3)在myCloud01上/home/hadoop/cdh3/hbase-0.90.3-cdh3u1/conf/regionservers添加
myCloud01 myCloud02 myCloud03
4)将myCloud01上得hbase拷贝到myCloud02与myCloud03上
$ scp -r /home/hadoop/cdh3/hbase-0.90.3-cdh3u1/ hadoop@10.63.0.122:/home/hadoop/cdh3/
5) 在Hadoop启动的情况下,使用$start-hbase.sh命令,用$jps查看,如果发现HMaster进程,则表明已经HBase已经启动。可以打开http://myCloud01查看HBase的详细信息。
发表评论
-
Git Wiki
2014-01-10 10:24 1697Create Git repository on server ... -
Git -版本控制工具
2012-04-13 17:19 1121参考资料:http://progit.org/book/zh/ ... -
VNC Viewer 10061, connection refused
2012-02-17 10:13 2983在Windows系统下用VNC Viewer去连接Linux系 ... -
ubuntu下安装VMtools(zz)
2011-12-13 15:13 1572安装vmtools的终端命令如下(网上搜的) 1 ... -
ubuntu下安装MySQL
2011-10-24 12:30 1887ubuntu下安装MySQL,我用的是在线安装的方式,省去了很 ... -
安装Hive
2011-10-20 17:08 6535从http://archive.cloudera.com/cd ... -
安装Hadoop和HBase中遇到的错误
2011-09-28 23:26 24331.Hadoop格式化HDFS报错 java.net.Unkn ... -
ubuntu时间不对
2011-09-26 22:33 10670我在虚拟机上安装了ubuntu10.04.3,一直采用的是默认 ... -
修改了/var权限
2011-09-26 12:46 1142使用 sudo chown -R /var 修改了/var的所 ... -
linux下安装jdk
2011-09-24 13:43 974第一次下载的是.rpm.bin版本,安装的时候总是显示依赖性检 ... -
Xshell连接ubuntu
2011-09-23 16:45 1722xshell中修改编码为UTF-8的方法:[文件]–>[ ... -
虚拟机不能ping通宿主机
2011-09-23 12:44 1166宿主机可以ping通虚拟机,虚拟机不能ping通宿主机,可能是 ... -
配置ubuntu系统IP
2010-12-29 14:58 1245在虚拟机上安装了Ubun ...
相关推荐
Hadoop(Hbase)的安装部署与配置实验
Hadoop和Hbase安装使用教程
hadoop,hbase,hive版本整合兼容性最全,最详细说明【适用于任何版本】,避免下载后才发现不兼容的坑
hadoop和hbase集成所需jar包。例如使用hbase进行MapReduce。 需要更多资源请关注我。
hadoop集群配置流程以及用到的配置文件,hadoop2.8.4、hbase2.1.0、zookeeper3.4.12
hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记hadoop,hbase,zookeeper安装笔记
Hadoop+Hbase技术使用文档 1 目的 3 2 运行环境要求 4 2.1 支持的平台 4 2.2 硬件环境 4 2.3 软件环境 4 2.4 其他要求 5 3 安装jdk 5 3.1 查看本机的jdk版本 5 3.2 卸载低版本jdk 5 3.3 安装jdk 6 3.4 配置JDK1.6.0_...
在win10系统中,部署hadoop+hbase,便于单机测试调试开发
hadoop hive hbase安装过程
本资源是作者参加云计算培训课程后整理的hadoop和hbase文件的配置。里面有详细的hadoop和habse的安装步骤。。
jdk1.8.0_131、apache-zookeeper-3.8.0、hadoop-3.3.2、hbase-2.4.12 mysql5.7.38、mysql jdbc驱动mysql-connector-java-8.0.8-dmr-bin.jar、 apache-hive-3.1.3 2.本文软件均安装在自建的目录/export/server/下 ...
Hadoop Hive HBase Spark Storm概念解释
资源包含的整个demo在Hadoop,和Hbase环境搭建好了,可以启动起来。 技术选型 1.Hadoop 2.Hbase 3.SpringBoot ...... 系统实现的功能 1.用户登录与注册 2.用户网盘管理 3.文件在线浏览功能 4.文件上传与下载 基于...
Hadoop hbase hive sqoop集群环境安装配置及使用文档
利用两台云主机(真实环境至少三台)安装hadoop+hbase+sqoop2+phoenix+kerberos的过程笔记,从伪分布式到kerberos认证。
Hadoop与HBase自学笔记 1、 安装jdk 2、 安装Cygwin以及相关服务 2.1 安装Cygwin 2.2 配置环境变量 2.3 安装sshd服务 2.4 启动sshd服务 2.5 配置ssh登录 3、安装hadoop 3.1 修改hadoop-env.sh 3.2 修改...
云计算实验,Hadoop和Hbase安装使用,
很多刚入门的同学找不到版本对应关系,这里从官网整理下来,供大家参考 hadoop、hbase、hive版本对应关系.新手指导hadoop、hbase、hive版本对应关系查找表
其中HBase位于结构化存储层,Hadoop HDFS为HBase提供了高可靠性的底层存储支持,Hadoop MapReduce为HBase提供了高性能的计算能力,Zookeeper为HBase提供了稳定服务和failover机制。 此外,Pig和Hive还为HBase提供了...
Hadoop之Hbase从入门到精通 .doc