比如我在host1上把hadoop和hbase配置什么的搞好,打成tar包,运行以下脚本,即可在cluster升级。
我的cluster中有host1,host2,host3,host4,host5,host6,host21,host24,host0,hostut。注意这些host之间用用户hbase都可免密码ssh访问。
hbase和hadoop都会被安装在/Development下
Hadoop=hadoop-0.20.2
HBase=hbase-tm-2#45
HostList=’2
3
4
5
6
21
24
0
ut’
for i in $HostList; do
echo sending archive to host$i…
scp $Hadoop.tar $HBase.tar hbase@host$i:/Development
done
for i in $HostList; do
echo host$i extracting and making symbolic link…
ssh hbase@host$i “cd /Development; rm hbase; rm hadoop;rm -rf $Hadoop;rm
-rf $HBase; tar -xf $Hadoop.tar; tar -xf $HBase.tar; ln -s -f $HBase
hbase; ln -s -f $Hadoop hadoop”
done
for i in $HostList; do
echo host$i ‘add excuting right on hbase/bin/* and hadoop/bin/*’
ssh hbase@host$i ‘cd /Development/hbase/bin; chmod +x *; cd /Development/hadoop/bin; chmod +x *’
done
脚本说明:
脚本的最上端是定义hadoop和hbase的版本
再下来是host列表
接着就是传送文件,解压,创建软连接,添加bin目录下的文件的执行权限
相关推荐
hadoop&hbase;高可用测试环境搭建,包含搭建脚本和搭建步骤。请详细参见搭建步骤后在使用脚本
hadoop+HBase+Kylin集群启动停止命令
含有hbase启动脚本,xsync分发脚本,hadoop启动脚本,zookeeper启动脚本,jpsall脚本,整个集群启动脚本,有详细的安装教程文件,对应pdf版本和doc版本都有。非常详细,包学会。进行测试一下记得检查是否安装成功,...
hbase启动说明和python脚本,配合另外两个资源文件hbase和hadoop使用,亲测可用
模块二 Hadoop生态系统介绍和演示 Hadoop HDFS 和 MapReduce Hadoop数据库之HBase Hadoop数据仓库之Hive Hadoop数据处理脚本Pig Hadoop数据接口Sqoop和Flume,Scribe DataX Hadoop工作流引擎 Oozie 运用Hadoop...
12.13. HBase 和 Hadoop 版本相关 12.14. 案例 13. 案例研究 13.1. 概要 13.2. Schema 设计 13.3. 性能/故障排除 14. HBase Operational Management 14.1. HBase Tools and Utilities 14.2. Region Management 14.3....
里面包含hadoop快速集成kerberos认证相关脚本与安装包。可以通过脚本直接修改hadoop,zookeeper,hbase关于集成kerberos相关配置,一键修改,一键启动,方便快捷!!!
autoinstallhadoop 自动安装JDK,Maven,Ant,Maven,Hadoop脚本 脚本开发者:三劫散仙 ...本脚本能够快速在Linux上安装JAVA环境,并部署hadoop,其中关于hadoop,hbase和Zookeeper的配置 分别在压缩包内的
需要自己先安装jdk和Hadoop,也可以去这里https://download.csdn.net/download/weixin_44033210/12657718,https://download.csdn.net/download/weixin_44033210/12657738,这里有自动安装jdk和Hadoop的脚本
自己写的脚本,一键启动hadoop、hbase、zookeeper(几个zookeepler同时启动)、hive。另有一键关闭集群和一键关机功能
AWS,Docker,Spark,Hadoop,HBase,Hive,Impala,Python和Linux工具 DevOps,云,大数据,NoSQL,Python和Linux工具。 所有程序都具有--help 。 也可以看看: repos包含数百种针对云,大数据,SQL,NoSQL,Web和...
自己根据大数据需求搞的docker镜像,3台服务器,实现hadoop、hbase、phoenix、zookeeper、scala、kafka、hive、mysql集群环境,使用方便,快速搭建hadoop大数据集群环境,镜像拉取后可以通过一个脚本启动集群。
11.1.3 深入HiveQL 11.1.4 Hive小结 11.2 其他Hadoop 相关的部分 11.2.1 HBase 11.2.2 ZooKeeper 11.2.3 Cascading 11.2.4 Cloudera 11.2.5 Katta 11.2.6 CloudBase 11.2.7 Aster Data和Greenplum 11.2.8 ...
cdh5.5.4 集群搭建 【自动化脚本+hadoop-ha,yarn-ha,zk,hbase,hive,flume,kafka,spark】全套高可用环境搭建,还有自动化启动脚本。只需要复制粘贴命令,就可以完成。3台机器。相关资源可以留言发邮件,我发资料。cdh...
本hbase的jar依赖包主要是基于hbase-1.0.0-cdh5.6.1版本,之所以用cdh版,是因为测试脚本引用的是这个版本的类和方法。 本依赖包在Loadrunner12和Jmeter3.1下测试通过,是从网上收集的基础包组成,能够满足测试所有...
本书从Hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍Hadoop这一高性能处理海量数据集的理想工具。全书共16章,3个附录,涉及的主题包括:Haddoop简介;MapReduce简介;Hadoop分布式文件系统;Hadoop...
Apache Hadoop和Hadoop生态圈 第2章 关于MapReduce 一个气象数据集 数据的格式 使用Unix工具进行数据分析 使用Hadoop分析数据 map阶段和reduce阶段 横向扩展 合并函数 运行一个分布式的MapReduce作业 Hadoop的...
3.hbase的shell脚本 13 4.对namespace的操作 13 5.查看namespace 13 5.1 查看namespace下面有什么table 13 6.创建namespace 14 7.描述namespace 14 8.删除namespace 15 四:对表的操作 15 1.查看表 15 2.新建表 16 3...
采用Docker Swarm集群方式, 部署Hadoop3.x + HBase2.x的真正分布式集群环境,趟坑无数, 配置文件已整理好,内置Dockerfile构建文件、docker-compose脚本文件、hbase安装包、hadoop配置文件等。可以根据生产环境, ...
2.2.4 HBase 技术点6 HBase 导入HDFS 技术点7 将HBase 作为MapReduce 的数据源2.3 将数据导出Hadoop 2.3.1 将数据导入本地文件系统技术点8 自动复制HDFS 中的文件2.3.2 数据库技术点9 使用Sqoop 将...