`

hadoop灾备

阅读更多
master 故障测试(冷备方案NameNode故障手动切换):
1. 不切换 NameNode 主机。
   1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。
   2).清空 NameNode 的 dfs.name.dir 目录的数据,保留空目录。
   3).在 NameNode 主机执行 hadoop namenode -importCheckpoint 。
   4).执行 hadoop fsck /  检查文件系统,"The filesystem under path '/' is HEALTHY" 为正常结果。
   5).结束 步骤 3). 中的命令,Ctrl + C,结束 checkpoint
   6).清空 NameNode 的 fs.checkpoint.dir 目录的数据
   7). start-dfs.sh 正常启动 datenode
2. 切换 NameNode 主机
   0). 修改 DNS 服务器,把 master.hadoop 指向新的 NameNode
   1).复制 SecondaryNameNode 的 fs.checkpoint.dir 目录的数据到 NameNode 的对应目录。
   2).清空 NameNode 的 dfs.name.dir 目录的数据,保留空目录。
   3).在 NameNode 主机执行 hadoop namenode -importCheckpoint 。
   3.1).   结束 步骤 3). 中的命令,Ctrl + C,结束 checkpoint
   3.2). stop-all.sh 停掉 hadoop 集群
  4). 清空 NameNode 的 fs.checkpoint.dir 目录的数据
   5). start-all.sh  启动 hadoop 集群
   6). 执行 hadoop fsck /  检查文件系统,检查数据的完整性,"The filesystem under path '/' is HEALTHY" 为正常结果。
分享到:
评论

相关推荐

    hadoop多数据中心灾备

    The basis of this solution is to have one or more mirror Hadoop clusters which will be continuously updated with the data from the primary cluster in either a synchronous method or an asynchronous ...

    异地多机房Hadoop架构实践.pdf

    异地多机房Hadoop架构实践.pdf

    HBase 灾备方案

    HBase多数据中心方案及未来的增量备份功能介绍 HBase as a multiple-data-center solution and its future incremental backup function

    hadoop2.7.3 hadoop.dll

    在windows环境下开发hadoop时,需要配置HADOOP_HOME环境变量,变量值D:\hadoop-common-2.7.3-bin-master,并在Path追加%HADOOP_HOME%\bin,有可能出现如下错误: org.apache.hadoop.io.nativeio.NativeIO$Windows....

    Windows部署Hadoop必备文件

    在Windows 64下部署Hadoop必备文件,支持 version 2.7-*

    Eclipse中远程调试Hadoop必备资料

    Eclipse中远程调试Hadoop必备资料:hadoop-eclipse-plugin-1.1.1和hadoop-core-1.0.2-modified;已经在eclipse-jee-juno-SR1-win32-x86_64和hadoop1.1.1 下测试过。

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf

    《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf《Hadoop大数据开发实战》教学教案—01初识Hadoop.pdf...

    Hadoop 大数据入门必备资料

    Hadoop 大数据入门必备资料Hadoop 大数据入门必备资料

    Hadoop下载 hadoop-2.9.2.tar.gz

    Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo 的工程师 Doug Cutting 和 Mike Cafarella Hadoop 是一个处理、存储和分析海量的分布式、非结构化数据的开源框架。最初由 Yahoo...

    Hadoop下载 hadoop-3.3.3.tar.gz

    Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下,开发分布式程序。充分利用集群的威力进 Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不...

    Hadoop权威指南 中文版

    本书从hadoop的缘起开始,由浅入深,结合理论和实践,全方位地介绍hado叩这一高性能处理海量数据集的理想工具。全书共14章,3个附录,涉及的主题包括:haddoop简介:mapreduce简介:hadoop分布式文件系统;hadoop的i...

    hadoop_tutorial hadoop入门经典

    hadoop_tutorial hadoop入门经典 Hadoop 是一个能够对大量数据进行分布式处理的软件框架。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。...

    eclipse调试hadoop2.x必备

    win7上eclipse调试hadoop必备

    hadoop2.7.3 Winutils.exe hadoop.dll

    hadoop2.7.3 Winutils.exe hadoop.dll

    hadoop的dll文件 hadoop.zip

    hadoop的dll文件 hadoop.zip

    hadoop最新版本3.1.1全量jar包

    hadoop-annotations-3.1.1.jar hadoop-common-3.1.1.jar hadoop-mapreduce-client-core-3.1.1.jar hadoop-yarn-api-3.1.1.jar hadoop-auth-3.1.1.jar hadoop-hdfs-3.1.1.jar hadoop-mapreduce-client-hs-3.1.1.jar ...

    Hadoop集群pdf文档

    Hadoop 集群配置详解 Hadoop_Hadoop集群(第1期)_CentOS安装配置 Hadoop_Hadoop集群(第2期)_机器信息分布表 Hadoop_Hadoop集群(第4期)_SecureCRT使用 Hadoop_Hadoop集群(第5期)_Hadoop安装配置 Hadoop_Hadoop...

    hadoop配置资源 ,hadoop-3.0.0,hadoop.dll,winutils

    调用保存文件的算子,需要配置Hadoop依赖 将文件夹中的 hadoop-3.0.0 解压到电脑任意位置 在Python代码中使用os模块配置:os.environ[‘HADOOP_HOME’] = ‘HADOOP解压文件夹路径’ winutils.exe,并放入Hadoop解压...

    hadoop-3.3.4 版本(最新版)

    Apache Hadoop (hadoop-3.3.4.tar.gz)项目为可靠、可扩展的分布式计算开发开源软件。官网下载速度非常缓慢,因此将hadoop-3.3.4 版本放在这里,欢迎大家来下载使用! Hadoop 架构是一个开源的、基于 Java 的编程...

    Hadoop大数据资料集锦

    Hadoop大数据资料集锦Hadoop大数据资料集锦Hadoop大数据资料集锦Hadoop大数据资料集锦

Global site tag (gtag.js) - Google Analytics