博客内容主要关于于大数据、分布式计算、边缘计算及Python
## yarn资源管理界面监控日志无法访问
对于log无法访问的问题，原因在于在访问日志的时候进行了重定向，而重定向的网络地址不是直接的ip地址，而是我们配置的私有域名，此时我们需要在本机host文件中加上目标网络地址的ip地址解析
## /tmp/df* not in a consistant state
出现此种错误一般是namenode没有格式化，导致元数据信息目录没有创建
## can not resolve ns1
无法解析集群服务，应该是在配置proxy的时候最后的nameservice没有修改
> 保持更新
继续阅读如何实现自动的故障转移？通过zookeeper，zookeeper是分布式协调服务框架，它可以为我们实现自动的故障转移，但一个namenode的状态发生变化的时候，其他的namenode就会选举出一个leader自动进入active状态。这个功能不需要我们写代码了，hdfs本身已经包含了这项服务。不过我们首先要配置zookeeper服务，然后开启自动故障转移功能。
继续阅读当namenode不可用的时候，那么整个HDFS都会奔溃。怎么解决namenode的单点问题？使系统具有高可用的特性？其实在HDFS设计的时候就考虑到了单点问题，解决方案主要由两种：一种是通过分布式的日志管理，一种是通过传统的共享文件内存。
继续阅读对于hadoop集群的基本配置，最好的文档永远是官方文档。但是跟着官方文档配置，大多数人无法从功能角度去理解。以致在下一次配置的时候，我们还是要去看官方文档，如果我们从功能角度去理解的话，那我们在第二次配置的时候，就能胸有成竹了。
继续阅读
