生活学习记录 生活学习记录
七七

七七

  • 累计撰写 150 篇文章
  • 累计创建 34 个分类
  • 累计收到 0 条评论

单节点HDFS配置

  • 2024-03-12 17:03
  • 18
  • 0
  • 0
  • 25.8℃
大数据数据 
core-site.xml <?xml version="1.0" encoding="UTF-8"?> <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> <!-- Licensed under the Apache Lice

Yarn之日志分析

  • 2024-03-12 17:03
  • 44
  • 0
  • 0
  • 28.4℃
大数据数据 
前言 Yarn中的id种类繁多，比较乱，下面整理下yarn中常出现的几种id，分别介绍一下。 1）jobId描述：出自MapReduce，对作业的唯一标识。 格式：job_${clusterStartTime}_${jobid} 例子：job_1498552288473_2742 2）applica

HADOOP联邦

  • 2024-03-12 17:02
  • 20
  • 0
  • 0
  • 26.0℃
大数据数据 
Federation即为“联邦”，该特性允许一个HDFS集群中存在多个NameNode同时对外提供服务，这些NameNode分管一部分目录（水平切分），彼此之间相互隔离，但共享底层的DataNode存储资源。 在hadoop1.x中HDFS的架构 文件的存储是放在块上的（Block Storage）

HDFS supergroup superuser

  • 2024-03-12 17:01
  • 13
  • 0
  • 0
  • 25.3℃
大数据数据 
默认情况下 hdfs 的namenode启动用户为 superuser 当程序实际运行中,获取进程/线程的用户,UGI的用户信息进行权限认证 其他用户需要超级权限,则需要加入supergroup Hadoop本身的用户和组的关系，都是同步Linux系统中的，但是HDFS和Linux的超级用户组又有一
弹