管理Hadoop中的3个node

1.namenode:

Namenode 管理着文件系统的Namespace。它珍贵着文件系统树(filesystem
tree)以及文件树中兼有的公文和文书夹的元数据(metadata)。管理这一个消息的文书有五个,分别是Namespace
镜像文件(Namespace image)和操作日志文件(edit
log),这一个信息被Cache在RAM中,当然,这五个文本也会被持久化存储在地面硬盘。Namenode记录着各种文件中逐条块所在的数量节点的职位音讯,然而她并不持久化存储这几个音信,因为那些音讯会在系统启动时从数量节点重建。
Namenode结构图抽象图如下

image.png

由此看来,不论B端如故C端,对成品的11个基本技能——交互设计能力、逻辑梳理能力、需求分析能力、数据解析能力、产品计划能力、行业分析能力、项目管理力量、交换能力、执行能力、学习能力、跨职业技能,都是必须控制的,区别只是在不同的技艺侧重点不同。具体精晓这两端产品经营的区别,能够从以下多少个角度展开:

Namenode容错机制:

从不Namenode,HDFS就不可以工作。事实上,假使运行namenode的机械坏掉的话,系统中的文件将会全盘不见,因为尚未其它措施可以将身处不同datanode上的公文块(blocks)重建文件。由此,namenode的容错机制非凡紧要,Hadoop提供了三种机制。

先是种情势是将持久化存储在本地硬盘的文件系统元数据备份。Hadoop可以透过配备来让Namenode将他的持久化状态文件写到不同的文件系统中。这种写操作是一道并且是原子化的。相比较常见的配备是在将持久化状态写到本地硬盘的还要,也写入到一个长途挂载的网络文件系统(NFS)。

第二种格局是运作一个帮助的Namenode(Secondary Namenode)。
事实上Secondary
Namenode并不可以被看做Namenode它的重大职能是期限的将Namespace镜像与操作日志文件(edit
log)合并,以预防操作日志文件(edit log)变得过大。通常,Secondary Namenode
运行在一个独立的物理机上,因为联合操作需要占用大量的CPU时间以及和Namenode极度的内存。扶助Namenode保存着统一后的Namespace镜像的一个备份,万一什么日期Namenode宕机了,这么些备份就足以用上了。

不过援救Namenode总是落后于主Namenode,所以在Namenode宕机时,数据丢失是不可逆袭的。在这种情景下,一般的,要结成第一种办法中关系的长途挂载的网络文件系统(NFS)中的Namenode的元数据文件来行使,把NFS中的Namenode元数据文件,拷贝到帮助Namenode,并把帮扶Namenode作为主Namenode来运行。

image.png

地点的这张图纸显示了NameNode怎么把元数据保存到磁盘上的。这里有多少个不同的文书:

  1. fsimage – 它是在NameNode启动时对全部文件系统的快照
  2. edit logs – 它是在NameNode启动后,对文件系统的更动系列
    只有在NameNode重启时,edit
    logs才会师并到fsimage文件中,从而取得一个文件系统的新颖快照。不过在成品集群中NameNode是很少重启的,这也象征当NameNode运行了很长日子后,edit
    logs文件会变得很大。在这种情状下就会合世下边一些问题:
  3. edit logs文件会变的很大,怎么去管理这一个文件是一个挑衅。
  4. NameNode的重启会花费很长日子,因为有诸多改观(在edit
    logs中]要联合到fsimage文件上)。
    3.
    一旦NameNode挂掉了,这我们就不见了许多转移因为此时的fsimage文件分外旧。

之所以为了克制这些问题,大家需要一个容易管理的编制来匡助我们减小edit
logs文件的大大小小和取得一个流行的fsimage文件,那样也会减小在NameNode上的下压力。这跟Windows的复苏点是这一个像的,Windows的还原点机制允许我们对OS举办快照,这样当系统发出问题时,我们可以回滚到新型的四遍复苏点上


从需要满意度上讲

2、Secondary NameNode

它的天职是统一NameNode的edit logs到fsimage文件中。

image.png

下面的图纸体现了Secondary NameNode是怎么工作的:
率先,它定时到NameNode去赢得edit
logs,并更新到fsimage上。[笔者注:Secondary
NameNode自己的fsimage]如若它有了新的fsimage文件,它将其拷贝回NameNode中。NameNode在下次重启时会使用这多少个新的fsimage文件,从而缩短重启的时间。Secondary
NameNode的全方位目的是在HDFS中提供一个检查点。它只是NameNode的一个援手节点。这也是它在社区内被认为是检查点节点的原委。它并不是Namenode的一个备份

地点的图纸展示了Secondary NameNode是怎么工作的:

  1. 率先,它定时到NameNode去赢得edit
    logs,并更新到fsimage上。[笔者注:Secondary NameNode自己的fsimage]
  2. 一经它有了新的fsimage文件,它将其拷贝回NameNode中。
  3. NameNode在下次重启时会使用那么些新的fsimage文件,从而缩短重启的光阴。
    Secondary
    NameNode的满贯目标是在HDFS中提供一个检查点。它只是NameNode的一个助手节点。这也是它在社区内被认为是检查点节点的来头。

明日,大家领略了Secondary
NameNode所做的只是是在文件系统中安装一个检查点来帮助NameNode更好的做事。它不是要替代掉NameNode也不是NameNode的备份。所以从现在起,让我们养成一个见怪不怪,称呼它为检查点节点吧。


B端产品是要满意工作需要,通过工作需要直接满足用户需求。

3.Datanode

Datanode是文件系统的办事节点,他们遵照客户端或者是namenode的调度存储和摸索数据,并且定期向namenode发送他们所蕴藏的块(block)的列表。
集群中的每个服务器都运作一个DataNode后台程序,这些后台程序负责把HDFS数据块读写到本地的文件系统。当需要经过客户端读/写某个
数据时,先由NameNode告诉客户端去哪个DataNode举办实际的读/写操作,然后,客户端直接与那么些DataNode服务器上的后台程序举行通
信,并且对相关的多少块举办读/写操作。

C端产品是要满意用户需求,通过知足用户需求直接知足商业需求

从需求的募集上讲

B端产品基本上是将“线下已有需求”系统化、规范化,提高功效。且用户量可控,需求较清晰、明确、固定。

C端产品要求需要开挖,且用户量大,需求分散,需要产品经营去开展提炼,判断需求的落实本钱、效果和预先级

从面向用户角度上讲

B端产品的直白用户是公司职工,直接用户是信用社首席执行官(或购置决策者)

C端产品的用户就是产品的使用者

从技术侧重点上讲

B端产品经营更要爱抚逻辑分析、流程梳理、结构拆分、权限管理、接口开发、业务明白等方面

C端产品经营更需要关注用户心情、交互体验、UI设计、运营措施等技术

从商业格局上讲

B端产品付费情势单一但明显,直接对B端收费,按需付费。

C端产品付费情势多样,可前向可后向,要更多的设想流量规模和流量转化。

从连串管理上讲

B端产品迭代周期较长,测试更严厉,发版更谨慎,deadline更明了

C端产品讲究快速迭代,小步快跑,敏捷开发

从文档管理上讲

B端产品要有详细的急需文档、使用手册、安装表明、接口文档等,需要教育用户,有使用资金

C端产品基本上有PRD即可,有时候直接在原型上写逻辑就OK了,不用教育用户,甚至说应该让用户无感知地动用

您的理念怎么样呢?期待你的还原~

Post Author: admin

发表评论

电子邮件地址不会被公开。 必填项已用*标注