荣耀彩票代理

IT技术互动交流平台

分布式 Zookeeper数据与存储

作者:leesf  来源:IT165收集  发布日期:2016-12-19 20:32:27

一、前言

  QIANMIANFENXILEZookeeperDUIQINGQIUDECHULI,BENPIANBOWENJIEZHEFENXIZookeeperZHONGRUHEDUIDICENGSHUJUJINXINGCUNCHU,SHUJUCUNCHUBEIFENWEINEICUNSHUJUCUNCHUYUCIPANSHUJUCUNCHU。

二、数据与存储

  2.1 NEICUNSHUJU

  ZookeeperDESHUJUMOXINGSHISHUJIEGOU,ZAINEICUNSHUJUKUZHONG,CUNCHULEZHENGKESHUDENEIRONG,BAOKUOSUOYOUDEJIEDIANLUJING、JIEDIANSHUJU、ACLXINXI,ZookeeperHUIDINGSHIJIANGZHEIGESHUJUCUNCHUDAOCIPANSHANG。

  1. DataTree

  DataTree是内存数据存储的核心,是一个树结构,代表了内存中一份完整的数据。DataTree不包含任何与网络、客户端连接及请求处理相关的业务逻辑,是一个独立的组件。

荣耀彩票代理  2. DataNode

  DataNode是数据存储的最小单元荣耀彩票代理,其内部除了保存了结点的数据内容、ACL列表、节点状态之外,还记录了父节点的引用和子节点列表两个属性,其也提供了对子节点列表进行操作的接口。

荣耀彩票代理  3. ZKDatabase

荣耀彩票代理  ZookeeperDENEICUNSHUJUKU,GUANLIZookeeperDESUOYOUHUIHUA、DataTreeCUNCHUHESHIWURIZHI。ZKDatabaseHUIDINGSHIXIANGCIPANdumpKUAIZHAOSHUJU,TONGSHIZAIZookeeperQIDONGSHI,HUITONGGUOCIPANDESHIWURIZHIHEKUAIZHAOWENJIANHUIFUCHENGYIGEWANZHENGDENEICUNSHUJUKU。

  2.2 SHIWURIZHI

  1. WENJIANCUNCHU

  ZAIPEIZHIZookeeperJIQUNSHIXUYAOPEIZHIdataDirMULU,QIYONGLAICUNCHUSHIWURIZHIWENJIAN。YEKEYIWEISHIWURIZHIDANDUFENPEIYIGEWENJIANCUNCHUMULU:dataLogDir。RUOPEIZHIdataLogDirWEI/home/admin/zkData/zk_log,NEIMEZookeeperZAIYUNXINGGUOCHENGZHONGHUIZAIGAIMULUXIAJIANLIYIGEMINGZIWEIversion-2DEZIMULU,GAIMULUQUEDINGLEDANGQIANZookeeperSHIYONGDESHIWURIZHIGESHIBANBENHAO,DANGXIACIMOUGEZookeeperBANBENDUISHIWURIZHIGESHIJINXINGBIANGENGSHI,CIMULUYEHUIBIANGENG,JIZAIversion-2ZIMULUXIAHUISHENGCHENGYIXILIEWENJIANDAXIAOYIZHI(64MB)DEWENJIAN。

  2. RIZHIGESHI

荣耀彩票代理  ZAIPEIZHIHAORIZHIWENJIANMULU,QIDONGZookeeperHOU,WANCHENGRUXIACAOZUO

  (1) CHUANGJIAN/test_logJIEDIAN,CHUSHIZHIWEIv1。

  (2) GENGXIN/test_logJIEDIANDESHUJUWEIv2。

  (3) CHUANGJIAN/test_log/cJIEDIAN,CHUSHIZHIWEIv1。

荣耀彩票代理  (4) SHANCHU/test_log/cJIEDIAN。

  JINGGUOSIBUCAOZUOHOU,HUIZAI/log/version-2/MULUXIASHENGCHENGYIGERIZHIWENJIAN,BIZHEXIASHIlog.cec。

  JIANGZookeeperXIADEzookeeper-3.4.6.jarHEslf4j-api-1.6.1.jarFUZHIDAO/log/version-2MULUXIA,SHIYONGRUXIAMINGLINGDAKAIlog.cecWENJIAN。

  java -classpath ./zookeeper-3.4.6.jar:./slf4j-api-1.6.1.jar org.apache.zookeeper.server.LogFormatter log.cec

  

荣耀彩票代理  ZooKeeper Transactional Log File with dbid 0 txnlog format version 2 。SHIWENJIANTOUXINXI,ZHUYAOSHISHIWURIZHIDEDBIDHERIZHIGESHIBANBENHAO。  

  ...session 0x159...0xcec createSession 30000。BIAOSHIKEHUDUANHUIHUACHUANGJIANCAOZUO。

  ...session 0x159...0xced create '/test_log,... 。BIAOSHICHUANGJIAN/test_logJIEDIAN,SHUJUNEIRONGWEI#7631(v1)。

  ...session 0x159...0xcee setData ‘/test_log,...。BIAOSHISHEZHILE/test_logJIEDIANSHUJU,NEIRONGWEI#7632(v2)。

  ...session 0x159...0xcef create ’/test_log/c,...。BIAOSHICHUANGJIANJIEDIAN/test_log/c。

  ...session 0x159...0xcf0 delete '/test_log/c。BIAOSHISHANCHUJIEDIAN/test_log/c。

  3. RIZHIXIERU

  FileTxnLogFUZEWEIHUSHIWURIZHIDUIWAIDEJIEKOU,BAOKUOSHIWURIZHIDEXIERUHEDUQUDENG。ZookeeperDESHIWURIZHIXIERUGUOCHENGDATIKEYIFENWEIRUXIA6GEBUZHOU。

  (1) 确定是否有事务日志可写。当Zookeeper服务器启动完成需要进行第一次事务日志的写入,或是上一次事务日志写满时,都会处于与事务日志文件断开的状态,即Zookeeper服务器没有和任意一个日志文件相关联。因此在进行事务日志写入前,Zookeeper首先会判断FileTxnLog组件是否已经关联上一个可写的事务日志文件。若没有,则会使用该事务操作关联的ZXID作为后缀创建一个事务日志文件,同时构建事务日志的文件头信息,并立即写入这个事务日志文件中去,同时将该文件的文件流放入streamToFlush集合,该集合用来记录当前需要强制进行数据落盘的文件流。

  (2) 确定事务日志文件是否需要扩容(预分配)。Zookeeper会采用磁盘空间预分配策略。当检测到当前事务日志文件剩余空间不足4096字节时,就会开始进行文件空间扩容,即在现有文件大小上,将文件增加65536KB(64MB),然后使用'0'填充被扩容的文件空间。

  (3) 事务序列化荣耀彩票代理。对事务头和事务体的序列化,其中事务体又可分为会话创建事务、节点创建事务、节点删除事务、节点数据更新事务等。

  (4) 生成Checksum荣耀彩票代理。为保证日志文件的完整性和数据的准确性,Zookeeper在将事务日志写入文件前,会计算生成Checksum。

  (5) 写入事务日志文件流荣耀彩票代理。将序列化后的事务头、事务体和Checksum写入文件流中,此时并为写入到磁盘上。

  (6) 事务日志刷入磁盘。由于步骤5中的缓存原因,无法实时地写入磁盘文件中,因此需要将缓存数据强制刷入磁盘。

  4. RIZHIJIEDUAN

  ZAIZookeeperYUNXINGGUOCHENGZHONG,KENENGCHUXIANFEILeaderJILUDESHIWUIDBILeaderSHANGDA,ZHEISHIFEIFAYUNXINGZHUANGTAI。CISHI,XUYAOBAOZHENGSUOYOUJIQIBIXUYUGAILeaderDESHUJUBAOCHITONGBU,JILeaderHUIFASONGTRUNCMINGLINGJIGAIJIQI,YAOQIUJINXINGRIZHIJIEDUAN,LearnerSHOUDAOGAIMINGLINGHOU,JIUHUISHANCHUSUOYOUBAOHANHUODAYUGAISHIWUIDDESHIWURIZHIWENJIAN。

荣耀彩票代理  2.3 snapshot-SHUJUKUAIZHAO

  SHUJUKUAIZHAOSHIZookeeperSHUJUCUNCHUZHONGFEICHANGHEXINDEYUNXINGJIZHI,SHUJUKUAIZHAOYONGLAIJILUZookeeperFUWUQISHANGMOUYISHIKEDEQUANLIANGNEICUNSHUJUNEIRONG,BINGJIANGQIXIERUZHIDINGDECIPANWENJIANZHONG。

  1. WENJIANCUNCHU

荣耀彩票代理  YUSHIWUWENJIANLEISI,ZookeeperKUAIZHAOWENJIANYEKEYIZHIDINGTEDINGCIPANMULU,TONGGUOdataDirSHUXINGLAIPEIZHI。RUOZHIDINGdataDirWEI/home/admin/zkData/zk_data,ZEZAIYUNXINGGUOCHENGZHONGHUIZAIGAIMULUXIACHUANGJIANversion-2DEMULU,GAIMULUQUEDINGLEDANGQIANZookeeperSHIYONGDEKUAIZHAOSHUJUGESHIBANBENHAO。ZAIZookeeperYUNXINGSHI,HUISHENGCHENGYIXILIEWENJIAN。

  2. SHUJUKUAIZHAO

荣耀彩票代理  FileSnapFUZEWEIHUKUAIZHAOSHUJUDUIWAIDEJIEKOU,BAOKUOKUAIZHAOSHUJUDEXIERUHEDUQUDENG,JIANGNEICUNSHUJUKUXIERUKUAIZHAOSHUJUWENJIANQISHISHIYIGEXULIEHUAGUOCHENG。ZHENDUIKEHUDUANDEMEIYICISHIWUCAOZUO,ZookeeperDOUHUIJIANGTAMENJILUDAOSHIWURIZHIZHONG,TONGSHIYEHUIJIANGSHUJUBIANGENGYINGYONGDAONEICUNSHUJUKUZHONG,ZookeeperZAIJINXINGRUOGANCISHIWURIZHIJILUHOU,JIANGNEICUNSHUJUKUDEQUANLIANGSHUJUDumpDAOBENDIWENJIANZHONG,ZHEIJIUSHISHUJUKUAIZHAO。QIBUZHOURUXIA

  (1) 确定是否需要进行数据快照荣耀彩票代理。每进行一次事务日志记录之后,Zookeeper都会检测当前是否需要进行数据快照,考虑到数据快照对于Zookeeper机器的影响,需要尽量避免Zookeeper集群中的所有机器在同一时刻进行数据快照。采用过半随机策略进行数据快照操作。

  (2) 切换事务日志文件。表示当前的事务日志已经写满,需要重新创建一个新的事务日志。

  (3) 创建数据快照异步线程。创建单独的异步线程来进行数据快照以避免影响Zookeeper主流程。

  (4) 获取全量数据和会话信息荣耀彩票代理。从ZKDatabase中获取到DataTree和会话信息。

  (5) 生成快照数据文件名。Zookeeper根据当前已经提交的最大ZXID来生成数据快照文件名。

  (6) 数据序列化荣耀彩票代理。首先序列化文件头信息,然后再对会话信息和DataTree分别进行序列化,同时生成一个Checksum,一并写入快照数据文件中去。

  2.4 CHUSHIHUA

荣耀彩票代理  ZAIZookeeperFUWUQIQIDONGQIJIAN,SHOUXIANHUIJINXINGSHUJUCHUSHIHUAGONGZUO,YONGYUJIANGCUNCHUZAICIPANSHANGDESHUJUWENJIANJIAZAIDAOZookeeperFUWUQINEICUNZHONG。

  1. CHUSHIHUALIUCHENG

  ZookeeperDESHUCHUSHIHUAGUOCHENGRUXIATUSUOSHI

  SHUJUDECHUSHIHUAGONGZUOSHICONGCIPANSHANGJIAZAISHUJUDEGUOCHENG,ZHUYAOBAOKUOLECONGKUAIZHAOWENJIANZHONGJIAZAIKUAIZHAOSHUJUHEGENJUSHIWURIZHIJINXINGSHUJUXIUZHENGLIANGGEGUOCHENG。

  (1) 初始化FileTxnSnapLog荣耀彩票代理。FileTxnSnapLog是Zookeeper事务日志和快照数据访问层,用于衔接上层业务和底层数据存储,底层数据包含了事务日志和快照数据两部分。FileTxnSnapLog中对应FileTxnLog和FileSnap。

  (2) 初始化ZKDatabase。首先构建DataTree,同时将FileTxnSnapLog交付ZKDatabase,以便内存数据库能够对事务日志和快照数据进行访问。在ZKDatabase初始化时,DataTree也会进行相应的初始化工作,如创建一些默认结点,如/、/zookeeper、/zookeeper/quota三个节点。

  (3) 创建PlayBackListener。其主要用来接收事务应用过程中的回调,在Zookeeper数据恢复后期,会有事务修正过程,此过程会回调PlayBackListener来进行对应的数据修正。

  (4) 处理快照文件荣耀彩票代理。此时可以从磁盘中恢复数据了,首先从快照文件开始加载。

  (5) 获取最新的100个快照文件。更新时间最晚的快照文件包含了最新的全量数据。

  (6) 解析快照文件荣耀彩票代理。逐个解析快照文件,此时需要进行反序列化,生成DataTree和sessionsWithTimeouts,同时还会校验Checksum及快照文件的正确性。对于100个快找文件,如果正确性校验通过时,通常只会解析最新的那个快照文件。只有最新快照文件不可用时,才会逐个进行解析,直至100个快照文件全部解析完。若将100个快照文件解析完后还是无法成功恢复一个完整的DataTree和sessionWithTimeouts,此时服务器启动失败。

  (7) 获取最新的ZXID荣耀彩票代理。此时根据快照文件的文件名即可解析出最新的ZXID:zxid_for_snap。该ZXID代表了Zookeeper开始进行数据快照的时刻。

  (8) 处理事务日志。此时服务器内存中已经有了一份近似全量的数据,现在开始通过事务日志来更新增量数据。

  (9) 获取所有zxid_for_snap之后提交的事务。此时,已经可以获取快照数据的最新ZXID。只需要从事务日志中获取所有ZXID比步骤7得到的ZXID大的事务操作。

  (10) 事务应用荣耀彩票代理。获取大于zxid_for_snap的事务后,将其逐个应用到之前基于快照数据文件恢复出来的DataTree和sessionsWithTimeouts。每当有一个事务被应用到内存数据库中后,Zookeeper同时会回调PlayBackListener,将这事务操作记录转换成Proposal,并保存到ZKDatabase的committedLog中,以便Follower进行快速同步。

  (11) 获取最新的ZXID。待所有的事务都被完整地应用到内存数据库中后,也就基本上完成了数据的初始化过程,此时再次获取ZXID,用来标识上次服务器正常运行时提交的最大事务ID。

  (12) 校验epoch。epoch标识了当前Leader周期,集群机器相互通信时,会带上这个epoch以确保彼此在同一个Leader周期中。完成数据加载后,Zookeeper会从步骤11中确定ZXID中解析出事务处理的Leader周期:epochOfZxid。同时也会从磁盘的currentEpoch和acceptedEpoch文件中读取上次记录的最新的epoch值,进行校验。

  2.5 SHUJUTONGBU

  ZHENGGEJIQUNWANCHENGLeaderXUANJUHOU,LearnerHUIXIANGLeaderJINXINGZHUCE,DANGLearnerXIANGLeaderWANCHENGZHUCEHOU,JIUJINRUSHUJUTONGBUHUANJIE,TONGBUGUOCHENGJIUSHILeaderJIANGNEIXIEMEIYOUZAILearnerFUWUQISHANGTIJIAOGUODESHIWUQINGQIUTONGBUJILearnerFUWUQI,DATIGUOCHENGRUXIA

  (1) 获取Learner状态。在注册Learner的最后阶段,Learner服务器会发送给Leader服务器一个ACKEPOCH数据包,Leader会从这个数据包中解析出该Learner的currentEpoch和lastZxid。

  (2) 数据同步初始化。首先从Zookeeper内存数据库中提取出事务请求对应的提议缓存队列proposals,同时完成peerLastZxid(该Learner最后处理的ZXID)、minCommittedLog(Leader提议缓存队列commitedLog中最小的ZXID)、maxCommittedLog(Leader提议缓存队列commitedLog中的最大ZXID)三个ZXID值的初始化。

  对于集群数据同步而言,通常分为四类,直接差异化同步(DIFF同步)、先回滚再差异化同步(TRUNC+DIFF同步)、仅回滚同步(TRUNC同步)、全量同步(SNAP同步)荣耀彩票代理,在初始化阶段,Leader会优先以全量同步方式来同步数据。同时,会根据Leader和Learner之间的数据差异情况来决定最终的数据同步方式。

  · 直接差异化同步(DIFF同步,peerLastZxid介于minCommittedLog和maxCommittedLog之间)。Leader首先向这个Learner发送一个DIFF指令,用于通知Learner进入差异化数据同步阶段,Leader即将把一些Proposal同步给自己,针对每个Proposal,Leader都会通过发送PROPOSAL内容数据包和COMMIT指令数据包来完成,

  · 先回滚再差异化同步(TRUNC+DIFF同步,Leader已经将事务记录到本地事务日志中,但是没有成功发起Proposal流程)。当Leader发现某个Learner包含了一条自己没有的事务记录,那么就需要该Learner进行事务回滚,回滚到Leader服务器上存在的,同时也是最接近于peerLastZxid的ZXID。

  · 仅回滚同步荣耀彩票代理(TRUNC同步,peerLastZxid大于maxCommittedLog)。Leader要求Learner回滚到ZXID值为maxCommittedLog对应的事务操作。

  · 全量同步荣耀彩票代理(SNAP同步,peerLastZxid小于minCommittedLog或peerLastZxid不等于lastProcessedZxid)。Leader无法直接使用提议缓存队列和Learner进行同步,因此只能进行全量同步。Leader将本机的全量内存数据同步给Learner。Leader首先向Learner发送一个SNAP指令,通知Learner即将进行全量同步,随后,Leader会从内存数据库中获取到全量的数据节点和会话超时时间记录器,将他们序列化后传输给Learner。Learner接收到该全量数据后,会对其反序列化后载入到内存数据库中。

三、总结

荣耀彩票代理  BENPIANBOWENZHUYAOJIANGJIELEZookeeperDESHUJUYUCUNCHU,BAOKUONEICUNSHUJU,KUAIZHAOSHUJU,YIJIRUHEJINXINGSHUJUDETONGBUDENGXIJIE,ZHICI,ZookeeperDELILUNXUEXIBUFENYIJINGQUANBUWANCHENG,ZHIHOUHUIJINXINGYUANMAFENXI,YEXIEXIEGEWEIYUANYOUDEGUANKAN~

Tag标签:      
  • 专题推荐

About IT165 - 广告服务 - 隐私声明 - 版权申明 - 免责条款 - 网站地图 - 网友投稿 - 联系方式
本站内容来自于互联网,仅供用于网络技术学习,学习中请遵循相关法律法规