본문 바로가기
프로그래밍/hadoop

하둡(hadoop) journalnode

by 메이슨김 2016. 10. 13.

Journal Node


하둡 버전 2.0 부터 NameNode 2대로 구성한 HA를 지원


fsimage : 메타데이터 내의 파일 시스템 이미지가 체크 포인트라고 불리는 타이밍에 로컬 파일 시스템으로 기록되는 

* 데이터 노드와 블록 대응 정보는 기록하지 않는다. 항상 그 데이터노드에 같은 블록이 있다고 볼 수 없다.(장애가 나는 경우)

edits : HDFS는 파일 변경을 트랜잭션으로 관리하고 있으며 파일 처리 시마다 NameNode의 메모리와 로컬 파일 시스템에 편집 로그가 생성된다. 이들 중, 로컬 파일 시스템에 생성되는 편집 로그

항상 최신 변경 상태를 기록 -> fsimage를 최신화

파일 시스템에 기록함으로써 신뢰성 확보


HA로 구성된 두 분리된 서버가 데이터를 동기화하기 위해서 사용한다. standby가 깨어날 때 똑같아야 하지 않겠는가.




반응형

'프로그래밍 > hadoop' 카테고리의 다른 글

하둡(hadoop) 이란? (첫 번째)  (0) 2016.10.13
hadoop s3 연결  (0) 2015.11.27