프로그래밍/hadoop3 하둡(hadoop) journalnode Journal Node 하둡 버전 2.0 부터 NameNode 2대로 구성한 HA를 지원 fsimage : 메타데이터 내의 파일 시스템 이미지가 체크 포인트라고 불리는 타이밍에 로컬 파일 시스템으로 기록되는 * 데이터 노드와 블록 대응 정보는 기록하지 않는다. 항상 그 데이터노드에 같은 블록이 있다고 볼 수 없다.(장애가 나는 경우)edits : HDFS는 파일 변경을 트랜잭션으로 관리하고 있으며 파일 처리 시마다 NameNode의 메모리와 로컬 파일 시스템에 편집 로그가 생성된다. 이들 중, 로컬 파일 시스템에 생성되는 편집 로그항상 최신 변경 상태를 기록 -> fsimage를 최신화파일 시스템에 기록함으로써 신뢰성 확보 HA로 구성된 두 분리된 서버가 데이터를 동기화하기 위해서 사용한다. standb.. 2016. 10. 13. 하둡(hadoop) 이란? (첫 번째) 데이터를 취급하기 위한 미들웨어 대량의 데이터(테라바이트, 페타바이트급)를 처리하기 위한 병렬(하나의 처리를 복수의 서버로 동시 처리) 분산 처리 소프트웨어 데이터가 적을시에는 메모리 처리도 상관은 없지만 메모리 용량을 크게 상회하는 데이터를 다룰 때는 디스크 I/O의 직접적인 영향을 피할 수 없다.복수의 서버를 묶어서 하나의 가상 서버로 사용 하이퍼바이저(Hypervisor) 와는 반대의 기술분산 파일 시스템과의 강한 연계를 통해, 높은 스루풋 처리를 실현하는 분산 처리 소프트웨어복수의 서버를 묶어서 하나의 큰 파일 시스템을 제공 + 하나의 큰 잡을 복수의 단위로 분할해서 실행하는 구조 = 높은 throughput자바 기반으로 개발되어 일반적인 서버에서 동작하둡을 설치하기 위해 특수한 서버나 장비가 필.. 2016. 10. 13. hadoop s3 연결 core-site.xml 에 AWS credential 설정S3Authentication properties fs.s3.awsAccessKeyId AWS access key ID fs.s3.awsSecretAccessKey AWS secret key S3NAuthentication properties fs.s3n.awsAccessKeyId AWS access key ID fs.s3n.awsSecretAccessKey AWS secret key 확인hadoop fs -ls s3n://s3bucket 2015. 11. 27. 이전 1 다음