Shuffle job log 분석
- FIle Output Format Counters
Bytes Written - output의 데이터 크기
- Map-Reduce FrameWork
Reduce input groups - 리듀스에 도착한 그룹들을 말하며, 하나의 그룹은 하나의 키로 이루어진 그룹을 말함
Reduce input records - 리듀스에 도착한 그룹으로 볼 수 있으나, 키는 같아도 value값에 따라 나누어진 record이기 때문에 input group보다 수가 많거나 같을 수 있다.
ex) a 4
b 5 -> 각 스플릿 결과에 따라 나온 결과들이기 때문에 키가 같을 수 있다. Reduce input records는 4가 되고, 이를 키들로
c 6 묶게 되면 Reduce input groups가 된다.
a 2
Spilled Records - shuffle&sort 후 버퍼에 남아있거나 버퍼 임계값이 넘쳐 local disk에 쓰여진 temporary output으로 각 map task들이 스플릿을 처리한 output의 record들의 수를 말함.(어찌보면 Reduce input records와 수가 같다.)
Physical Memory (bytes) snapshot - ?
Virtual Memory (bytes) snapshot - ?
매우 단순할 것 같다 ? 답은...하지만 왜이리 찾기가 힘드노...
우연히 여기 방문하셔서 보신다면 댓글 부탁점....
'Computer > #Go1 Hadoop' 카테고리의 다른 글
MapReduce(1) (0) | 2012.05.02 |
---|---|
#3 클라우드 컴퓨팅 구현기술(4월26일 공부내용 (0) | 2012.04.26 |
Avro 1.6.3 설치 (0) | 2012.04.25 |
#2 클라우드 컴퓨팅 구현기술 (0) | 2012.04.13 |
#1 클라우드 컴퓨팅 구현기술(4월12일 공부내용) (0) | 2012.04.12 |