map-reduce 컨셉
분산 환경에서 'key-value' map 을 'key-value list'로 reduce 하는 과정map task를 수행하는 워커들(M)과 reduce task를 수행하는 워커들(R)이 있음맵 후 리듀스 워커에 할당은 해시 기반으로R에 따라 아웃풋(R마다 아웃풋 파일 하나)이 묶이는 것을 고려해 해시키를 조절 할 수 있다.마스터가 잡을 스케줄링하고 워커에 rpc 를 호출.대부분의 연산은 deterministic 해서 여러 번 수행되는 것은 문제가 아니다.gfs는 세 쌍의 데이터를 저장한다. 마스터은 이 데이터가 있는 혹은 가까이 있는 노드에 태스크 할당.로드 밸런싱 등의 이유로 태스크가 워커보다 많은 게 좋음.맵퍼는 data 가 16-64MB로 쪼개지게 선택.리듀서는 또 너무 많으면 리듀서 수많큼 너무..
TF/DB
2018. 3. 31. 23:00