분산 환경에서 'key-value' map 을 'key-value list'로 reduce 하는 과정map task를 수행하는 워커들(M)과 reduce task를 수행하는 워커들(R)이 있음맵 후 리듀스 워커에 할당은 해시 기반으로R에 따라 아웃풋(R마다 아웃풋 파일 하나)이 묶이는 것을 고려해 해시키를 조절 할 수 있다.마스터가 잡을 스케줄링하고 워커에 rpc 를 호출.대부분의 연산은 deterministic 해서 여러 번 수행되는 것은 문제가 아니다.gfs는 세 쌍의 데이터를 저장한다. 마스터은 이 데이터가 있는 혹은 가까이 있는 노드에 태스크 할당.로드 밸런싱 등의 이유로 태스크가 워커보다 많은 게 좋음.맵퍼는 data 가 16-64MB로 쪼개지게 선택.리듀서는 또 너무 많으면 리듀서 수많큼 너무..
https://github.com/bluca/valgrind-dpdk
* yahoo l3dsr https://github.com/yahoo/l3dsr리눅스 4.4에 빌드-(1년도 더 전에 마지막 업데이트여서.. 힘들었다... ㄱ-) * 구성 l3dsr다운 받으면 각 운영체제별로 컴파일 할 것, doc, vip 설정을 해주는 툴로 구성되어 있음. * 컴파일 해야할 것 - 해당 기능을 하는 커널 모듈 (kmod-xt) - iptables에서 해당 모듈을 바르게 부를 수 있도록 해주는 so 파일 (libxt_DADDR.so) * make 가이드 그대론 make가 안됨. - make 파일 기본 설정인 extension-1.4 / kmod-xt 사용 - fPIC 옵션이 있는데 이는 gcc 5 로 컴파일 못 함 -> gcc-4.9 사용 - make 하면 iptables.h 가 없다고..