• Week 5 Feedback

Meeting Time

• (11/19) 13:00 - (11/20) 03:30
• (11/22) 12:00 - 14:00

This week’s progress

• Implement based on class design
• Proto file fixed → minute changes of detailed design
• data process test & optimization (32GB: 1h 30m → 30m)

Progress & Issues

• Worker

  ---

  구현 완료된 것들 (component test 까지)

  • io
  • common - Data class
  • Data Processor
  • test

  ---

  issues

  • DatumFileIterator에서 maxChunkSize를 몇으로 설정할 것인지 나중에 다시 생각해보는 것이 좋을 듯함
  • 코드 구현이 완료되었을 때, 속도 향상에 좀 더 생각해보아도 좋을 것 같음

  ---

  +) 추가

  • Data에 사용되는 자료구조를 Vector → Array로 변경. 이 때 대략 코드가 3배가량 빨라짐
  • sbt -J-Xmx4G -J-Xms1G 으로 heap 메모리 옵션 주어야 함. 즉,

• MasterServer

  • getUpdatedWorkerInfo → Register에 병합하는 것으로 수정/구현/테스트 완. → 기존 WokerInfo에 isShuffle 있던 것을, RegisterRequest에 isShuffle 추가하는 것으로 프로토 메세지 타입 수정 필요
  • getPartitionRange 구현 및 테스트 완. → dataProcess에서 속도 문제로 key를 Vector[Byte] → Array[Byte]로 수정해서, getPartitionRange도 수정 필요할 듯
  • canShutdownWorkerServer에 웨리포 관리를 위해, ip를 request에 추가하는 것으로 변경 → Worker Server isAlive구현 되면, VM에서 테스트 필요

• Master

  • 아직 미구현

• WorkerServer

  • setPartitionDone() 동기적이 아닌 비동기적으로 처리를 해야함
  • lock.synchronized 수정
  • isalive unary로 수정
  • setpartition done rpc 아닌걸로 구현해야함
  • sendpartiontion에서 1MB씩 보내는거 수정

• Common

  • Data.scala → common package로 이동
  • merge 단계에서 파일에 구멍이 나는 이유모를 현상 → 로직을 약간만 고치고 다시 돌려보니 그런 현상 재현이 안됨

Goal of the next week

• Entire project test on VM
• Clear remain issues above
• Code 찐찐막 → shuffle, canShutdown, …