DISTMM: Accelerating Distributed Multimodal Model Training

논문 (NSDI'24) : DistMM - https://www.usenix.org/system/files/nsdi24-huang.pdfMultimodal model을 분산학습시키는 상황. 이 상황에서 분산학습 시스템의 시간/연산 효율성을 개선하려면?Summary✨ 기존 분산 학습 시스템들은 이종적인(heterogeneous) 멀티모달 모델의 특성과 대규모 배치(large batch)를 요구하는 Contrastive Loss를 고려하지 않아 비효율적이었다.🛠️ DISTMM은 Modality-aware Partitioner, Data Load Balancer, Heterogeneity-aware Placement Manager를 통해 서브모듈의 이질성을 활용하고 통신 오버헤드를 줄이며, Pipeline ..

2026.03.18