참고 자료:Fused MoE Kernel Features - https://docs.vllm.ai/en/latest/design/moe_kernel_features/ Fused MoE Modular Kernel - https://docs.vllm.ai/en/latest/design/fused_moe_modular_kernel/#how-to All2All Backend vs MoE Expert Kernel BackendvLLM에서 MoE backend를 이해할 때 가장 먼저 구분해야 할 것은 All2All backend와 MoE expert kernel backend이다. 둘은 모두 MoE layer 실행에 관여하지만, 담당하는 구간이 다르다.MoE layer의 전체 흐름을 단순화하면 다음과 같다.toke..

참고자료: Improving Network Performance of HPC Systems Using NVIDIA Magnum IO NVSHMEM and GPUDirect Async | NVIDIA Technical BlogWhat is IBGDA?GPU Node 간 통신할 때, GPU가 CPU를 시켜서 네트워크 통신하는 게 아니라, GPU가 직접 NIC(InfiniBand 카드)한테 일을 시키는 기술.예전 구조: `GPU → CPU Proxy Thread → InfiniBand NIC → 목적지 GPU`GPU가 다른 노드의 GPU로 데이터를 보내고 싶을 때, GPU가 CPU한테 먼저 요청을 해서, CPU가 NIC(Netword Interface Card)에게 전달, 그러면 NIC이 데이터를 전송하는 순..

참고 코드: https://github.com/nvidia/megatron-lm GitHub - NVIDIA/Megatron-LM: Ongoing research training transformer models at scaleOngoing research training transformer models at scale - NVIDIA/Megatron-LMgithub.com참고 글: Introducing Context Parallelism · Better Tomorrow with Computer Science - https://insujang.github.io/2024-09-20/introducing-context-parallelism/Sequence Parallelism (SP)기준 논문 [MLSys..

참고 사이트:https://github.com/deepseek-ai/DeepEP DeepEP - https://www.deepep.org/ https://discuss.pytorch.kr/t/deepep-mixture-of-experts-feat-deepseek/6212참고논문 : UCCL-EP - https://arxiv.org/pdf/2512.19849MoE 상황에서 더 빠른 Expert Parallelism를 위한 Communication Library. MoE 장인 DeepSeek AI에서, NVLink 및 GPUDirect RDMA를 통한 저지연 통신을 활용해 MoE & Expert Parallelism 전용 Comm. Library를 만들었다. MoE의 dispatch / combine 연산..

참고자료:Distributed Optimizer — Megatron Core - https://docs.nvidia.com/megatron-core/developer-guide/latest/user-guide/features/dist_optimizer.htmlMegatron FSDP — Megatron Core - https://docs.nvidia.com/megatron-core/developer-guide/latest/user-guide/features/custom_fsdp.htmlFSDP (Stage 1,2,3)일단 FSDP (fully-sharded DP=Stage 3)를 적용했을 때의 학습 Flow는 다음과 같다:* 정의 상으로 FSDP는 DeepSpeed ZeRO Stage 3과 같은데, Me..

👉 CUDA multicast는 하나의 데이터를 여러 GPU에 동시에 전달해서 GPU 간 통신을 효율화하는 기술입니다. 구분UnicastBroadcastMulticast통신 방식1 → 11 → 전체1 → 특정 그룹대상한 개모든 노드선택된 여러 노드효율성낮음 (여러 번 전송 필요)비효율적 (불필요한 대상 포함)가장 효율적네트워크 부담높음매우 높음낮음example 한 사람에게 전화 * GPU0 → GPU1 마이크로 모든 사람에게 방송* GPU0 → 모든 GPU 특정 그룹방에만 메시지 전송 * GPU0 → GPU1, GPU3, GPU5 구현 방식기본 NCCL ↔ CUDA 관계 구조[사용자 코드] ↓ [NCCL (고수준 통신)] * CUDA 기반으로, mult..