참고 자료 :Summarizing MultiprocessorsExploring the GPU Architecture | VMware Summarizing Multiprocessors www.edwardbosworth.comFlynn's Taxonomy1966년, 마이클 플린(Michael J. Flynn)이 제안한 분류법에 따르면 Computer Architecture는 다음 4가지로 나눌 수 있다. SISD : 한 processor가 하나의 memory에 저장되어 있는 한 data stream을 이용해, 한번에 하나의 명령어(instruction)를 처리. ex) 가장 기본적인, 폰 노이만 구조. 옛날(Flynn 시절) 컴퓨터 아키텍처. -) 각 데이터를 처리하기 위해서 매번 명령어를 읽어야 하기 때문..

참고 자료 :https://tutorials.pytorch.kr/intermediate/dist_tuto.html#collective-communication분산 학습과 집합 통신 :: 차근차근 - https://hadaney.tistory.com/39 https://en.wikipedia.org/wiki/Collective_operation PyTorch로 분산 어플리케이션 개발하기Author: Séb Arnold, 번역: 박정환,. 선수과목(Prerequisites): PyTorch Distributed Overview. 이 짧은 튜토리얼에서는 PyTorch의 분산 패키지를 둘러볼 예정입니다. 여기에서는 어떻게 분산 환경을 설정하는지와 서tutorials.pytorch.krPytorch는 여러 pro..