태그: SOTA
FlashAttention 원리: 타일링과 GPU 메모리 접근 최적화
FlashAttention이 타일링과 온라인 softmax로 HBM·SRAM 사이의 데이터 이동을 줄이는 원리, SRAM 크기와 성능의 관계, PyTorch SDPA 지원을 정리합니다.
[SOTA] DSVT LiDAR 3D Object Detection
MMDetection3D와 OpenPCDet에서 바로 쓸 수 있는 LiDAR 3D 검출 모델 DSVT를 정리했습니다. Transformer를 쓰면서 custom operation 없이 구현해 배포가 쉽다는 점에 초점을 맞췄습니다.
[SOTA] LiDAR 3D Object Detection Model: CenterFormer
CenterPoint에 Transformer를 결합한 LiDAR 3D 객체 검출 모델 CenterFormer를 살펴봅니다. Waymo 벤치마크 결과와 구조가 달라진 지점을 논문 기준으로 정리했습니다.