태그: AI
블로그 리부트
오랜만에 블로그를 다시 시작하며, 변화한 것들을 돌아보고 앞으로의 방향을 정리해본다.
LLaDA와 Gemini Diffusion: 자기회귀 언어 모델과의 차이
LLaDA의 마스킹 기반 학습과 반복 생성 과정을 자기회귀 언어 모델과 비교하고, Gemini Diffusion의 공개 정보와 속도·품질 비교 시 주의할 점을 정리합니다.
FlashAttention 원리: 타일링과 GPU 메모리 접근 최적화
FlashAttention이 타일링과 온라인 softmax로 HBM·SRAM 사이의 데이터 이동을 줄이는 원리, SRAM 크기와 성능의 관계, PyTorch SDPA 지원을 정리합니다.
BitNet b1.58 논문 정리: 삼진 가중치와 LLM 추론 비용
BitNet b1.58 논문의 삼진 가중치와 8-bit activation, BitLinear 구조를 살펴보고 정확도·추론 비용·에너지 결과의 평가 조건을 구분한 학습 기록입니다.
[SOTA] DSVT LiDAR 3D Object Detection
MMDetection3D와 OpenPCDet에서 바로 쓸 수 있는 LiDAR 3D 검출 모델 DSVT를 정리했습니다. Transformer를 쓰면서 custom operation 없이 구현해 배포가 쉽다는 점에 초점을 맞췄습니다.
[Paper] Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Part 2)
같은 논문 리뷰의 2편으로, DNN 전용 하드웨어 구성을 살펴봅니다. 벡터 명령어부터 가속기 구조까지 논문이 소개한 하드웨어 사례를 정리했습니다.
[Paper] Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Part 1)
NPU에 DNN을 올리며 정리한 논문 리뷰 1편입니다. 하드웨어 플랫폼과 데이터플로우, 데이터 재사용이 에너지 비용과 어떻게 연결되는지 다룹니다.
[SOTA] LiDAR 3D Object Detection Model: CenterFormer
CenterPoint에 Transformer를 결합한 LiDAR 3D 객체 검출 모델 CenterFormer를 살펴봅니다. Waymo 벤치마크 결과와 구조가 달라진 지점을 논문 기준으로 정리했습니다.
Ensemble Object Detection using Detectron2
Detectron2로 여러 객체 검출 모델을 앙상블한 실험 기록입니다. 실행 환경과 재현 절차, 저장소 구성을 실제로 돌려 본 내용 그대로 담았습니다.
Setup - Ubuntu18.04 + Cuda10.0 + cuDNN7.4.2 + TF1.14.0
Ubuntu 18.04에 CUDA 10.0, cuDNN 7.4.2, TensorFlow 1.14를 맞춰 설치한 기록입니다. GPU와 버전 호환을 확인하는 순서대로 정리했습니다.