태그: AI
블로그 리부트
오랜만에 블로그를 다시 시작하며, 변화한 것들을 돌아보고 앞으로의 방향을 정리해본다.
LLaDA와 Gemini Diffusion: 자기회귀 언어 모델과의 차이
LLaDA의 마스킹 기반 학습과 반복 생성 과정을 자기회귀 언어 모델과 비교하고, Gemini Diffusion의 공개 정보와 속도·품질 비교 시 주의할 점을 정리합니다.
FlashAttention 원리: 타일링과 GPU 메모리 접근 최적화
FlashAttention이 타일링과 온라인 softmax로 HBM·SRAM 사이의 데이터 이동을 줄이는 원리, SRAM 크기와 성능의 관계, PyTorch SDPA 지원을 정리합니다.
[Paper] 1-bit Large Language Models (LLMs)
BitNet b1.58 논문의 삼진 가중치와 8-bit activation, BitLinear 구조를 살펴보고 정확도·추론 비용·에너지 결과의 평가 조건을 구분한 학습 기록입니다.
[SOTA] DSVT LiDAR 3D Object Detection
[Paper] Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Part 2)
[Paper] Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Part 1)
[SOTA] LiDAR 3D Object Detection Model: CenterFormer
Ensemble Object Detection using Detectron2
Setup - Ubuntu18.04 + Cuda10.0 + cuDNN7.4.2 + TF1.14.0