글 목록
블로그 리부트
오랜만에 블로그를 다시 시작하며, 변화한 것들을 돌아보고 앞으로의 방향을 정리해본다.
LLaDA와 Gemini Diffusion: 자기회귀 언어 모델과의 차이
LLaDA의 마스킹 기반 학습과 반복 생성 과정을 자기회귀 언어 모델과 비교하고, Gemini Diffusion의 공개 정보와 속도·품질 비교 시 주의할 점을 정리합니다.
클린 아키텍처 정리 1: 경계·의존성·테스트 설계
로버트 C. 마틴의 클린 아키텍처를 읽고 경계와 의존성 방향, 테스트 가능성, 데이터베이스·프레임워크를 세부사항으로 다루는 설계 원칙을 정리합니다.
Clean Architecture 0
클린 아키텍처 전반부를 읽고 구조적·객체지향·함수형 패러다임, SOLID, 컴포넌트 응집도와 결합 원칙을 정리한 학습 기록입니다.
FlashAttention 원리: 타일링과 GPU 메모리 접근 최적화
FlashAttention이 타일링과 온라인 softmax로 HBM·SRAM 사이의 데이터 이동을 줄이는 원리, SRAM 크기와 성능의 관계, PyTorch SDPA 지원을 정리합니다.
[Paper] 1-bit Large Language Models (LLMs)
BitNet b1.58 논문의 삼진 가중치와 8-bit activation, BitLinear 구조를 살펴보고 정확도·추론 비용·에너지 결과의 평가 조건을 구분한 학습 기록입니다.
[SOTA] DSVT LiDAR 3D Object Detection
[Paper] Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Part 2)
[Paper] Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Part 1)
[SOTA] LiDAR 3D Object Detection Model: CenterFormer