경표의 블로그
AI, 자율주행 인식, 소프트웨어 엔지니어링에 대한 학습 기록.
최근 글
블로그 리부트
오랜만에 블로그를 다시 시작하며, 변화한 것들을 돌아보고 앞으로의 방향을 정리해본다.
LLaDA와 Gemini Diffusion: 자기회귀 언어 모델과의 차이
LLaDA의 마스킹 기반 학습과 반복 생성 과정을 자기회귀 언어 모델과 비교하고, Gemini Diffusion의 공개 정보와 속도·품질 비교 시 주의할 점을 정리합니다.
클린 아키텍처 정리 1: 경계·의존성·테스트 설계
로버트 C. 마틴의 클린 아키텍처를 읽고 경계와 의존성 방향, 테스트 가능성, 데이터베이스·프레임워크를 세부사항으로 다루는 설계 원칙을 정리합니다.
Clean Architecture 0
FlashAttention 원리: 타일링과 GPU 메모리 접근 최적화
FlashAttention이 타일링과 온라인 softmax로 HBM·SRAM 사이의 데이터 이동을 줄이는 원리, SRAM 크기와 성능의 관계, PyTorch SDPA 지원을 정리합니다.