글 목록
블로그 리부트
오랜만에 블로그를 다시 시작하며, 변화한 것들을 돌아보고 앞으로의 방향을 정리해본다.
LLaDA와 Gemini Diffusion: 자기회귀 언어 모델과의 차이
LLaDA의 마스킹 기반 학습과 반복 생성 과정을 자기회귀 언어 모델과 비교하고, Gemini Diffusion의 공개 정보와 속도·품질 비교 시 주의할 점을 정리합니다.
클린 아키텍처 정리 1: 경계·의존성·테스트 설계
로버트 C. 마틴의 클린 아키텍처를 읽고 경계와 의존성 방향, 테스트 가능성, 데이터베이스·프레임워크를 세부사항으로 다루는 설계 원칙을 정리합니다.
클린 아키텍처 정리 0: 프로그래밍 패러다임·SOLID·컴포넌트 원칙
클린 아키텍처 전반부를 읽고 구조적·객체지향·함수형 패러다임, SOLID, 컴포넌트 응집도와 결합 원칙을 정리한 학습 기록입니다.
FlashAttention 원리: 타일링과 GPU 메모리 접근 최적화
FlashAttention이 타일링과 온라인 softmax로 HBM·SRAM 사이의 데이터 이동을 줄이는 원리, SRAM 크기와 성능의 관계, PyTorch SDPA 지원을 정리합니다.
BitNet b1.58 논문 정리: 삼진 가중치와 LLM 추론 비용
BitNet b1.58 논문의 삼진 가중치와 8-bit activation, BitLinear 구조를 살펴보고 정확도·추론 비용·에너지 결과의 평가 조건을 구분한 학습 기록입니다.
[SOTA] DSVT LiDAR 3D Object Detection
MMDetection3D와 OpenPCDet에서 바로 쓸 수 있는 LiDAR 3D 검출 모델 DSVT를 정리했습니다. Transformer를 쓰면서 custom operation 없이 구현해 배포가 쉽다는 점에 초점을 맞췄습니다.
[Paper] Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Part 2)
같은 논문 리뷰의 2편으로, DNN 전용 하드웨어 구성을 살펴봅니다. 벡터 명령어부터 가속기 구조까지 논문이 소개한 하드웨어 사례를 정리했습니다.
[Paper] Efficient Processing of Deep Neural Networks: A Tutorial and Survey (Part 1)
NPU에 DNN을 올리며 정리한 논문 리뷰 1편입니다. 하드웨어 플랫폼과 데이터플로우, 데이터 재사용이 에너지 비용과 어떻게 연결되는지 다룹니다.
[SOTA] LiDAR 3D Object Detection Model: CenterFormer
CenterPoint에 Transformer를 결합한 LiDAR 3D 객체 검출 모델 CenterFormer를 살펴봅니다. Waymo 벤치마크 결과와 구조가 달라진 지점을 논문 기준으로 정리했습니다.