태그: LLMs

• FlashAttention 원리: 타일링과 GPU 메모리 접근 최적화

  2024년 8월 18일

  FlashAttention이 타일링과 온라인 softmax로 HBM·SRAM 사이의 데이터 이동을 줄이는 원리, SRAM 크기와 성능의 관계, PyTorch SDPA 지원을 정리합니다.

  • LLMs
  • AI
  • SOTA

• [Paper] 1-bit Large Language Models (LLMs)

  2024년 3월 3일

  BitNet b1.58 논문의 삼진 가중치와 8-bit activation, BitLinear 구조를 살펴보고 정확도·추론 비용·에너지 결과의 평가 조건을 구분한 학습 기록입니다.

  • AI
  • LLMs
  • NPU
  • GPU