Boostcamp Day 38. 2021-03-17. DAY38 TIL
Light weight Model - Prunning
Contents
- Unstructured Prunning
- Structured Prunning
Intro
본 강의에서는 딥러닝 경량화 기술 중 prunning에 대한 내용을 배웁니다. prunning의 다양한 방법론들에 대한 내용을 다룹니다.
- unstructured prunning
- structured prunning
그리고 prunning을 진행하는 알고리즘에 대한 내용도 다루며 이를 실험 결과와 함께 살펴봅니다. 더 나아가 prunning에서 유명한 연구인 lottery hypothesis에 대한 내용을 다루며 강의를 마무리합니다.
Further Question
- lightweight modeling과 어떤 관계가 있을까?
- Mask는 언제 사용하는게 유용할까?
- Lottery Ticket Hypothesis의 key idea는 무엇인가?
Reference
- bootcamp AI Tech pdf.
- NAVER Connect Foundation.