Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets paper1 Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets 안녕하세요 딥러닝 논문 읽기 모임입니다. 오늘 소개해 드릴 논문은 ‘Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘Grokking’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상 링크:https://youtu.be/EyXehqvkfF0) 일반적으로 알려져 있는 머신러닝의 모델의 generalization에 대해서 짚고 넘어가자면 트레이닝 셋의 학습이 잘 끝난 모델에는 iteration이 지속될수록 트레이닝 에러는 지속적으로 감소하는 반면에 테스트 에러는 어느 지점에서 최저점에 도달한 이후에 다시 증가하는 경향이 있습니다. 트레이닝 .. 2022. 5. 16. 이전 1 다음
