펀디멘탈 논문13 다양한 prior에서의 Contrastive learning 성능 - Intriguing Properties of Contrastive Losses 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘Intriguing Properties of Contrastive Losses’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘Intriguing Properties of Contrastive Losses’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/uzsI-dEoK2c) 오늘 발표한 논문은 2021년 NIPS에서 발표가 되었고요. 논문의 저자인 Ting Chen는 Google 리서치에서 발표한 SimCLR의 주 저자이기도 합니다. 논문 내용은 Contrastive loss로 학습시켰을 때 나타나는 세 가지 특성입니다. 첫 번째 특성 같은 경우에는 Contr.. 2022. 5. 30. 다양한 활용성을 기대할 수 있는 Graph-Bert: Only Attention is Needed for Learning Graph Representations 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘Graph-BERT’입니다. 해당 내용은 유튜브 ‘딥러닝 논문읽기 모임' 중 ‘Graph-BERT’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크: https://youtu.be/2kQDL-byr0k) Graph는 현실에서 다양한 정보를 가진 노드들과 그 연결성을 모델링화할 수 있는 형태의 데이터를 말합니다. 예를 들면 사람의 신경을 이미지화하거나 온라인 소셜미디어에 친구관계라든가 생물 분자와 같은 연결성을 가진 형태의 데이터를 Graph라고 합니다. Graph는 전통적인 머신러닝의 기법을 적용하기 어렵다는 점이 있는데 그래도 지난 몇 년간 node2vec, deepwalk, GCN 같은 Graph 뉴럴.. 2022. 5. 30. 딥러닝의 수학적 추론 능력은 어느정도 일까? - ANALYSING MATHEMATICAL REASONING ABILITIES OF NEURAL MODELS 오늘 소개해 드릴 논문은 ‘ANALYSING MATHEMATICAL REASONING ABILITIES OF NEURAL MODELS’입니다. 콥스랩(COBS LAB)에서는 주요 논문 및 최신 논문을 지속적으로 소개해드리고 있습니다. 해당 내용은 유튜브 ‘딥러닝 논문읽기 모임' 중 ‘ANALYSING MATHEMATICAL REASONING ABILITIES OF NEURAL MODELS’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크: https://youtu.be/jE1gJQH5OJI) 오늘 리뷰할 논문은 ANALYSING MATHEMATICAL REASONING ABILITIES OF NEURAL MODELS, 즉 신경망 모델의 수학적 추론 능력 분석입니다. 본 논문.. 2022. 5. 19. Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets 안녕하세요 딥러닝 논문 읽기 모임입니다. 오늘 소개해 드릴 논문은 ‘Grokking: Generalization Beyond Overfitting on Small Algorithmic Datasets’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘Grokking’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상 링크:https://youtu.be/EyXehqvkfF0) 일반적으로 알려져 있는 머신러닝의 모델의 generalization에 대해서 짚고 넘어가자면 트레이닝 셋의 학습이 잘 끝난 모델에는 iteration이 지속될수록 트레이닝 에러는 지속적으로 감소하는 반면에 테스트 에러는 어느 지점에서 최저점에 도달한 이후에 다시 증가하는 경향이 있습니다. 트레이닝 .. 2022. 5. 16. 이전 1 2 3 4 다음
