자연어 처리 논문22 자연어 처리의 근본, BERT 논문 리뷰 오늘 소개해 드릴 논문은 ‘BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding’입니다. 콥스랩(COBS LAB)에서는 주요 논문 및 최신 논문을 지속적으로 소개해드리고 있습니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임’ 중 ‘BERT’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크: https://youtu.be/vo3cyr_8eDQ) BERT는 transformer를 활용한 language representation에 관한 논문입니다. BERT는 transfer-learning 방식으로 학습을 합니다. 즉, 대용량 unlabeled data로 모델을 pre-training을.. 2022. 5. 16. NLP(자연어 처리)를 시작한다면 꼭 읽어야 할 필수 논문 ! “Attention is all you need” 오늘 소개해 드릴 논문은 구글의 명작 “Attention is all you need” 입니다. 콥스랩(COBS LAB)에서는 주요 논문 및 최신 논문을 지속적으로 소개해드리고 있습니다. 해당 내용은 유투브 ‘딥러닝 논문읽기 모임’ 중 ‘Attention all you need’ 스크립트 내용을 편집한 내용이며, 영상으로도 확인 하실 수 있습니다. (영상링크: https://youtu.be/EyXehqvkfF0) 이번에 소개할 논문은 2017년도에 나온 ‘Attention all you need’ 로 google scholar citation이 2022.04.22일 기준 40357건일 정도로 여전히 핫한 논문입니다. 전체적인 내용은, 모델 아키텍처에 조금 더 포인트를 맞추었습니다. ‘Transformer.. 2022. 5. 16. 이전 1 ··· 3 4 5 6 다음
