자연어 처리 논문22 이진 코드를 사용하여 통과 지수를 표현하는 메모리 효율적인 신경 검색 모델- Efficient Passage Retrieval with Hashing for Open-domain Question Answering(BPR) 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘Efficient Passage Retrieval with Hashing for Open-domain Question Answering(BPR)’입니다. 짧게 BPR이라고 불리고 있는 논문입니다 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘Efficient Passage Retrieval with Hashing for Open-domain Question Answering(BPR)’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/ESzmoZU-QfQ) 오늘 발표 내용의 목차는 다음과 같습니다. Passage Retrieval이 뭔지 일단 간단히 설명드리고 선행 연구 .. 2022. 12. 2. Zero-Shot 성능을 일반화한 T0 - Multitask Prompted Training Enables Zero-Shot Task 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘Multitask Prompted Training Enables Zero-Shot Task’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘Multitask Prompted Training Enables Zero-Shot Task’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/AttJCATMhRo) 먼저 목차입니다. 배경으로 Implicit multitask learning과 explicit multitask learning에 대해 소개해드리고 본 논문의 접근법을 소개하겠습니다. 그다음으로 T0의 일반화 성능 Prompt에 대한 Robustness에 대한 실험.. 2022. 11. 23. data augmentation의 새로운 관점- SimCSE:Simple Contrastive Learning of Sentence Embedding 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘SimCSE:Simple Contrastive Learning of Sentence Embedding’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘SimCSE’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/RToEmUYyGO4) 먼저 이 해당 논문을 이해하기 위해서 필요한 background knowledge부터 말씀드리겠습니다. 세 가지의 background knowledge가 필요합니다. 하나는 Contrastive learning입니다. 요즘 NLP에서 굉장히 representation이 잘 되는 연구가 활발하게 진행되고 있는데요. Contrastiv.. 2022. 8. 5. LaMDA : Language Models for Dialog Application 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘LaMDA : Language Models for Dialog Applications’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘LaMDA’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/re2AiBnFGGk) LaMDA 모델 같은 경우는 2021년 Google I/O 에서 발표되었던 논문입니다. BERT와 GPT, Transformer Chatbot을 키워드로 구성되어 있음을 알 수 있습니다. 이 논문은 단어의 시퀀스의 확률을 할당하는 Large scale LM 모델 방법과 직접 labeling 한 데이터로 Fine tuning 한 Transformer .. 2022. 7. 29. 이전 1 2 3 4 5 6 다음
