transformer8 Contrastive learning을 이용한 2단계 추상 요약 framework -SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization 안녕하세요 콥스랩(COBS LAB) 입니다. 오늘 소개해 드릴 논문은 ‘SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘SimCLS’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/3CPfP7oaXO8) 안녕하세요 오늘 소개해 드릴 논문은 2021년 ACL에서 발표된 SimCLS: A Simple Framework for Contrastive Learning of Abstractive Summarization입니다. 먼저 기존 framework인 Seq2 Seq learning frame.. 2022. 5. 23. MobileViT: Light-weight, general-purpose, and Mobile-friendly Vision Transformer 안녕하세요 콥스랩(COBS LAB) 입니다. 오늘 소개해 드릴 논문은 ‘MobileViT : Light-weight, general-purpose, and Mobile-friendly Vision Transformer’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘MobileViT’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상 링크: https://youtu.be/1vZ2wEsUdZc) 먼저 background입니다. 위 그림은 MCUNet 논문에서 나온 표입니다. MCUNet에서는 AI가 점점 작아지고, 그래서 일반적으로 PC나 서버의 자원을 사용하는 Cloud AI에서 휴대폰 또는 싱글보드 컴퓨터 등을 사용하는 Mobile AI, 심지어 MCU 등 embe.. 2022. 5. 16. 코딩해주는 AI...Competition-Level Code Generation with AlphaCode 안녕하세요 콥스랩(COBSLAB) 입니다. 오늘 소개해 드릴 논문은 ‘Competition-Level Code Generation with AlphaCode’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘AlphaCode’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상 링크: https://youtu.be/c7jCWU_ChjE) 코딩을 작성해주는 인공지능 모델을 개발하려는 목적은 개발자들이 더 생산적인 프로그래밍을 할 수 있도록 하고, 일반인들이 코딩 교육을 받을 때 접근하기 쉽게 하도록 하기 위함입니다. 하지만 기존에 자동 코딩을 위한 인공지능 모델은 단순한 코드를 작성하는 정도에 불과한 수준이라서, 실제 알고리즘 이해를 기반으로 사람처럼 복잡한 코드를 작성할.. 2022. 5. 16. NLP(자연어 처리)를 시작한다면 꼭 읽어야 할 필수 논문 ! “Attention is all you need” 오늘 소개해 드릴 논문은 구글의 명작 “Attention is all you need” 입니다. 콥스랩(COBS LAB)에서는 주요 논문 및 최신 논문을 지속적으로 소개해드리고 있습니다. 해당 내용은 유투브 ‘딥러닝 논문읽기 모임’ 중 ‘Attention all you need’ 스크립트 내용을 편집한 내용이며, 영상으로도 확인 하실 수 있습니다. (영상링크: https://youtu.be/EyXehqvkfF0) 이번에 소개할 논문은 2017년도에 나온 ‘Attention all you need’ 로 google scholar citation이 2022.04.22일 기준 40357건일 정도로 여전히 핫한 논문입니다. 전체적인 내용은, 모델 아키텍처에 조금 더 포인트를 맞추었습니다. ‘Transformer.. 2022. 5. 16. 이전 1 2 다음
