transformer8 GTRANS-Grouping and Fusing Transformer Layers for Neural Machine Translation 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘GTRANS-Grouping and Fusing Transformer Layers for Neural Machine Translation'입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘GTRANS-Grouping and Fusing Transformer Layers for Neural Machine Translation’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/DgqnbETZNZw) 논문요약부터 간단하게 보여 드리겠습니다. 논문은 트랜스포머 모델의 Multi level layer의 어떤 정보들을 활용해서 fusion 방식을 통해서 그 정보를 잘 취합해서.. 2023. 1. 13. An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘An Image is Worth 16x16 Words:Transformers for Image Recognition at Scale’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/NjJXGRDzsYk) Paper with Cdoe에 리더보드를 보면 최근 detection task에서 Transformer 기반의 모델들이 SOTA를 달성하고 있는 것을 알 수 있습니다. 이러한 수많은 .. 2023. 1. 9. 시각화 툴의 필요성-Transformer Interpretability Beyond Attention Visualization 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘Transformer Interpretability Beyond Attention Visualization’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘Transformer Interpretability Beyond Attention Visualization' 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/XCED5bd2WT0) Transformer 모델은 자연어 처리 분야에서 수많은 SOTA 네트워크에 쓰였으며 점차 컴퓨터 비전, 추천 시스템 등 다양한 분야에서도 쓰이기 시작하는 추세입니다. Transformer 네트워크의 중요성은 그 네트워크의 예측 과정.. 2022. 8. 18. 오직 MLP만으로 구성된 딥러닝 모델! - MLP-Mixer: An all-MLP Architecture for Vision 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘MLP-Mixer: An all-MLP Architecture for Vision’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' 중 ‘MLP-Mixer’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상 링크: https://youtu.be/L3vEetyNG_w) 본 논문이 이야기하는 특징을 설명드리겠습니다. 지금까지 흘러온 컴퓨터 비전 분야에서 알 수 있듯이 더 큰 데이터 셋 사용과 컴퓨팅 용량 증가라는 패러다임 전환으로 이어지고 있습니다. 그리고 Convolutional Neural Network가 컴퓨터 비전에서 일반적으로 사용하는 네트워크가 되어왔습니다. 이것을 조금 더 개선하고자 batch n.. 2022. 5. 26. 이전 1 2 다음
