전체 글111 pandas 기초(12) - 중복값 처리하기 drop.duplicates() 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해드릴 주제는 pandas입니다. 이번 시간에는 저번 시간에 소개한 중복값에 대해서 좀 더 알아보도록 하겠습니다. 판다스 기초를 진행하면서 사용할 국내 아이돌 평판지수 데이터 프레임입니다. drop.duplicates() drop.duplicates( )는 데이터 프레임에서 중복되는 값이 있는 행을 제거하고 싶을 때 사용하는 메서드입니다. 아무것도 지정하지 않으면 모든 열(column)을 기준으로 중복을 제거해 줍니다. df.drop_duplicates(['그룹']) 파라미터로 '그룹'열을 지정해 줘서 중복값을 제거했습니다. keep='first' 중복되는 데이터 중에서 어떤 행을 남길지 지정할 수 있습니다. 'first'로 설정할 경우 인덱스 기준 가.. 2023. 3. 6. pandas 기초(11) - 중복값 확인하기 duplicated() 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해드릴 주제는 pandas입니다. 이번 시간에는 데이터분석에 들어가기 앞서서 반드시 확인해야 하는 중복값에 대해서 알아보도록 하겠습니다. 판다스 기초를 진행하면서 사용할 국내 아이돌 평판지수 데이터 프레임입니다. duplicated() duplicated()는 데이터에서 중복값이 있는 지 확인하는 메서드입니다. duplicated() 메소드는 True, False의 boolean 형태로 반환해 줍니다. 위 데이터에서 중복값이 있는지 확인해 보도록 하겠습니다. df.duplicated(['그룹']) '그룹'칼럼에서 '방탄소년단'과 '뉴이스트'에서 중복값이 True로 표시되었습니다. keep='first' duplicated 메소드에서 defalut값이며 .. 2023. 3. 3. 핫한 Text to Image 생성 모델 - Stable Diffusion 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘Stable Diffusion’입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임' Stable Diffusion’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/7fBQDaJkcSU) 최근에 Text to Image 생성 모델이 많은 관심을 받고 있습니다. DALL-E나 Image GAN 같은 모델들이 있고 그중에서 가장 핫한 Stable Diffusion에 대해서 리뷰를 시작해 보도록 하겠습니다. Stable Diffusion 같은 경우에는 다른 모델들과 다르게 컴퓨터 사용 리소스가 대폭 줄어서 4GB 이하의 브이랩에서도 돌릴 수 있습니다. 따라서 현재 API들이 굉장.. 2023. 2. 28. pandas 기초(10) - 결측값 정리하기 dropna 옵션 axis, how, inplace 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해드릴 주제는 pandas입니다. 이번 시간에는 저번 시간에 이어서 판다스 결측값 옵션에 대해서 알아보도록 하겠습니다. 판다스 기초를 진행하면서 사용할 국내 아이돌 평판지수 데이터 프레임입니다. axis=0 결측값이 있는 칼럼행을 삭제해줍니다. default 값은 0입니다. df.dropna(axis=0) axis=1 df.dropna(axis=1) 결측값이 있는 열을 삭제해줍니다. how='any' 행 또는 열에 결측값이 존재하는 값이 하나라도 있으면 삭제합니다. default 값은 'any'입니다. df.dropna(axis=0, how='any') how='all' 행 또는 열에 모든값이 결측값이면 삭제합니다. df.dropna(axis=0, ho.. 2023. 2. 27. ChatGpt의 오픈소스버전? Meta의 LLaMA: Open and Efficient Foundation Language Models 논문 리뷰! 라마 깃허브 : https://github.com/facebookresearch/llama 우리나라 포함, 대기업들이 초거대 AI 기술을 공개함과 동시에 폐쇄적으로 변해가는 느낌이 있었습니다. 몇 년 전만 하더라도 많은 비용을 투자한 모델이라도 오픈소스 문화를 위해 사전 학습된 모델을 공개를 했지만, 몇몇 모델들은 비용을 지불하고 사용하는 모습으로 바뀌어 가고 있었습니다. GPT 버전만 하더라도, GPT-3부터는 작은 스타트업은 서비스를 위한 fine tuning을 하기 위해서는 지속적으로 비용을 내는 구조로 다가갈 수밖에 없었습니다. 그러나 우리의 Face book은 Chat GPT( GPT 3.5 기반)로 많은 주목을 받는 Open AI를 비웃듯 오픈 소스 커뮤니티를 위해 GPT3보다 뛰어난 성능을 .. 2023. 2. 27. Random sampling bias를 줄였다! -Debiased Contrastive learning of Unsupervised Sentence Representation 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해 드릴 논문은 ‘Debiased Contrastive learning of Unsupervised Sentence Representation'입니다. 해당 논문은 ACL 2022년에 Publish된 논문입니다. 해당 내용은 유튜브 ‘딥러닝 논문 읽기 모임'Debiased Contrastive learning of Unsupervised Sentence Representation’ 영상 스크립트를 편집한 내용으로, 영상으로도 확인하실 수 있습니다. (영상링크:https://youtu.be/SJUZFEE5ELw) 먼저 알아야 할 background 입니다. 첫 번째로는 sentence representation learning 입니다. 이 sentence.. 2023. 2. 24. 이전 1 ··· 3 4 5 6 7 8 9 ··· 19 다음
