본문 바로가기
  • CobsLab upgrades your company value by AI technology

파이썬16

파이썬을 이용한 대용량 파일 다루기 대용량 파일 처리는 대량의 데이터를 다루는 경우 자주 일어나는 문제 중 하나입니다. 대용량 파일을 처리하려면 시스템 자원을 효율적으로 사용하고, 데이터를 분할하고 병렬 처리하는 방법이 필요합니다. 파이썬에서는 다양한 방법을 사용하여 대용량 파일을 처리할 수 있습니다. ​ 파일 분할 ​ 대용량 파일을 처리할 때는 파일을 작은 조각으로 나누어 처리하는 것이 좋습니다. 이를 통해 메모리 사용량을 줄이고 파일 처리 속도를 높일 수 있습니다. 이를 위해, 파일을 나누어 처리하는 방법이 있습니다. 이를 통해 데이터를 분할하여 여러 개의 파일로 나눌 수 있습니다. ​ ​ 제너레이터(Generator) 함수 제너레이터 함수는 이터레이터를 생성하는 함수입니다. 대용량 파일을 처리할 때 이 함수를 사용하면 파일을 메모리에.. 2023. 2. 22.
python os 라이브러리 + 대규모 파일 처리하기 os 라이브러리는 파일 및 디렉토리 관리와 관련된 다양한 함수를 제공합니다. ​ 이를 이용하여 현재 작업 디렉토리 조회, 디렉토리 생성, 디렉토리 삭제, 파일 생성, 파일 삭제, 파일 이동, 파일 이름 변경 등의 작업을 수행할 수 있습니다. ​ +작업진행은 COLAB에서 진행했음을 알립니다! ​ 현재 작업 디렉토리 조회 os.getcwd() 함수를 이용하여 현재 작업 디렉토리를 조회할 수 있습니다. import os print(os.getcwd()) ​ ​ 디렉토리 생성 os.mkdir() 함수를 이용하여 디렉토리를 생성할 수 있습니다. 생성하려는 디렉토리의 경로를 인자로 전달합니다. import os os.mkdir("new_dir") new_dir 폴더가 생겼습니다!! 디렉토리 삭제 os.rmdir(.. 2023. 2. 21.
Python 을 이용한 업무 자동화 안녕하세요 콥스랩입니다 ​ 많은 요청이 있던 파이썬을 이용한 비 개발자도 접목할수 있는 업무 자동화에 관련된 블로그 글을 써볼까 합니다! ​ ​ Python은 간단하면서도 강력한 프로그래밍 언어로, 많은 기업에서 이를 이용한 자동화 프로그램을 사용하고 있습니다. Python에서는 파일 및 디렉토리 관리, 데이터베이스 연동, 웹 스크래핑, API 호출, 이메일 보내기 등의 작업을 자동화할 수 있는 다양한 라이브러리와 모듈이 제공됩니다. ​ 이를 이용하면 반복적이고 지루한 작업을 자동화하여 업무 효율성을 높일 수 있습니다. ​ ​ 파일 및 디렉토리 관리 Python에서는 os, shutil 등의 라이브러리를 이용하여 파일 및 디렉토리를 자동으로 관리할 수 있습니다. 이를 통해 파일 복사, 이동, 삭제, 이름.. 2023. 2. 21.
pandas 기초(4) - loc와 iloc 차이 안녕하세요 콥스랩(COBS LAB)입니다. 오늘 소개해드릴 주제는 pandas입니다. 이번시간에는 인덱스에서 행 선택할 때 사용하는 loc와 iloc에 관해서 배워보도록 하겠습니다. 저번 시간에 사용한 데이터 프레임을 가져왔습니다. df = pd.DataFrame({'name': ['A','B','C','D','E','F'], 'age': [20,22,18,18,24,30], 'state': ['서울','부산','대구','포항','울산','광주'], 'point': [74,84,70,90,88,97]} ) df >>> loc loc는 데이터 프레임의 행/열의 라벨을 통해 추출하는 방법입니다. loc에 하나의 값을 입력하면 그에 해당되는 하나의 행만 출력됩니다. df.loc[0] 전체 데이터 프레임에서 인.. 2023. 1. 27.

티스토리툴바