python 으로 csv 파일 합치기

파이썬 모듈을 이용해서

csv 파일의 내용을 합쳐보겠다.

pandas 모듈에서 concat 명령어를 이용해보겠다.

import pandas as pd
from glob import glob

climate_files = sorted(glob('*.csv'))

#'*'을 넣어줌으로써 해당 디렉토리 안에있는 모든 csv 파일을 불러온다.

합치고자 하는 데이터는 우리나라 2020년에서 2021년까지의

기상 기후 데이터 이며

전국의 관측소 대략 500 곳에서 측정된 데이터를 파싱해온 것이고

따라서 합치고자 하는 csv 파일의 갯수 또한 대략 500개 정도 된다.

 

%%time
climate = pd.concat((pd.read_csv(file).assign(filename = file) for file in climate_files), ignore_index = True)

climate.shape

for 구문으로 csv 파일들을 읽어 들이고 

concat 함수를 이용해서 내용을 병합한다.

ignore_index=True 는

인덱스 값이 기존 순서를 무시하고

순서대로 정렬시킨다는 의미.

shape함수로 병합이 되었는지 확인.

head 와 tail 로 재확인.

climate.to_csv("result_climate_merge.csv", encoding='utf-8')

#인덱스 빼려면 index = False 파라미터 추가

to_csv 함수로 저장까지 완료