데이터분석파일 썸네일형 리스트형 같은 데이터를 CSV와 Parquet로 저장하면 용량과 읽기 속도가 얼마나 차이 날까 데이터 분석을 하다 보면 "그냥 CSV로 저장하면 되지, 왜 굳이 Parquet를 쓰지?"라는 의문이 들 때가 있습니다. 둘 다 표 형태 데이터를 담는 파일인데, 한쪽은 메모장으로도 열리고 한쪽은 그렇지도 않으니 더 그렇습니다.그렇다면 정확히 무엇이 다를까요. 용량은 얼마나 줄고, 읽는 속도는 얼마나 빨라질까요. 말로만 "Parquet가 효율적"이라고 하기보다, 같은 데이터를 두 형식으로 저장해 직접 재 봤습니다. 10만 행을 직접 만들어 두 형식으로 저장했습니다숫자 컬럼과 반복되는 문자 컬럼을 섞은 10만 행 데이터를 만들었습니다. 컬럼은 6개입니다. id(연번), amount(금액), score(점수), 그리고 도시, 등급, 부서처럼 같은 값이 계속 반복되는 범주형 문자 컬럼 3개입니다. 실제 업무 .. 더보기 이전 1 다음
