대용량파일3 JSON 파일이 커서 안 열릴 때, 통째로 읽지 않고 훑어보는 법 API에서 받은 JSON이 20메가바이트를 넘습니다. 메모장은 응답이 없고, 편집기는 열다가 멈추고, 파이썬으로 읽으면 컴퓨터가 한참 버벅입니다.파일이 무거운 것보다 읽는 방식이 메모리를 몇 배로 부풀리는 것이 문제입니다. 23.5메가바이트짜리 JSON을 세 가지 방법으로 읽으면서 메모리와 시간을 직접 재 봤습니다.파일은 23메가인데 메모리는 174메가였습니다주문 내역 12만 건을 담은 24,639,898바이트 파일을 만들었습니다. 한 건마다 고객 정보와 품목 배열이 중첩으로 들어 있는, 흔한 모양입니다.읽는 방법최고 메모리파일 크기 대비걸린 시간통째로 읽기174.4 MB7배3.39 초한 건씩 훑기0.8 MB29분의 17.20 초앞 5건만 보고 멈추기0.6 MB39분의 10.00 초통째로 읽으면 파일보다.. 2026. 9. 26. 행이 100만 개를 넘는 CSV는 엑셀 시트 한 장에 다 안 들어갑니다 시스템에서 1년치 거래 내역을 CSV로 내려받았습니다. 파일은 17메가바이트 남짓이고, 더블클릭하면 엑셀이 뜨긴 뜹니다. 그런데 맨 아래로 내려가 보면 마지막 날짜가 12월이 아닙니다.엑셀이 고장 난 것이 아니라 시트 한 장이 담을 수 있는 행이 1,048,576개로 정해져 있기 때문입니다. 그 선을 넘긴 CSV를 만들어 어디까지 들어오고 무엇이 남는지 직접 재 봤습니다.제한은 CSV가 아니라 시트 쪽에 있습니다먼저 짚어 둘 것이 있습니다. CSV는 줄바꿈으로 행을 구분하는 순수한 텍스트 파일이라 줄 수에 상한이 없습니다. 1,100,000행짜리 파일을 만들어 세어 보니 정확히 1,100,000행이 들어 있었습니다.다루는 방법담기는 행걸린 시간결과CSV 파일에 담긴 원본1,100,000242 ms줄 수 .. 2026. 9. 23. 수백만 행 CSV를 pandas로 읽는 게 느릴 때, 읽기 속도를 끌어올리는 방법 수십 메가바이트가 넘는 CSV를 pd.read_csv로 불러올 때마다몇 초씩 기다리게 되면, 분석을 반복할수록 그 시간이 쌓입니다. 그런데 같은 파일이라도 읽는 방법을 조금만 바꾸면 훨씬 빨라집니다.무엇을 바꾸면 얼마나 빨라지는지 실제로 재 봤습니다.100만 행 CSV로 방법을 비교했습니다id, 도시, 금액 등 6개 열에 100만 행,약 40MB짜리 CSV를 만들어 네 가지 방법으로 읽어 시간을 쟀습니다. 측정 환경은 윈도우 11, 파이썬 3.14.3, pandas와 pyarrow입니다.각 방법을 여러 번 실행해 가장 빠른 값을 적었습니다.읽는 방법시간기본 대비기본 read_csv1.01초기준dtype 지정0.85초1.2배 빠름usecols로 필요한 3열만0.71초1.4배 빠름engine="pyarrow.. 2026. 7. 19. 이전 1 다음
