본문 바로가기

전체 글

CSV를 Parquet로 변환하기, 특별한 프로그램 없이 pandas 한 줄이면 됩니다 Parquet라는 이름을 처음 보면 전용 변환 프로그램이나 빅데이터 도구를 따로 깔아야 한다고 짐작하기 쉽습니다. 그래서 변환 자체를 어렵게 느끼고 미뤄 두는 경우가 많습니다.실제로는 파이썬의 pandas 라이브러리만 있으면 됩니다. CSV를 읽어 한 줄로 Parquet로 저장하면 끝이고, 별도 변환기는 필요 없습니다. 아래 단계를 그대로 따라 하면 한글이 섞인 CSV도 데이터 손실 없이 변환됩니다.준비물부터 짧게변환에 쓰는 라이브러리는 두 개입니다. 표를 다루는 pandas, 그리고 Parquet 파일을 실제로 쓰고 읽는 엔진인 pyarrow입니다. 둘 다 한 번만 설치하면 됩니다.pip install pandas pyarrow이 글의 모든 수치는 윈도우 11, 파이썬 3.14.3, pandas 3.0.. 더보기
같은 데이터를 CSV와 Parquet로 저장하면 용량과 읽기 속도가 얼마나 차이 날까 데이터 분석을 하다 보면 "그냥 CSV로 저장하면 되지, 왜 굳이 Parquet를 쓰지?"라는 의문이 들 때가 있습니다. 둘 다 표 형태 데이터를 담는 파일인데, 한쪽은 메모장으로도 열리고 한쪽은 그렇지도 않으니 더 그렇습니다.그렇다면 정확히 무엇이 다를까요. 용량은 얼마나 줄고, 읽는 속도는 얼마나 빨라질까요. 말로만 "Parquet가 효율적"이라고 하기보다, 같은 데이터를 두 형식으로 저장해 직접 재 봤습니다. 10만 행을 직접 만들어 두 형식으로 저장했습니다숫자 컬럼과 반복되는 문자 컬럼을 섞은 10만 행 데이터를 만들었습니다. 컬럼은 6개입니다. id(연번), amount(금액), score(점수), 그리고 도시, 등급, 부서처럼 같은 값이 계속 반복되는 범주형 문자 컬럼 3개입니다. 실제 업무 .. 더보기
CSV를 UTF-8로 저장하는 법, 엑셀과 메모장과 파이썬에서 각각 컨버팅해서 읽는 방법 동료에게 받은 CSV를 웹 업로드 양식에 올렸더니 "UTF-8로 저장해서 다시 올려 주세요"라는 안내가 떴습니다. 분명 엑셀에서 멀쩡히 열리던 파일인데, 시스템이 요구하는 인코딩이 따로 있는 상황입니다.이럴 때 필요한 건 한 가지입니다. 파일을 UTF-8로 다시 저장하는 것. 도구마다 방법이 조금씩 다르고, 같은 UTF-8이라도 두 종류가 있어 헷갈리기 쉽습니다. 메모장, 엑셀, 파이썬 순으로 가장 빠른 길을 정리하고, 두 종류의 UTF-8 차이를 실제 바이트로 확인해 보겠습니다. 먼저 알아둘 것: UTF-8은 사실 두 종류입니다저장 옵션에서 흔히 보이는 이름이 UTF-8과 UTF-8 (BOM 포함)입니다. 둘의 실제 내용은 거의 같고, 차이는 파일 맨 앞에 붙는 3바이트짜리 표식 하나뿐입니다. 이 표식.. 더보기
JSON 한 줄 저장과 들여쓰기 저장, 용량이 얼마나 차이 날까 (실측과 정리 방법) API에서 받은 JSON을 메모장으로 열었더니 처음부터 끝까지 한 줄로 뭉쳐 있어 어디가 어디인지 읽기 어렵습니다. 반대로 보기 좋게 정리된 JSON을 저장했더니 파일이 부쩍 커져서 전송이 부담스러운 경우도 있습니다.이 두 가지는 같은 데이터의 양면입니다. JSON은 같은 내용을 한 줄로 압축(minify)해 저장할 수도, 들여쓰기로 정렬(pretty)해 저장할 수도 있고, 둘은 용량이 꽤 다릅니다. 얼마나 다른지 직접 재 보고, 상황에 맞게 바꾸는 방법을 정리하겠습니다. 같은 1,000행을 두 방식으로 저장해 재 봤습니다객체 1,000개가 담긴 배열(필드 5개: id, name, age, city, active)을 만들어 같은 데이터를 여러 방식으로 저장하고 크기를 쟀습니다. 측정 환경은 윈도우 11,.. 더보기
아이폰 사진 수백 장이 HEIC일 때, PC에서 한 번에 JPG로 바꾸는 법 아이폰으로 찍은 사진을 노트북으로 옮겨 폴더를 열었더니 파일이 전부 .heic로 깔려 있는 경우가 있습니다. 한두 장이면 모를까 휴가 사진 300장을 하나씩 변환할 수는 없는 노릇입니다.다행히 사진을 한 장씩 손볼 필요는 없습니다. 운영체제마다 여러 장을 한 번에 골라 JPG로 내보내는 길이 있고, 애초에 변환이 필요 없도록 아이폰 쪽을 손보는 방법도 있습니다. 상황별로 가장 빠른 길을 정리하겠습니다.먼저 내 상황에 맞는 길 고르기방법마다 준비물과 한계가 다릅니다. 무엇을 쓰는 환경인지에 따라 아래 표에서 한 줄을 고르면 됩니다.방법준비물여러 장 한 번에유의점윈도우 사진 앱HEIF 확장 기능 설치 필요할 수 있음가능버전에 따라 일괄 내보내기 메뉴 위치가 다름맥 미리보기맥 기본 내장가능여러 장 선택 후 한.. 더보기
사진만 보내면 위치는 안 새어 나간다? 사진 속 EXIF 확인하고 지우는 법 채팅이나 메일로 사진 한 장을 보낼 때, 흔히들 "이미지 안에는 그림만 들어 있으니 내 위치가 새어 나갈 일은 없다"고 생각합니다. 사진은 픽셀 덩어리일 뿐이라는 믿음 때문입니다.그런데 스마트폰이나 카메라로 찍은 JPEG에는 그림과 별개로 EXIF라는 정보 묶음이 같이 저장됩니다. 여기에는 촬영 기기, 촬영 시각, 그리고 경우에 따라 찍은 장소의 GPS 좌표까지 들어갈 수 있습니다. 즉 원본 사진을 그대로 전달하면 위치가 함께 따라갈 수 있습니다. EXIF가 정말 위치까지 담는지 직접 확인해 봤습니다말로만 설명하면 와닿지 않으니, 사진 한 장을 만들어 EXIF에 카메라 정보와 GPS 좌표를 넣어 저장한 뒤, 그 파일에서 어떤 정보가 읽히는지 실제로 꺼내 보았습니다. 측정 환경은 윈도우 11, 파이썬 3... 더보기
비밀번호 걸린 ZIP 만드는 법, 윈도우와 맥에서 안전하게 압축하기 견적서나 신분증 사본처럼 남이 보면 곤란한 파일을 메일로 보내야 할 때가 있습니다. 첨부 파일에 잠금을 걸어 두고 비밀번호는 따로 전달하고 싶은데, 막상 압축하려고 보면 어디서 암호를 넣어야 하는지 보이지 않습니다.윈도우 탐색기의 기본 압축 기능은 ZIP을 만들 수는 있어도 비밀번호를 걸지는 못합니다. 그래서 별도 도구가 필요한데, 이때 어떤 암호화 방식을 고르느냐가 보안을 크게 좌우합니다. 단계별로 만드는 법과 함께 그 차이를 짚어 보겠습니다. 먼저 알아 둘 점: 기본 압축은 암호를 못 건다윈도우에서 폴더를 우클릭해 나오는 [압축 ZIP 파일로 만들기]는 잠금 기능이 없습니다. 맥의 기본 압축(우클릭 [압축])도 마찬가지로 비밀번호 옵션을 제공하지 않습니다.프로그래밍으로 ZIP을 다루는 파이썬 표준 라.. 더보기

티스토리툴바