필수스킬④ 데이터 클리닝 — 더러운 표 표준화
학습목표 / 사전지식: 이 레슨을 끝내면 지저분한 CSV를 코덱스에 올리고, Skills를 이용해 중복·날짜·전화번호·금액·빈칸 문제를 먼저 계획으로 정리한 뒤 실행까지 요청할 수 있습니다 [GL-14]. 선수지식은 엑셀이나 스프레드시트에서 표를 열어본 경험이면 충분하며, 핵심은 GL-14의 “모호→실행계획” 흐름을 표 정리에 적용하는 것입니다 [GL-14].
1. 왜 필요한가 — 개념·배경을 초보자 눈높이로 [GL-14]
데이터 클리닝은 표 안의 흔들리는 표기, 중복된 줄, 비어 있는 칸, 서로 다른 날짜 형식을 한 가지 규칙으로 정리하는 작업입니다 [GL-14]. 초보자에게는 이 작업이 낯설 수 있지만, 장보기 영수증을 날짜순으로 다시 묶고 같은 물건 이름을 하나로 맞추는 일과 비슷하다고 보면 됩니다 [GL-14].
CSV는 쉼표로 칸을 나눈 표 파일이라고 이해하면 되고, 엑셀 파일보다 단순해서 여러 업무 도구 사이를 오갈 때 자주 등장합니다 [GL-14]. 여기서 중요한 점은 CSV가 깨끗해 보인다고 바로 믿지 말고, 먼저 무엇을 고칠지 목록으로 꺼내야 한다는 것입니다 [GL-14].
Skills는 반복해서 쓸 작업 절차를 코덱스에게 알려 주는 방식으로 다룹니다 [GL-14]. 이번 수업에서는 “데이터를 알아서 정리해 줘”처럼 모호한 요청을 “중복 기준 확인, 포맷 통일, 빈값 처리, 실행 전 검토”라는 작업 계획으로 바꾸는 데 Skills를 씁니다 [GL-14].
실무에서 표가 지저분해지는 건 누가 입력을 잘못해서가 아니라, 여러 사람이 저마다 다른 습관으로 적기 때문입니다 [GL-14]. 같은 고객 한 명이 “김민수”, “김 민수”, “KIM MINSU”로 흩어지고, 같은 날짜가 “2026.6.1”, “06/01/26”, “2026-06-01”로 갈라지는 식입니다 [GL-14].
2. 준비 — 코덱스 어디로 들어가 무엇을 누르나 [GL-14]
먼저 코덱스 대화창을 열고 새 작업을 시작합니다 [GL-14]. 이번 레슨의 화면 흐름은 파일을 올리고, 클리닝 Skill을 호출하고, 계획을 확인하고, 실행을 승인하는 순서로 진행합니다 [GL-14].
화면에서 파일 첨부 영역을 찾은 뒤 실습용 CSV를 올립니다 [GL-14]. 파일을 올린 직후에는 바로 “정리해 줘”라고 하지 말고, 어떤 열이 있고 어떤 문제가 의심되는지 먼저 읽어 달라고 요청합니다 [GL-14].
이번 수업에서 사용할 Skill 이름은 예시로 csv-cleaning-standardizer라고 부르겠습니다 [GL-14]. 이름보다 중요한 것은 Skill 안에 “바로 수정하지 말고 계획부터 제시하라”는 규칙이 들어간다는 점입니다 [GL-14].
3. 따라하기 — 단계별로 아주 세세하게 [GL-14]
1단계에서는 CSV 파일을 업로드하고 “이 파일을 먼저 진단해 줘”라고 입력합니다 [GL-14]. 화면에는 코덱스가 열 이름, 행 수, 눈에 띄는 중복 후보, 날짜나 금액처럼 형식이 흔들릴 수 있는 열을 요약하는 답변이 나와야 합니다 [GL-14].
2단계에서는 클리닝 Skill을 붙여서 작업 기준을 고정합니다 [GL-14]. 입력문은 “$csv-cleaning-standardizer를 사용해서 이 CSV의 클리닝 계획을 먼저 작성해 줘”처럼 씁니다 [GL-14].
3단계에서는 실행 전에 계획만 받습니다 [GL-14]. 좋은 계획에는 중복 판단 기준, 바꿀 포맷, 비어 있는 값 처리 방식, 원본 보존 방식, 실행 후 확인할 샘플이 들어가야 합니다 [GL-14].
4단계에서는 계획을 사람이 읽고 애매한 부분을 고릅니다 [GL-14]. 예를 들어 같은 이메일이면 같은 고객으로 볼지, 같은 이름과 전화번호가 모두 같아야 같은 고객으로 볼지 결정해야 합니다 [GL-14].
5단계에서는 “계획대로 실행하되 원본 파일은 보존하고 cleaned 버전을 새로 만들어 줘”라고 요청합니다 [GL-14]. 결과 화면에는 변경 요약, 수정된 열, 제거된 중복 수, 사람이 다시 봐야 할 예외 행이 분리되어 나와야 합니다 [GL-14].
6단계에서는 최종 파일을 내려받기 전에 샘플 10행을 확인합니다 [GL-14]. 이때 날짜가 한 형식으로 통일됐는지, 전화번호 앞자리 0이 사라지지 않았는지, 금액의 쉼표와 통화 기호가 의도대로 처리됐는지 확인합니다 [GL-14].
4. 복붙 템플릿 — 그대로 쓰는 프롬프트/Skill + 각 부분이 왜 그런지 해설 [GL-14]
아래 템플릿은 지저분한 CSV를 올린 뒤 그대로 붙여 넣는 용도입니다 [GL-14].
$csv-cleaning-standardizer
첨부한 CSV를 바로 고치지 말고 먼저 진단해 주세요.
1. 열 이름과 각 열의 역할을 추정해 주세요.
2. 중복 후보를 찾되, 어떤 기준으로 중복을 판단할지 선택지로 제시해 주세요.
3. 날짜, 전화번호, 이메일, 금액, 주소처럼 포맷이 흔들리는 열을 찾아 주세요.
4. 빈값과 이상값은 삭제하지 말고 처리 방안을 먼저 제안해 주세요.
5. 원본 보존 방식과 새 파일 이름을 제안해 주세요.
6. 실행 계획을 표로 보여 주고, 제가 승인하기 전에는 파일을 수정하지 마세요.
첫 줄에서 Skill을 부르는 이유는 매번 같은 클리닝 절차를 쓰기 위해서입니다 [GL-14]. “바로 고치지 말라”는 문장은 실수로 원본 의미가 바뀌는 일을 막기 위한 안전장치입니다 [GL-14].
중복 기준을 선택지로 달라고 하는 이유는 중복이 항상 기계적으로 정해지지 않기 때문입니다 [GL-14]. 이름만 같은 사람을 한 명으로 합치면 위험할 수 있고, 이메일까지 같을 때만 합치면 더 보수적인 판단이 됩니다 [GL-14].
포맷이 흔들리는 열을 따로 찾게 하는 이유는 숫자처럼 보여도 실제로는 문자로 보존해야 하는 값이 있기 때문입니다 [GL-14]. 전화번호, 우편번호, 사번은 앞자리 0이 의미를 가질 수 있으므로 금액처럼 계산용 숫자로 다루면 안 됩니다 [GL-14].
5. 응용·함정 — 변형, 자주 막히는 곳과 해결 [GL-14]
첫 번째 함정은 “중복 제거”라는 말이 너무 넓다는 점입니다 [GL-14]. 그래서 “동일 이메일 기준”, “동일 전화번호 기준”, “이름과 생년월일 조합 기준”처럼 합칠 조건을 사람의 말로 못 박아 둬야 합니다 [GL-14].
다음은 날짜 통일을 서두르다 월과 일을 뒤집는 경우입니다 [GL-14]. 애매한 날짜가 보이면 샘플을 먼저 달라고 하고, 국내 업무라면 YYYY-MM-DD 한 형식으로 맞춰 달라고 요청하면 됩니다 [GL-14].
빈칸을 전부 지워 버리는 것도 함정입니다 [GL-14]. 빈칸은 “모름”, “해당 없음”, “나중에 입력”, “수집 실패”처럼 속뜻이 제각각이라, 삭제하기 전에 표시 규칙부터 정해야 합니다 [GL-14].
마지막은 클리닝 결과만 받고 검수를 건너뛰는 것입니다 [GL-14]. 원본과 결과를 10행쯤 나란히 놓고 비교한 뒤, 제거·수정·보류된 행을 따로 요약해 달라고 하면 됩니다 [GL-14].
응용할 때는 고객명단, 신청자 명단, 매출 내역, 설문 응답처럼 행이 많은 표부터 적용하면 효과를 보기 쉽습니다 [GL-14]. 다만 사람에게 영향을 주는 명단은 자동 실행보다 계획 확인과 샘플 검수를 먼저 두는 편이 좋습니다 [GL-14].
6. 정리·체크리스트 [GL-14]
이 레슨의 핵심은 지저분한 표를 “정리해 줘”라고 던지는 것이 아니라, 코덱스가 먼저 진단하고 계획을 세운 뒤 사람이 승인하는 흐름을 만드는 것입니다 [GL-14]. GL-14의 “모호→실행계획”은 데이터 클리닝에서 특히 잘 맞는 원칙입니다 [GL-14].
- CSV를 올린 뒤 바로 수정하지 말고 먼저 진단을 요청했습니다 [GL-14].
- Skill을 호출해 반복 가능한 클리닝 절차로 바꿨습니다 [GL-14].
- 중복 기준, 포맷 통일, 빈값 처리, 원본 보존을 계획에 넣었습니다 [GL-14].
- 사람이 승인한 뒤 cleaned 파일을 새로 만들도록 요청했습니다 [GL-14].
- 결과를 샘플 비교와 변경 요약으로 검수했습니다 [GL-14].
마지막으로 기억할 문장은 하나입니다 [GL-14]. “표를 고치기 전에, 무엇을 고칠지 계획부터 받아라”입니다 [GL-14].
출처
본문의 [...] 표기는 아래 근거에서 확인할 수 있습니다.
- GL-14 — 분석·운영 · 데이터 클리닝