로컬 실행
중복 줄 제거
줄 단위 텍스트에서 첫 번째 항목만 남기고 중복을 제거합니다.
입력값은 브라우저에서 처리되며 업로드되지 않습니다.
출력
결과가 여기에 표시됩니다.고유 줄: 0 · 제거된 중복: 0
키워드 목록, 로그, CSV 열, ID, URL, 스프레드시트 값을 정리할 때 유용합니다. 원래 순서를 유지하거나 결과를 정렬할 수 있습니다. 가볍고 모바일 친화적이며 반복 사용에 맞게 설계되었습니다.
반복 줄 목록을 의미 있게 정리
중복 줄은 keyword export, log extract, URL 목록, ID 목록, spreadsheet column에서 자주 생깁니다. 이 도구는 첫 번째 의미 있는 occurrence를 보존하거나 정렬된 결과를 만들면서 line-oriented cleanup을 빠르게 처리합니다.
키워드와 URL 목록
리서치 export, crawl 결과, redirect 목록, spreadsheet 행을 비교나 import 전에 deduplicate합니다.
로그와 ID 정리
request id, error name, account reference처럼 반복이 많은 목록에서 조사할 unique 값만 남깁니다.
순서가 중요한 검토
원본 순서가 의미 있으면 첫 occurrence를 유지하고, 비교가 목적이면 정렬된 결과를 씁니다.
신호를 잃지 않는 정리 순서
- 1한 줄에 하나의 값이 들어가 있는지 확인합니다.
- 2빈 줄을 값으로 볼지 제거할지 먼저 판단합니다.
- 3대소문자 구분 여부를 source system 기준으로 정합니다.
- 4제거된 개수가 예상과 맞는지 확인한 뒤 결과를 복사합니다.
중복 제거 예시
api/login
api/users
api/login
API/users
api/usersapi/login
api/users
API/users대소문자 구분 모드에서는 API/users와 api/users가 서로 다른 값으로 남습니다.
설정 확인 포인트
- 대소문자 무시는 일부 시스템에서 서로 다른 값을 합쳐버릴 수 있습니다.
- 앞뒤 공백 때문에 눈으로 같은 줄이 다르게 비교될 수 있습니다.
- 정렬은 원본 순서를 바꾸므로 중복이 어디서 왔는지 숨길 수 있습니다.
자주 묻는 질문
원래 순서를 유지하나요?+
네. 기본값은 첫 번째 항목을 유지하고 뒤의 중복 줄을 제거합니다.
대소문자를 무시할 수 있나요?+
네. 대소문자 구분을 끄면 Apple과 apple을 같은 값으로 처리합니다.
빈 줄도 제거되나요?+
빈 줄도 하나의 줄로 처리되며 반복된 빈 줄은 중복처럼 제거됩니다.