{"repo":"Marker-Inc-Korea/ko-pii","free":true,"listed":false,"github":"https://github.com/Marker-Inc-Korea/ko-pii","clone":"git clone https://github.com/Marker-Inc-Korea/ko-pii.git","description":"한국어 PII 검출 + 가명화 Python 라이브러리","language":"Python","stars":52,"topics":["data-protection","hwp","korean","pii","privacy","pseudonymization","python","rag"],"license":"MIT","category":"ai-agents","readme_excerpt":"English 한국어 ko-pii 한국어 문서의 개인정보를 검출하고 가역적으로 가명화하는 Python 라이브러리. 외부 ML 의존성 없이 룰 + 사전 + 체크섬만으로 동작. 공공 문서에서 특히 강하며, 어떤 ML 파이프라인의 전처리 레이어로도 활용 가능. 공개 측정값은 제품 자격증명이 아니라 분포별 참고 근거입니다. KDPII 대화체 4,891건에서 F1 0.66, 행정·서식형 생성 평가셋 540건에서 F1 0.79를 기록했습니다. 데이터셋, 라벨 정의와 채점 조건이 달라지면 결과도 달라지므로 보편적 순위나 고객 환경의 정확도로 해석하지 않습니다. 상세 조건은 벤치마크 문서를 따릅니다. 제품 계약 항목 운영 정의 --- --- 주 고객 공공·규제 산업의 문서 RAG, 데이터 전처리, 개인정보보호 팀 고객 과업 외부 전송·인덱싱 전에 한국형 구조적 PII를 가명화하고 복원 이력을 통제 보장 범위 형식·사전·체크섬 기반의 재현 가능한 검출, 가명화와 Vault 감사 비보장 범위 일반 NER, 자유 대화·SNS 전반, 법적 익명성 판정, 모든 도메인의 동일 정확도 운영 조건 고객 문서의 라벨 분포와 confusion count를 별도 측정하고 PERSON·ADDRESS 처리 정책 승인 상태 해석 Software: Stable 은 패키지 안정성이다. 고객 환경은 도메인 qualification 전까지 미승격 결정적 식별자와 PERSON·ADDRESS 같은 문맥형 라벨을 하나의 전체 F1으로 합쳐 운영 결정을 내리지 않습니다. 고객별 승격에서는 critical identifier, 문맥형 라벨, Vault 운영을 따로 검증해야 합니다. 가명화 전후 비교 처음이시면: mode=ProcessingMode.STRICT + strategy=\"tokenize\" 추천. 가장 안전한 기본 설정 (MEDIUM 위험도 이상 차단 + Vault 복원 가능). 이런 것도 됩니다 - 조사 붙어있어도 잡힘 — \"홍길동이\" \"홍길동에게\" \"홍길동의\" → 조사 자동 분리 후 PERSON 검출 - 한자 병기 — \"홍길동(洪吉童)\" → 한글+한자 모두 인식 - 로마자 이름 — \"Hong Gildong\" → 한글로 정규화 후 매칭 - HWP/HWPX/DOCX/PDF 직접 입력 — ko-pii report.hwp --strategy tokenize (표·머리말·꼬리말·메타데이터 모두 처리) - CSV/XLSX 헤더 자동 인식 — \"성명/주민번호/연락처\" 헤더 → 자동으로 PERSON/RRN/PHONE 매핑 - 공문서 날짜 자동 거부 — \"시행일자: 2026-05-21\" \"감사기간: 3월 4월\" → 생일 아님 (비-생일 키워드 30+) - 가명 표기 자동 거부 — \"박씨\" \"김모씨\" \"○○○ 시민\" → 이미 가명화됨 (PII 아님) - 결합 위험도 자동 평가 — 이름만으로는 PII 아닐 수 있지만, 이름 + 주민번호 + 주소 가 같이 나오면 → CRITICAL (「개인정보 비식별 조치 가이드라인」 의 준식별자 결합 검증) - 감사 로그 — 누가·언제·어떤 토큰을 복원했는지 JSON","default_branch":null,"files":null,"tree":[],"storefront":"/r/Marker-Inc-Korea","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/Marker-Inc-Korea/ko-pii/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}