{"repo":"hyeonsangjeon/PDF2LLM-Tuning-Studio","free":true,"listed":false,"github":"https://github.com/hyeonsangjeon/PDF2LLM-Tuning-Studio","clone":"git clone https://github.com/hyeonsangjeon/PDF2LLM-Tuning-Studio.git","description":"PDF 문서에서 GPU 가속 처리로 고품질 질의응답(QA) 데이터를 자동 생성하고 LLM을 효율적으로 파인튜닝하는 솔루션입니다. Unstructured 라이브러리와 AWS Bedrock Claude로 도메인 특화 QA 쌍을 생성하고, LoRA 기법으로 경량 모델을 훈련합니다.","language":"Python","stars":10,"topics":["aws","bedrock","claude","cuda","data-argumantation","data-extraction","distillation","docker","finetuning","gpu"],"license":null,"category":"deployment-docker-iac","readme_excerpt":"PDF2LLM-Tuning-Studio PDF 문서에서 지식을 추출하고 대규모 언어 모델(LLM)을 효율적으로 파인튜닝하는 Azure-first 멀티클라우드 엔드투엔드 파이프라인입니다. 경량 CPU 컨테이너의 PDF 파싱과 최적화된 LLM 파인튜닝을 결합하여 문서 기반 질의응답 시스템을 구축합니다. 기본 백엔드는 Azure AI Foundry (Azure OpenAI / Foundry Agent Service)와 Azure Machine Learning 이며, AWS Bedrock + SageMaker 경로도 그대로 지원합니다. 하나의 공개 컨테이너 이미지(GHCR)를 두 클라우드가 함께 사용합니다. - 금융보안원 AI 개발 강의, 2025 🎯 두 개의 공개 진입점 (Public entry points) 이 저장소에는 서로 섞이지 않는 두 개의 재현 가능한 트랙 이 있습니다. 각 수치는 커밋된 JSON으로 역추적됩니다. 📑 증거 색인 : 모든 강한 수치·지원 주장은 docs/EVIDENCE.md 에 명령·raw artifact와 함께 등록되어 있고, python scripts/build evidence index.py --check (CI 게이트)가 README 숫자와 원본 JSON의 불일치를 실패시킵니다. 실행 전 기능은 planned 로만 표기됩니다. ① Quantization & Serving Experiment — recorded hardware run (1× A100 80GB, 3 seeds) KorQuAD 기반 BF16 LoRA(A) / INT4 PTQ(B) / INT4 QAT(C) 3-way 비교 + vLLM 서빙 벤치(배치 스윕 + 단일스트림 지연). PyTorch 발표 코어. 관측 순서 A ≳ C B (동등성 검정은 미수행 — 자세히). - 코드: quantization/config.yaml · v2 pipeline.py · v2 run.py · v2 bench.py - 실행 노트북: notebooks/ (00 base-select · 01 BF16 · 02 INT4 PTQ · 03 INT4 QAT) - 결과(수치 원본): results/three way table.json (EM/F1/ppl mean±std) · results/vllm throughput.json (배치 스윕 + TTFT/e2e p50·p99 + clean VRAM) - 핵심 수치(→ JSON 재추적): A bf16 F1 94.83 ± 0.19 · C int4 qat F1 94.82 ± 0.11 · B int4 ptq F1 94.19 ± 0.23 ; clean 가중치 VRAM bf16 15.27 GiB vs int4 6.05 GiB (2.65× 절감). TTFT는 오프라인 max tokens=1 벽시계 proxy (온라인 streaming TTFT 아님). ② PDF-native Post-training Workflow — offline-reproducible (deterministic); CI 게이트 추가됨 원본 PDF → 근거 주소가 검증된 Q&","default_branch":null,"files":null,"tree":[],"storefront":"/r/hyeonsangjeon","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/hyeonsangjeon/PDF2LLM-Tuning-Studio/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}