{"repo":"odaysec/NewsCrap","free":true,"listed":false,"github":"https://github.com/odaysec/NewsCrap","clone":"git clone https://github.com/odaysec/NewsCrap.git","description":"NewsCrap adalah alat scraping berita Google berbasis Command Line Interface (CLI) yang dirancang untuk riset, investigasi, dan pengumpulan data OSINT. Dengan fitur canggih seperti rotation proxy, scheduling otomatis, dan multi-format export, alat ini memudahkan pengumpulan data berita secara efisien dan andal.","language":"Python","stars":56,"topics":["osint-tool","scraper","scraping-websites","scrapping-python","newscrap","crawler","crawling-python"],"license":"MIT","category":"scrapers-browser-automation","readme_excerpt":"NewsCrap NewsCrap adalah alat scraping berita Google berbasis Command Line Interface (CLI) yang dirancang untuk riset, investigasi, dan pengumpulan data OSINT. Dengan fitur canggih seperti rotation proxy, scheduling otomatis, dan multi-format export, alat ini memudahkan pengumpulan data berita secara efisien dan andal. Fitur Utama - Multi-keyword Support - Cari dengan beberapa keyword sekaligus - Pagination Scraping - Ambil artikel dari banyak halaman hasil - Multi-format Export - CSV, JSON, SQLite database - Proxy & User-Agent Rotation - Hindari deteksi dan blokir - Scheduler Mode - Jalankan otomatis sesuai interval waktu - Deduplication & Filtering - Hindari duplikat dan filter by domain - Report Generation - Export laporan Markdown/HTML - Verbose Logging - Pantau proses scraping secara detail - Error Handling - Tetap berjalan meski ada error Instalasi 1. Clone Repository 2. Install Dependencies --- File Konfigurasi proxies.txt user agents.txt Penggunaan CLI Untuk Riset Akademik Untuk Investigasi OSINT Untuk Monitoring Berita Penting - Gunakan tool ini secara bertanggung jawab dan patuhi Terms of Service Google - Respect robots.txt dan rate limiting - Disarankan menggunakan proxy untuk menghindari IP blocking - Tool ini untuk tujuan edukasi dan research yang legal Troubleshooting Error: 429 Too Many Requests (gunakan proxy jangan lupa) Error: Connection Issues ⭐ Support Your sponsor akan sangat berharga bagi saya dalam research project maupun aktifitas saya di OSS lebih lan","default_branch":null,"files":null,"tree":[],"storefront":"/r/odaysec","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/odaysec/NewsCrap/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}