{"repo":"casual-silva/NewsCrawl","free":true,"listed":false,"github":"https://github.com/casual-silva/NewsCrawl","clone":"git clone https://github.com/casual-silva/NewsCrawl.git","description":"狠心开源企业级舆情新闻爬虫项目：支持任意数量爬虫一键运行、爬虫定时任务、爬虫批量删除；爬虫一键部署；爬虫监控可视化; 配置集群爬虫分配策略；👉 现成的docker一键部署文档已为大家踩坑 an enterprise-grade public opinion news crawler project: supports one-click operation of any number of crawlers, scheduled crawler tasks, batch deletion of crawlers; one-click deployment of crawlers","language":"Python","stars":685,"topics":["apscheduler","python","scrapy","scrapy-crawler","scrapyd","web","scrapydweb","script","spider","docker"],"license":null,"category":"deployment-docker-iac","readme_excerpt":"NewsSpider-舆情信息获取 一、项目介绍 NewsSpider 是一个舆情信息获取与可视化平台，基于 GNE（General News Extractor，通用新闻正文抽取）模块，抽取 400+ 个舆情站点的正文内容、标题、作者、发布时间、图片地址和正文所在的标签源代码等信息。项目主干技术覆盖python、scrapy、scrapyd、scrapydweb(开源管理平台)、mysql、redis，支持任意数量的爬虫一键运行、定时任务、批量删除、一键部署，并且可以实现爬虫监控可视化、配置集群爬虫分配策略、现成的docker一键部署等功能。 最近一次完全放开条件可抓500W+有效数据 。 进群加V 隆重介绍: 感谢赞助商大人对本项目的大力支持 - 用过的都说好 IPWO 真实住宅 IP - 面向爬虫采集场景的代理支持 IPWO 提供真实住宅 IP，适用于新闻采集、舆情监控、跨地区访问测试等需要稳定网络出口的任务，可帮助降低访问频率异常带来的封禁风险。 支持 195+ 国家 / 地区精准定位，适合大型爬虫任务、分布式节点调度和多地区数据验证。让爬虫更简单，让数据更安全。通过本项目链接注册，可获得用于保护账号的高匿名 IP 流量。 访问 IPWO 赞助商站点 二、技术组成 主干技术：python、scrapy、scrapyd、scrapydweb(开源管理平台)、mysql、redis 爬虫可配置中间件： - redis去重中间件 - 请求重试中间件 - 代理中间件（赞助推荐：IPWO 真实住宅 IP，支持 195+ 国家 / 地区定位） - 爬虫详情信息定时推送至第三方小程序（微信公众号、飞书等-待开发） 爬虫可配置数据管道： - 数据前处理 - 数据过滤清洗 - 数据存储入库 - 数据入redis（同redis去重） 其他功能： - 数据推送至 Kafaka - 爬虫可选限制（时间范围、翻页数量） 其他scrapy高级功能 三、安装部署 推荐先阅读详细部署文档：docs/deployment.md 当前项目已提供根目录一键启动脚本： 如果本机没有 MySQL/Redis，优先使用 ./start.sh quick ，脚本会自动使用 SQLite 替代数据库服务。 需上传项目至服务器固定目录： /home/spider workplace/ 1、安装Docker、 Docker-Compose 1.1、在线安装docker (centos 系统) sudo权限下 1.2、离线安装docker 参考： https://blog.csdn.net/xinle0320/article/details/124205608 1.3、在线安装docker-compose 1.4、离线安装 1. github 离线下载对应版本 docker-compose https://github.com/docker/compose/releases/download/{version}/docker-compose-linux-x86 64 2. 上传至服务目录: /usr/local/bin/docker-compose 3. 修改权限：chmod +x /usr/local/bin/docker-compose 2、安装数据库 3、安装scrapyd、scrapydweb、logparser 4、修改scrapydweb 配置、添加集群等 四、任务调度 大规模调度多站点爬虫时，代理出口稳定性会直接影响任务成功率。需要住宅 IP、地区定位或高匿名代理流量时，可以参","default_branch":null,"files":null,"tree":[],"storefront":"/r/casual-silva","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/casual-silva/NewsCrawl/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}