{"repo":"yishuifengxiao/wind-bell","free":true,"listed":false,"github":"https://github.com/yishuifengxiao/wind-bell","clone":"git clone https://github.com/yishuifengxiao/wind-bell.git","description":"风铃虫是一款轻量级的爬虫工具，似风铃一样灵敏，如蜘蛛一般敏捷，能感知任何细小的风吹草动，轻松抓取互联网上的内容。它是一款对目标服务器相对友好的蜘蛛程序，内置了二十余种常见或不常见的浏览器标识，能够自动处理cookie和网页来源信息，轻松绕过服务器限制，智能调整请求间隔时间，动态调整请求频率，防止对目标服务器造成干扰。此外，风铃虫还是一款对普通用户十分友好的工具，它提供的大量链接提取器和内容提取器让用户可以随心所欲地快速配置，甚至于只要提供一个开始请求地址就能配置出自己爬虫程序。同时，风铃虫也开放了许多自定义接口，让高级用户能够根据需要自定义爬虫功能。最后，风铃虫还天然支持分布式和集群功能，让你突破单机环境的束缚，释放出你的爬虫能力。可以说，风铃虫几乎能抓取目前所有的网站里的绝大部分内容。","language":"Java","stars":26,"topics":["cookie","windows-linux","java","java8","crawler","snapshot","snapshot-backup","anti-blocking","blocking","distributed"],"license":"Apache-2.0","category":"scrapers-browser-automation","readme_excerpt":"风铃虫 介绍 风铃虫是一款轻量级的爬虫工具，似风铃一样灵敏，如蜘蛛一般敏捷，能感知任何细小的风吹草动，轻松抓取互联网上的内容。它是一款对目标服务器相对友好的蜘蛛程序，内置了二十余种常见或不常见的浏览器标识，能够自动处理cookie和网页来源信息，轻松绕过服务器限制，智能调整请求间隔时间，动态调整请求频率，防止对目标服务器造成干扰。此外，风铃虫还是一款对普通用户十分友好的工具，它提供的大量链接提取器和内容提取器让用户可以随心所欲地快速配置，甚至于只要提供一个开始请求地址就能配置出自己爬虫程序。同时，风铃虫也开放了许多自定义接口，让高级用户能够根据需要自定义爬虫功能。最后，风铃虫还天然支持分布式和集群功能，让你突破单机环境的束缚，释放出你的爬虫能力。可以说，风铃虫几乎能抓取目前所有的网站里的绝大部分内容。 【声明】 请勿将风铃虫应用到任何可能会违反法律规定和道德约束的工作中,请友善使用风铃虫，遵守蜘蛛协议，不要将风铃虫用于任何非法用途。如您选择使用风铃虫即代表您遵守此协议，作者不承担任何由于您违反此协议带来任何的法律风险和损失，一切后果由您承担。 快速使用 交流 QQ 群 : (群号 624646260) 简单使用 提取雅虎财经的内容页的电子货币的名字 上述例子的作用提取雅虎财经的内容页的电子货币的名字，如果用户想要提取其他信息，只需要按照规则配置好其他的提取规则即可。 注意 上述示例仅供学习演示所用，风铃虫使用者在抓取网页内容请严格遵守相关的法律规定和目标网站的蜘蛛协议 风铃虫原理 风铃虫的原理极为简单，主要由 资源调度器 、 网页下载器 、 链接解析器 、 内容解析器 、 信息输出器 这极大部分组成。 他们的作用与功能如下所示： - 资源调度器：负责风铃虫资源的调度过程，例如进行任务的储存、任务的调度和任务的管理 - 网页下载器：负责根据调度器调度的任务下载网页资源 - 链接解析器：负责解析网页下载器下载的网页内容，从网页内容中提取出所有符合要求的链接 - 内容解析器：负责对网页下载器下载的网页内容进行内容解析 - 信息输出器：输出内容解析器解析出来的数据 其中的链接解析器是由一系列的链接提取器组合而成，目前链接提取器主要是支持正则提取。 内容解析器由一系列的内容提取器组合而成，不同的内容提取器功能不同，适用于不同的解析场景，支持多个提取器的重复、循环等多种组合形式。 上述个组件均提供了自定义配置接口，使用户可以根据实际需要进行自定义配置，满足各种复杂乃至异常场景的要求。 风铃虫内置的内容提取器有 ： 1. 原文提取器 2. 中文提取器 3. 常量提取器 4. CSS内容提取器 5. CSS文本提取器 6. 邮箱提取器 7. 数字提取器 8. 正则提取器 9. 字符删除提取器 10. 字符替换提取器 11. 字符串截取提取器 12. XPATH提取器 13. 数组截取 14. ... 在进行文本内容提取时，用户可以将这些提取器自由组合以提取出自己需要的内容,更多提取器的具体用法请参见 内容提取器用法。 风铃虫内置的浏览器标识有 ： 1. 谷歌浏览器(windows版、linux版) 2. Opera浏览器 (windows版、MAC版) 3. 火狐浏览器(windows版、linux版、MAC版) 4. IE浏览器(IE9、IE11) 5. EDAG浏览器 6. safari浏览器(windows版、MAC版) 8. ... 抓取js渲染网站 核心代码如下： 分布式支持 核心代码如下: 状态监控 风铃虫还提供了强大的状态监控和事件监控能力，通过 ","default_branch":null,"files":null,"tree":[],"storefront":"/r/yishuifengxiao","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/yishuifengxiao/wind-bell/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}