{"repo":"PeterYangs/article-spider","free":true,"listed":false,"github":"https://github.com/PeterYangs/article-spider","clone":"git clone https://github.com/PeterYangs/article-spider.git","description":"文章采集工具 Article collection tool","language":"Go","stars":144,"topics":["article-spider","go","golang","spider","scraper"],"license":"Apache-2.0","category":"scrapers-browser-automation","readme_excerpt":"article-spider是一个用go编写的爬取文章工具。支持两种模式，常规爬取模式和浏览器自动化模式 中文文档 声明：该爬虫仅供学习使用，如产生任何法律后果，本人概不负责 安装 v1版本 v2版本 快速开始 一些例子 常用属性 设置header(包含cookie) 自定义分页链接 详情页中间层 自行处理爬取结果 爬取列表是api的网页 自动化模式 自动化模式爬取加载更多页面 代理 排除不需要的元素 根据详情页链接爬取 结果过滤 关于图片保存路径说明 Field 中的图片路径设置 ImageDir:图片生成路径，该路径会生成在结果中，支持动态 ImagePrefix:图片前缀路径，不会出现在结果中 全局设置 SetImageDir(path),图片保存前缀，不会出现在结果中，默认是image SetSavePath(path),图片保存文件夹，不会出现在结果中 图片保存路径拼接顺序：savePath+imageDir(全局)+imageDir(field)+文件名 图片结果路径拼接顺序: imagePrefix+ImageDir+文件名","default_branch":null,"files":null,"tree":[],"storefront":"/r/PeterYangs","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/PeterYangs/article-spider/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}