{"repo":"0xAllenChen/spider_reverse","free":true,"listed":false,"github":"https://github.com/0xAllenChen/spider_reverse","clone":"git clone https://github.com/0xAllenChen/spider_reverse.git","description":"爬虫逆向案例，已完成：TLS指纹｜瑞数｜震坤行 | 网易易盾 | 微信小程序反编译逆向(百达星系) | 同花顺 | rpc解密 | 加速乐 | 极验滑块验证码 | 巨量算数 | Boss直聘 | 企查查 | 中国五矿 | qq音乐 | 产业政策大数据平台 | 企知道 | 雪球网(acw_sc__v2) | 1688 | 七麦数据 | whggzy | 企名科技 | mohurd | 艺恩数据 | 欧科云链","language":"Python","stars":906,"topics":["python","crawler","requests","spider"],"license":"GPL-3.0","category":"scrapers-browser-automation","readme_excerpt":"爬虫总遇 403、IP 秒封？IPWO爬虫住宅代理 9000 万真实住宅 IP，黑名单率低于 3%，模拟真人访问，成功率 99%+ IPWO爬虫代理资源为采集、跨境与测试项目提供支持(免费试用，流量不过期，爬虫使用保护账号不封号)学习者务必遵循法律！ IPWO访问入口 爬虫逆向 本项目记录一些学习爬虫逆向的案例，仅供学习参考，请勿用于非法用途。 目前已完成： TLS、震坤行、网易易盾、微信小程序反编译逆向（百达星系）、极验滑块验证码、同花顺、rpc实现解密、工业和信息化部政务服务平台(加速乐)、巨量算数、Boss直聘、企查查、中国五矿、qq音乐、产业政策大数据平台、企知道、雪球网(acw sc v2)、1688、七麦数据、whggzy、企名科技、全国建筑市场监管公告平台、艺恩数据、欧科云链(oklink)、度衍(uyan)、凤凰云智影院管理平台、DrissionPage过瑞数6 点击以上链接可跳转到对应文档位置，代码路径格式为 \"月份/网站名称/\" 。 环境安装： npm install pip install -r requirements.txt 一、whggzy（接口参数） 1.1 搜索响应数据找到接口 接口为 “http://www.whggzy.com/front/search/category” 1.2 设置header和data 将接口的headers和data传入，并进行测试 访问后报错 1.3 断点调试 在源代码- xhr/提取断点中加入断点，观察到headers的参数，且data参数为字符串 完整代码 二、企名科技(数据加密) url: https://www.qimingpian.com/finosda/project/pinvestment 2.1 搜索数据 搜索不到数据，判断为通过ajax数据加密 找到接口： 2.2 断点调试 找到js文件 找到加密数据的方法： 2.3 调用接口获取数据，放入js方法中解密 三、全国建筑市场监管公告平台 url： aHR0cHM6Ly9qenNjLm1vaHVyZC5nb3YuY24vZGF0YS9jb21wYW55 3.1 获取数据 接口：https://jzsc.mohurd.gov.cn/APi/webApi/dataservice/query/comp/list?pg=0&pgsz=15&total=0 数据经过加密，data: 95780ba09437300... 3.2 查找js 通过接口名称找到js文件，在js文件里搜索JSON.parse，打断点进行调试 3.3 js解密 常见js算法：crypto-js、jsdom、hash、md5、逆向算法 判断使用的加密是CryptoJS，使用npm安装库后导入，替换原始js里使用的方法 四、endata（js混淆） url: https://www.endata.com.cn/BoxOffice/BO/Year/index.html 4.1 获取数据 4.2 搜索加密接口 4.3 js 通过断点找到加密的方法，方法经过了js混淆，直接复制方法，执行这个方法，根据提示补齐所有缺失的属性。 4.4 navigator js代码中存在一个navigator属性，为环境属性，需要手动写入 4.5 结合接口完成代码 五、1688 url: https://sale.1688.com/factory/category.html?spm=a260k.22464671.home2019category.1.6e517a6exMGJcG&mainI","default_branch":null,"files":null,"tree":[],"storefront":"/r/0xAllenChen","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/0xAllenChen/spider_reverse/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}