{"repo":"cpython666/LearnSpider","free":true,"listed":false,"github":"https://github.com/cpython666/LearnSpider","clone":"git clone https://github.com/cpython666/LearnSpider.git","description":"爬虫百战成神刷题网站","language":"PLpgSQL","stars":243,"topics":["django","spider"],"license":"MIT","category":"api-integrations-sdks","readme_excerpt":"爬虫百战成神 (LearnSpider) 来一场爬虫与成神相结合的旅行吧！ 项目介绍 爬虫百战成神（LearnSpider）是一个面向初学者到高级用户的爬虫练习网站。我们提供了多种技术示例代码、详细的文档讲解和视频演示，帮助用户从零开始学习并掌握爬虫技术。 详细介绍 这是一个使用django+drf做一个爬虫刷题网站，也就是一个靶场，我创建这个项目的代码仓库名为LearnSpider，中文叫：爬虫百战成神。 它不仅是一个练习场，也配套有每道题目的多种技术示例代码，文档讲解，视频演示。题目由易到难，由浅入深，想让大家在刷题与实践的过程中甚至是从零学会爬虫（因为思想学会后，剩下的代码其实就是工具的使用），在这个过程中增加自己对于代码和场景的理解。本项目目标覆盖爬虫初级，进阶和高级。涉及到requests，scrapy这些请求工具，还有selenium，drissionpage这些自动化工具框架。涉及到接口请求，静态页面解析，也涉及到代码混淆，接口加密，也包含各种抓包工具的使用，chrome开发者工具的使用等。包括一些新颖的反爬技术，比如前端层面的反爬，svg反爬，css反爬，雪碧图等，也比如新兴的反爬技术比如wasm，总之就是我会什么，就像教大家什么。所以此仓库的内容也会无限拓展。也欢迎大家的贡献。 此仓库旨在让大家在刷题的过程中以结果和成就感驱动学习，学习到某个知识点后可以快速应用，从而感受到学到了东西，爬虫是如此的简单有趣。而不是学完之后因为网站内容变动而没有刷题的地方，久而久之像没学一样。并且本项目最想让大家养成举一反三，逻辑推理的思考思维习惯。 搭建此项目使用的技术栈是Django+DRF+JQuery。使用django的模板语法实现前端，使用jquery实现页面js逻辑与请求，drf实现请求限流。数据库使用sqlite。前端样式实现使用的bootstrap，本来想着手搓的，后面做的时候有感觉没必要给自己增加无意义的工作量。 TODO - docker部署（我的mac好像连接不上docker的网络，暂时搁置等后面再说） - 用户系统 项目目标 - 覆盖范围 ：从初级到高级的爬虫技术 - 工具与框架 ：requests、scrapy、selenium、drissionpage等 - 技术点 ： - 接口请求与静态页面解析 - 代码混淆与接口加密 - 各种抓包工具与Chrome开发者工具使用 - 新颖的反爬技术（前端层面、SVG、CSS、雪碧图、WASM等） 项目特色 1. 全面覆盖 ：包含从入门到高级的各类爬虫技术与工具使用。 2. 示例丰富 ：每道题目提供多种技术示例代码。 3. 详细讲解 ：文档与视频讲解，帮助理解每个技术点。 4. 持续更新 ：内容会随着新技术的出现不断扩展。 5. 社区贡献 ：欢迎大家贡献自己的题目和解法。 学习方式 - 通过刷题和实践，从零开始学习爬虫技术。 - 以结果和成就感驱动学习，快速应用所学知识。 - 培养举一反三和逻辑推理的思维习惯。 账号密码 LearnSpider LearnSpider （线上密码已被更改） 邮箱：cpython666@gmail.com 技术栈 - 后端框架：Django + Django REST Framework (DRF) - 前端：使用Django模板语法 项目结构 安装与运行 环境要求 - Python 3.11+ - Django 4.2+ - Django REST Framework 安装步骤 1. 克隆项目代码： 2. 创建并激活虚拟环境： 3. 安装依赖： 4. ","default_branch":null,"files":null,"tree":[],"storefront":"/r/cpython666","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/cpython666/LearnSpider/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}