{"repo":"cnbattle/douyin","free":true,"listed":false,"github":"https://github.com/cnbattle/douyin","clone":"git clone https://github.com/cnbattle/douyin.git","description":"抖音推荐/搜索页视频列表视频爬虫方案,基于app(虚拟机或真机) 相关技术 golang adb","language":"Go","stars":1214,"topics":["golang","go","douyin"],"license":"MIT","category":"databases-storage","readme_excerpt":"抖音推荐/搜索页视频列表视频爬虫方案 最近测试可用时间： 2026.05.25 adb暂未实现进入搜索页的操作，请根据自身技术栈实现相关点击操作及键入关键词等 老版本请切换到 old 分支查看， old 分支使用anyproxy抓取，更适合大多数人使用 --- IPWO爬虫代理资源为采集、跨境与测试项目提供支持(免费试用，流量不过期，爬虫使用保护账号不封号)学习者务必遵循法律！ IPWO提供的真实住宅 IP源于195 + 国家 / 地区精准定位，大幅降低被封禁风险，优惠折扣码\"douyin\"。 --- 基于APP爬取 技术栈： golang adb 特点 - 可设置仅抓取大于xx赞的视频 - 可自定义设置是否下载远程文件到本地 使用 1. 安装 mitm-proxy.crt 证书到相关设备， 虚拟机或真机 2. 复制 config.example.toml 为 config.toml ,并根据自己需求修改参数 3. 运行本项目程序 go run main.go 或 编辑运行 4. 若开启下载会生成一个 database.db 的sqlite3数据库文件,字符详见 model/videos.go 文件,静态文件(用户头像,视频封面图,视频文件)将放在 download/[avatar,cover,video] 目录下 5. 最后根据个人需要上传处理即可 待优化的地方 - 一直滑动请求推荐列表,APP会异常退出,所以暂时的方法是每爬取一段时间(配置文件里可自定义)后,强制关闭APP,重新打开继续爬取 - 目前个人在用的 雷电模拟器 ,长时间运行会卡死,暂不清楚是系统原因还是模拟器原因,有测试能稳定运行环境的朋友,方便的话请告诉我,谢谢 最后说明 - 个人能力一般,有很多编码不规范的地方请包涵 - 有能力的朋友可以根据个人需求修改,如果可以请提交pr - 如果使用有问题,请提交 issues 或加我同名微信号,请备注github过来的,谢谢 Stargazers over time Thanks Development Tool (IDE) For Jetbrains Thanks for Jetbrains Open Source Licenses. 声明 本项目只做个人学习研究之用，不得用于商业用途！","default_branch":null,"files":null,"tree":[],"storefront":"/r/cnbattle","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/cnbattle/douyin/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}