{"repo":"YangSal/ashares_data_collect","free":true,"listed":false,"github":"https://github.com/YangSal/ashares_data_collect","clone":"git clone https://github.com/YangSal/ashares_data_collect.git","description":"自动化 A 股金融数据采集平台：行情/财务/Tick，DAG 编排 + 定时调度 + 查漏补缺。 Automated A-share market-data platform: K-line, financials & tick via QMT/xtquant — DAG pipelines, scheduling, gap-filling, PostgreSQL + Parquet","language":"Python","stars":24,"topics":["a-shares","china-stock-market","data-pipeline","financial-data","market-data","miniqmt","postgresql","qmt","quant","quantitative-finance"],"license":"MIT","category":"trading","readme_excerpt":"# data collect — 自动化金融数据采集平台 一个 可调度、可扩展、可自愈 的金融数据采集底座。当前覆盖 A 股全维度数据（行情 / 财务 / Tick / 板块 / 指数）， 以同一套 DAG 编排 + 定时调度框架，向爬虫、新闻公告、非结构化数据、向量数据库持续生长。 这是什么 data collect 把\"采什么、何时采、采到哪、怎么补\"统一成一套框架：你用 YAML 声明任务与依赖，框架负责 拓扑排序、定时触发、子进程隔离、超时重试、失败跳过、查漏补缺 ；结构化数据落 PostgreSQL、海量 Tick 落 Parquet 冷存。目标是做一个 领域无关 的自动化数据中枢 —— 今天是 A 股行情，明天可以是新闻、研报、另类数据， 最终汇入向量库支撑语义检索与分析。 ✨ 核心特性 - 🧩 DAG 编排 ：任务依赖写在 config.yaml ，框架自动拓扑排序执行 - 🛡️ 生产级稳健 ：每个任务独立子进程 + 超时硬杀 + 自动重试，失败跳过下游 - 🔁 查漏补缺 ： verify 模式按天幂等补缺，避免重复下载写入 - 🧊 冷热分离 ：结构化入 PostgreSQL，Tick 按日打包 Parquet+zstd 冷存（按股读取走谓词下推，不解压整文件） - ⏰ 多 pipeline 多 cron ：每日主流水线 + 盘后扩展采集 + 周末校验 + 月度财务，一次注册全部（当前 12 条） - 🖥️ 跨平台 ：Windows / Linux 双平台（xtquant 任务限 Windows，平台不匹配自动跳过） - 📣 可观测 ：关键节点钉钉通知（含失败任务错误首行） - 📚 附带 QMT 知识库 ： ./skills/qmt-xtquant 内置 xtdata/xttrader API 参考 🗂️ 数据覆盖 数据 周期 去向 ------ ------ ------ A股日线 / 分钟 K 线 每日 PostgreSQL Tick 分笔 每日 Parquet（按日打包冷存） 复权因子 每日 PostgreSQL ETF 日线 / 分钟 / 复权因子（不复权，裸6位码，QMT） 每日 PostgreSQL（分钟入既有分区表 etf minute ） ETF 净值 / 基金信息（akshare，跨平台免QMT） 每日 PostgreSQL（ etf nav / etf info +changelog） 指数日线 / 分钟 K 线（不复权，代码带点，QMT） 每日 PostgreSQL（ index daily 全量 + index minute 月分区前向积累） 打板层：涨停/炸板/跌停/昨涨停四池 + 涨停原因题材（东财+同花顺） 每日 17:30 PostgreSQL（ limit pool / limit up reason ，按日替换快照） ETF 期权全链：T型报价 + 希腊字母 + IV（新浪，4标的 540合约/日） 每日 17:30 PostgreSQL（ etf option daily ，前向积累） 筹码层：融资融券 / 大宗交易 / 个股资金流日级（东财按日全市场） 每日 17:30 PostgreSQL（ margin daily / block trade / fund flow daily ） 财务数据（资产负债 / 利润 / 现金流 / 指标 / 股本 / 股东 等 8 表） 每月 PostgreSQL 合约详情 / 板块分类 / 指数权重 每日 PostgreSQL（快照 + 变更","default_branch":null,"files":null,"tree":[],"storefront":"/r/YangSal","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/YangSal/ashares_data_collect/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}