{"repo":"0xn0ne/sensitive-helper","free":true,"listed":false,"github":"https://github.com/0xn0ne/sensitive-helper","clone":"git clone https://github.com/0xn0ne/sensitive-helper.git","description":"基于正则表达式的本地文件敏感信息数据挖掘助手。Regular Expression Based Data Mining Assistant for Local File Sensitive Information.","language":"Python","stars":13,"topics":["infomation","scanner","security","sensitive","aksk","jwt"],"license":"Apache-2.0","category":"security-tools","readme_excerpt":"参考链接： Sensitive Helper 简体中文 English 最近项目要搜索本地的敏感数据工作太多了，网上用了一些工具效果一般，被老板DISS了很多次，当然也可能是我不会用，如：SO文件无法读取、多进程报错、配置看不懂、识别原理云里雾里等，想提issues的，但大家都要养家想想算了，自己改一个。 基于正则表达式的本地文件敏感信息数据挖掘助手。如果要搜索网页上的敏感数据，可以把敏感数据导出到本地再进行搜索。优化了一下多线程的使用，优化了配置的使用方式。 注意 ： + 如果默认规则不满足匹配需求，请自行调整 configs.yaml 文件中的 rules 部分内容进行匹配； + 进度条是按文件数量来统计进度的，如果卡住并不是程序卡死了，可能是文件太大了，比如 1G 文件； + 非静默模式是在匹配完成单个文件后才会输出命中数据，如果在扫描大文件没输出命中信息请耐心等待； + 添加的规则越多，扫描的速度越慢，尽可能使用 1 条正则表达式匹配所需要的特征； 快速开始 依赖 + python = 3.6 进入项目目录，使用以下命令安装依赖库 或者使用 PIP 的 requirement 参数安装依赖库 基础用法 使用 -t 参数直接对目标路径进行搜索 当想要排除部分类型文件，可以使用 -e 参数排除指定的文件，要注意这里是使用正则表达式进行文件名匹配的，比如程序可能搜索到以下文件 /tmp/aaa.so，如果不想搜索 .so 文件类型，可以使用正则表达式 . so 程序会将 aaa.so 字符串与正则表达式进行匹配 . so ，即可对 so 格式文件进行过滤 如果觉得搜索速度太慢，可以使用 -p 参数调整搜索的进程数（默认为：5）以提高搜索速度，虽然 Python 的多进程很差劲，但有总比没有好，注意一个进程只会处理一个文件，如果使用文本类打大文件，请先使用 cut text files.py 将文件切割再进行搜索会提升搜索速度。这个参数的值最佳设置推荐为 CPU 核心数相同，激进一点可以 CPU 核心数 2。 注意 ：计算机性能不好设置不要超过20个进程数，程序涉及大量的IO、内存操作，计算机可能会崩溃，比如我的电脑。 有保存数据的需求话，可以使用 -o 参数输出 json 格式的结果文件 默认情况下，程序使用正则表达式进行匹配的时候，匹配到 1 条表达式就会退出当前文件的搜索。可以使用 -a 参数，强制程序将每条正则表达式都匹配完毕，挖掘更多可能有用的数据 注意 ：程序内置默认匹配规则，规则优先级为：默认配置 < configs.yaml 配置 < 用户输入配置 使用说明 应急响应用法与示例 感谢网络安全的朋友给提出的建议，该工具也可用于常见的网络攻击特征快速匹配，复杂型网络攻击不适用，如POST请求体内的攻击、0DAY漏洞攻击、特殊网络路径攻击等，酌情使用。 当用于网络安全应急响应时，可直接对中间件与应用日志目录进行扫描，以快速提取疑似攻击痕迹，因为应急特征匹配和敏感数据匹配思路还是有部分区别，这里使用单独的配置文件 emergency.yaml 避免匹配混乱。 + 支持的常见攻击指纹分组（可在 emergency.yaml 的 rules 中调整）： + SQL INJECTION + COMMAND EXECUTION + PATH TRAVERSAL / LFI-RFI + SSRF + XSS + LOG4SHELL / JNDI + WEBSHELL / MALICIOUS UPLOAD + JAVA / PHP DESERIALI","default_branch":null,"files":null,"tree":[],"storefront":"/r/0xn0ne","claimed":false,"request_supported":{"post":"https://gitbuyer.com/r/0xn0ne/sensitive-helper/request-supported","requests":0},"note":"indexed from public GitHub; nothing is for sale on this page. Clone it from GitHub. Paid listings live at /search."}