SecretScraper 是一个高度可配置的网页爬虫工具,从目标网站抓取链接,并通过正则表达式抓取敏感数据。
使用说明 Python 版本 >= 3.9
特点:
网络爬虫:通过 DOM 层次结构和正则表达式提取链接。
支持域名白名单和黑名单。
支持多个目标,从文件输入目标网址。
支持本地文件扫描可扩展的自定义:标头、代理、超时、cookie、抓取深度、跟随重定向等
内置正则表达式,用于搜索敏感信息以 yaml 格式灵活配置。
安装:
pip install secretscraper
更新
pip install --upgrade secretscraper
单一目标:
secretscraper -u https://xxxxxxx.com/