ARL(Asset Reconnaissance Lighthouse)资产侦察灯塔系统
ARL(Asset Reconnaissance Lighthouse)资产侦察灯塔系统
资产灯塔，不仅仅是域名收集
简介
旨在快速探测与目标关联的互联网资产，构建基础资产信息库。协助甲方安全团队渗透测试人员或者有效探测和搜索资产，发现存在的薄弱环节和攻击面。
在开始使用之前，请务必阅读并同意免责声明中的条款，否则请勿下载安装使用本系统。
特性
- 资产转让发现和整理
- IP/IP 资产整理
- 端口扫描和服务识别
- WEB站点指纹识别
- 资产包管理和搜索
- 任务配置策略
- 计划任务和周期任务
- Github 监控关键字
- 所有权/IP资产监控
- 站点变化监控
- 文件泄漏风险等检测
- 核 PoC 调用
- WebInfoHunter调用和监控
系统要求
目前暂时不支持Windows，初次体验可采用Docker方式运行，长期使用建议源码采用安装方式运行。系统配置建议：CPU:4线程内存:8G带宽:10M。
由于自动资产发现过程中会有大量的发包，建议采用云服务器可以带来更好的体验。
Docker启动
cd /opt/
mkdir docker_arl
wget -O docker_arl/docker.zip https://github.com/TophantTechnology/ARL/releases/download/v2.6.1/docker.zip
cd docker_arl
unzip -o docker.zip
docker volume create arl_db
docker-compose pull
docker-compose up -d
Ubuntu下可以直接执行apt-get install docker.io docker-compose -y安装相关依赖
详细说明可以参考：Docker环境安装ARL
截图
-
登录页面
默认端口5003(https),默认用户名密码admin/arlpass
-
任务页面
-
子域名页面
-
站点页面
-
资产监控页面
详细说明可以参考：资产分组和监控功能使用说明 -
策略页面
-
筛选站点进行任务下发
说明可以参考：2.3-详细添加功能详细说明 -
计划任务
详细说明可以参考：2.4.1-新添加功能详细说明 -
GitHub 监控任务
任务选项说明
| 编号 | 选项 | 说明 |
|---|---|---|
| 1 | 任务名称 | 任务名称 |
| 2 | 任务目标 | 任务目标，支持IP，IP段和域名。可一次性下发多个目标 |
| 3 | 域名爆破类型 | 对域名爆破字典大小，大字典：常用2万字典大小。测试：少数几个字典，常用于测试功能是否正常 |
| 4 | 端口扫描类型 | ALL：全部端口，TOP1000：常用top 1000端口，TOP100：常用top 100端口，测试：少数几个端口 |
| 5 | 域名爆破 | 是否开启域名爆破 |
| 6 | DNS字典智能生成 | 根据现有的域名生成字典正在爆破 |
| 7 | 域名查询插件 | 已支持的数据源为13个，alienvault, certspotter, crtsh, fofa,hunter等 |
| 8 | ARL历史查询 | 对arl历史任务结果进行查询用于本次任务 |
| 9 | 端口扫描 | 是否开启端口扫描，不开启站点会默认探测80,443 |
| 10 | 服务识别 | 是否进行服务识别，有可能会被防火墙拦截导致结果为空 |
| 11 | 操作系统识别 | 是否进行网络识别，有可能会被防火墙拦截导致结果为空 |
| 12 | SSL 获取证书 | 对端口进行SSL 证书获取 |
| 13 | 跳过CDN | 判断依据为CDN的IP，将不会扫描端口，并认为80，443是端口是开放的 |
| 14 | 站点识别 | 对站点进行指纹识别 |
| 15 | 搜索引擎调用 | 利用搜索引擎搜索的目标爬取对应的URL和子域名 |
| 16 | 站点爬虫 | 利用静态爬虫对站点进行爬取的URL |
| 17 号 | 站点截图 | 对站点首页进行截图 |
| 18 | 文件泄露 | 对站点进行文件泄露检测，会被WAF拦截 |
| 19 | 主机碰撞 | 对vhost配置不当进行检测 |
| 20 | 细胞核 | 调用nuclei默认PoC对站点进行检测，会被WAF拦截，请硬件使用该功能 |
| 21 | WIH 调用 | 调用 WebInfoHunter 工具在 JS 中收集域名、AK/SK 等信息 |
| 22 | WIH监控任务 | 对资产分组中的站点周期性调用WebInfoHunter工具在JS中域名等信息进行监控 |
配置参数说明
Docker环境配置文件路径docker/config-docker.yaml
| 配置 | 说明 |
|---|---|
| CELERY.BROKER_URL | rabbitmq连接信息 |
| 蒙戈 | mongo连接信息 |
| 查询插件 | 域名查询插件数据源Token 配置 |
| 地理信息平台 | GEOIP 数据库路径信息 |
| 福法 | FOFA API 配置信息 |
| 丁丁 | 钉钉消息群体配置 |
| 电子邮件 | 邮箱发送配置 |
| GITHUB.Token | GITHUB 搜索代币 |
| ARL 认证 | 是否开启认证，不开启有安全风险 |
| ARL.API_KEY | arl API调用key，如果设置了请注意保密 |
| ARL.BLACK_IPS | 为了防止SSRF，增强IP地址或者IP段 |
| ARL.PORT_TOP_10 | 自定义端口，对应端口测试选项 |
| ARL.DOMAIN_DICT | 域名爆破字典，对应前端大字典选项 |
| ARL.FILE_LEAK_DICT | 文件泄漏字典 |
| ARL.DOMAIN_BRUTE_CONCURRENT | 阵地爆破阵数配置 |
| ARL.ALT_DNS_CONCURRENT | 组合生成的域名爆破存储数 |
| PROXY.HTTP_URL | HTTP代理URL设置 |
| 飞书 | 飞书大众配置 |
| 唯行工作 | 企业微信公众号 |
忘记密码重置
当忘记了登录密码时，可以执行下面的命令，然后使用admin/admin123就可以登录了。
docker exec -ti arl_mongodb mongo -u admin -p admin
use arl
db.user.drop()
db.user.insert({ username: 'admin', password: hex_md5('arlsalt!@#'+'admin123') })
安装源码
改装了centos 7 ，且灯塔安装目录为/opt/ARL 如果在其他目录可以创建软连接，且安装了四个服务，分别为arl-web, arl-worker, arl-worker-github,arl-scheduler
wget https://raw.githubusercontent.com/TophantTechnology/ARL/master/misc/setup-arl.sh
chmod +x setup-arl.sh
./setup-arl.sh
Docker环境安装
简单了 centos 7 ，且灯塔安装目录为/opt/ARL
wget https://raw.githubusercontent.com/TophantTechnology/ARL/master/misc/setup-docker-arl.sh
chmod +x setup-docker-arl.sh
./setup-docker-arl.sh
常问问题
请访问以下链接常见问题解答
写在最后
目前ARL程序只是完成了对资产部分维度的发现和收集，自动发现过程中难免出现覆盖度不全面、不精准、不合理等缺陷的地方还请反馈给我们。