ARL-Next：AI 原生自动化资产侦察与漏洞监控平台

摘要

什么是 ARL-Next？ ARL-Next 是经典开源资产侦察灯塔 (ARL) 的现代化涅槃重构版本。针对原版长期停更导致的任务假死、内存泄露、安装报错、依赖过时等致命缺陷进行了彻底的底层重构，并深度融入 AI Agent (MCP) 原生调度能力，进化为高性能、全维度闭环的下一代安全监控平台。 ? 为什么选择 ARL-Next？(痛点对比) 核心痛点维...

什么是 ARL-Next？

ARL-Next 是经典开源资产侦察灯塔 (ARL) 的现代化涅槃重构版本。针对原版长期停更导致的任务假死、内存泄露、安装报错、依赖过时等致命缺陷进行了彻底的底层重构，并深度融入 AI Agent (MCP) 原生调度能力，进化为高性能、全维度闭环的下一代安全监控平台。

🥊 为什么选择 ARL-Next？(痛点对比)

核心痛点维度	🏚️ 原版 ARL (社区遗留版)	🚀 ARL-Next (本项目)
系统稳定性	扫描海量目标时 Celery 阻塞假死、任务丢失	微服务解耦 (截图/OSINT独立)，批量入库彻底根除假死
AI 原生集成	无 AI 接口，仅限人工手动点击	原生 MCP 支持，AI Agent 一句话接管资产挖掘与分析
企业资产穿透	无企业资产查询功能	天眼查股权穿透 + ICP 深度下钻，一键秒级打通集团与子公司全量资产 (护网友好)
部署与构建	依赖过时容易报错，需拉取海量外网包	阿里云国内预构建镜像，多阶段构建，2分钟一键秒启动
现代化技术栈	Python 3.6 / Vue2 / MongoDB 3.x 严重脱节	Python 3.13 / Vue3 / MongoDB 7.0 现代底层全线跨代
交互与体验	页面滚动遮挡表头、分页重置、管理繁琐	操作栏/表头悬浮吸附 (Sticky)、分页持久化、现代化三栏字典
情报与监控	缺少主动情报源、时区错乱导致重复告警	GitHub CVE & 泄露雷达、原子级去重锁、精准时区对齐

✨ 核心特性矩阵

🤖 AI 原生赋能：内置标准化 MCP 服务，直接接入 Claude / Cursor / Open-WebUI，实现用自然语言下发扫描与导出 13 维资产全景大盘。（👉 MCP 配置指南）
🚀 高并发极速引擎：耗时截图与 OSINT 全面剥离为独立微服务；核心落库升级为 bulk_write 批量入库，轻松吞吐数十万级资产。
🌐 全维度企业资产闭环：深度打通企业 ICP 备案与天眼查股权穿透，自动化构建从“集团公司 ➔ 控股子公司 ➔ 域名 ➔ IP ➔ 端口 ➔ Web/组件 ➔ 漏洞”的完整链条。
🛡️ 威胁情报与代码雷达：内置 GitHub CVE 与代码泄露监控引擎，毫秒级原子锁防重复告警，实时感知外部威胁。
⚡ 极简运维与自愈机制：提供开箱即用的 2 分钟极速部署包，内置容器健康巡检与自愈机制，支持 Web 后台平滑热更新与 Basic Auth 前置防御。
🇨🇳 国内网络深度优化：全线镜像预构建并托管于阿里云国内私库，彻底告别海外网络阻断与 Pip/Docker 依赖拉取失败。

📸 界面预览

全局仪表盘 (Dashboard)：实时监测系统资源水位、扫描任务生命周期、多维风险态势大盘与全景操作日志流。

🖼️ 点击收起 / 展开更多核心业务界面

* **企业级 OSINT 资产侦察**：支持企业 ICP 备案穿透与天眼查股权穿透，一键关联并同步下发多维探测任务。 [![企业资产侦察](https://github.com/owl234/ARL-Next/raw/main/img/enterprise-asset-search.png)](https://github.com/owl234/ARL-Next/blob/main/img/enterprise-asset-search.png) * **任务下发与策略调度**：深度联动 Nuclei、PoC 插件池及 100+ Web 指纹库，支持全生命周期下发与追踪。 [![任务新建与策略选择](https://github.com/owl234/ARL-Next/raw/main/img/task-new.png)](https://github.com/owl234/ARL-Next/blob/main/img/task-new.png) [![任务全生命周期管理](https://github.com/owl234/ARL-Next/raw/main/img/task-management1.png)](https://github.com/owl234/ARL-Next/blob/main/img/task-management1.png) * **威胁情报与代码泄露雷达**：实时追踪全球最新 CVE 漏洞，自动化监听 GitHub 敏感代码与凭证泄露。 [![威胁情报雷达](https://github.com/owl234/ARL-Next/raw/main/img/threat-intel-radar.png)](https://github.com/owl234/ARL-Next/blob/main/img/threat-intel-radar.png) * **系统设置与现代字典管理**：全新现代三栏式字典管理（支持在线预览/呼吸灯提示）、队列并发热扩缩容及告警通道。 [![系统设置与字典管理](https://github.com/owl234/ARL-Next/raw/main/img/system-settings.png)](https://github.com/owl234/ARL-Next/blob/main/img/system-settings.png)

🏗️ 架构设计

ARL-Next 采用前后端解耦、异步分布式任务队列与轻量微服务集群架构。整体数据流与模块交互如下：

核心架构要点：

🖥️ 展示与网关 (Frontend / Nginx)：基于 Vue 3.5 + Nginx，支持全站表格/操作栏 Sticky 悬浮吸附与 Basic Auth 前置网关防御。
⚙️ 业务与 AI 赋能 (Backend / MCP)：基于 Python 3.13 + Gunicorn；内置 原生 Python MCP 赋能 AI Agent 调度与 13 维全景大盘导出。
🧩 OSINT 独立微服务：专职天眼查与 ICP 异步情报收集，由 Backend 直调协程池，彻底脱离 Celery 队列杜绝假死。
⚡ 多队列 Worker 集群：拆分轻量/重载/威胁情报独立队列；重任务严格限制子进程生命周期彻底根除内存泄露。
🛡️ 微服务与自愈守护 (Puppeteer / Autoheal)：独立容器专职无头截图并支持滚动自愈；Autoheal 实时探针秒级恢复容器死锁。
🗄️ 高吞吐持久层 (MongoDB 7.0)：全线升级 bulk_write 批量落库，核心表覆盖联合唯一索引并设 1GB 内存池保护。

🚀 部署指南

生产部署 (单 VPS 一键秒级上线) ⭐ 推荐

适用环境：公网云服务器 (Ubuntu / Debian / CentOS / 统信等)、企业内网服务器。
预估耗时：自带 Docker 环境仅需 1\~2 分钟；全新裸机从零安装约 3\~5 分钟。

核心优势：

⚡ 国内极限满速：直连阿里云北京 ACR 镜像私库，彻底告别海外网络阻断。
📦 开箱即用极简：免复杂环境配置、免 docker login，剔除冗余编译链。
🛡️ 双层安全防护：内置 SSL 证书与 Basic Auth 前置网关防御，核心组件全私有网络隔离。
🔄 Web 平滑热更：支持直接在管理后台一键无感热升级，免去繁琐的 SSH 终端操作。
🩺 全自动健康探活：内置 API 就绪轮询机制与 Swap 内存自愈，服务就绪再放行，告别 502 报错。

🚀 部署方式选择

方法一：国内极速一键部署（⭐ 推荐 · 绕过 GitHub 阻断）

在服务器终端 (需 root 权限) 粘贴并执行以下连缀指令。脚本将自动安装 Docker、自愈配置 Swap、从阿里云提取最新配置并一键拉起：

# 1. 安装基础工具并创建目录
apt-get update && apt-get install -y docker.io docker-compose-v2 openssl curl && \
mkdir -p ~/ARL-Next && cd ~/ARL-Next && \
# 2. 从阿里云国内镜像中提取全套部署编排
docker pull crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
docker rm -f arl-temp 2>/dev/null || true && \
docker create --name arl-temp crpi-laul1izptqrf0tkf.cn-beijing.personal.cr.aliyuncs.com/owl234-arl-prod/arl-web:latest && \
docker cp arl-temp:/code/start-prod.sh ./ && \
docker cp arl-temp:/code/docker-compose.prod.yml ./ && \
docker cp arl-temp:/code/updater ./ && \
docker cp arl-temp:/code/version.txt ./ && \
docker cp arl-temp:/code/frontend ./ && \
docker rm arl-temp && \
# 3. 赋予权限并启动
chmod +x start-prod.sh && \
bash start-prod.sh

方法二：GitHub 源码克隆部署（适用于海外服务器 / 需二次开发）

Tip

start-prod.sh 内置全套环境探针，裸机运行亦会自动安装 Docker 并优化内核配置。

git clone --depth 1 https://github.com/owl234/ARL-Next.git && cd ARL-Next
chmod +x start-prod.sh
bash start-prod.sh

🔑 访问与初始凭据

部署完成后，在浏览器中访问：https://<你的服务器IP>:5173（首次自签名证书请无视浏览器不安全提示）。

验证层级	默认账号	默认密码	说明
第一层：Nginx Basic Auth 网关	`admin`	`arl_next`	前置防扫描器爆破，可在系统设置中一键关闭或修改
第二层：ARL-Next 系统登录	`admin`	`arlpass`	平台主账号，首次登录后建议立即修改

Tip

商业证书替换 (可选)：将您申请的真实 SSL 证书重命名为 arl.crt 和 arl.key 放至 ssl-certs/ 目录，然后再次执行 bash start-prod.sh 即可。

💻 开发环境部署 (前端本地 + Docker 后端)

👥 适用场景：二次开发、PoC 插件编写与深度调试。
⚡ 核心优势：前后端彻底解耦，双端热重载 (Hot Reload) 实时生效，无需重复打包。
⚙️ 前置依赖：本地已安装 Docker 与 Node.js 18+ (脚本会自动检测并配置 pnpm 环境)。

🚀 一键拉起开发环境

git clone https://github.com/owl234/ARL-Next.git && cd ARL-Next
# 自动在后台启动后端容器组 (API / Worker / MongoDB / RabbitMQ)，并在前台启动 Vite 前端服务
bash start-dev.sh

启动完成后，访问 http://localhost:5173 即可实时预览开发界面（默认凭据：admin / arlpass）。

🗄️ 开发者调试端口与数据库直连 (开发环境专用)

Note

生产环境为保障安全性已默认切断所有底层中间件外网端口。开发环境下可通过以下地址直连调试：

调试组件	访问地址 / 连接串	账号	密码	说明 / 用途
🍃 MongoDB 7.0	`mongodb://admin:[email protected]:27018/arl?authSource=admin`	`admin`	`admin`	Navicat / Compass 数据库直连
🐇 RabbitMQ 管理台	`http://127.0.0.1:15673`	`admin`	`admin`	消息队列与消费者状态监控
🐇 RabbitMQ AMQP	`amqp://admin:[email protected]:5673/`	`admin`	`admin`	Celery 任务协议端口
⚙️ Backend API	`http://127.0.0.1:5001/api/`	—	—	后端 Flask RESTful 调试直连
🧩 OSINT 微服务	`http://127.0.0.1:16182/docs`	—	—	天眼查/ICP 异步微服务 Swagger

❓ 常见问题与运维排错 (FAQ)

Q1: 首次通过 HTTPS 访问时，浏览器提示“不安全 / 您的连接不是私密连接”？

**A:** 系统首次启动时会自动签发本地自签名 SSL 证书。 * 点击浏览器页面的 **“高级” ➔ “继续前往 (不安全)”** 即可正常访问（Chrome 浏览器亦可在页面任意空白处直接键盘盲打 `thisisunsafe` 跳过警告）。 * **配置真实域名证书**：将您申请的证书重命名为 `arl.crt` 和 `arl.key` 放至 `ssl-certs/` 目录，执行 `bash start-prod.sh` 即可无缝切换。

Q2: 忘记系统登录密码或 Basic Auth 防爆破凭证怎么办？

* ```shell ``` *

Q3: 点击 Web 端的“一键系统更新”时，提示 [ERROR]触发更新失败？

```shell ```

Q4: 扫描任务较多时，如何调整系统并发性能？

Q5: 常用 Docker 容器维护与日志排查命令速查？

```shell ```

📜 版本更新历史

🚀 v1.2.0 (当前版本)

* **交互与体验**：全站核心数据表格与顶部操作栏封装并引入悬浮吸附（`useSticky`）与局部平滑滚动，规避长页面滚动遮挡；统一全局分页器（`useGlobalPageSize`，支持单页 500 条）并实现 `localStorage` 持久化记忆；引入 Vue `Keep-Alive` 页面缓存与返回静默刷新机制。 * **现代化字典系统**：重构字典管理为三栏交互布局（分类/列表/编辑），支持分类 Emoji 命名、新建字典抽屉、txt/dic 在线预览与编辑、未保存呼吸灯提示及一键安全删除；重构字典加载与上传校验模块，收敛路径遍历风险。 * **调度与监控重构**：资产分组下发监控任务新增支持「周期性监控」与「一次性扫描」双模切换，一键下发即时比对增量与变动并精准反馈成功数；重构调度器执行引擎，引入二次防重消费校验与随机休眠，规避队列积压导致并发拉起重复任务；新增 `monitor_diff.py` 动态比对引擎，实现 13 类资产毫秒级基线对比、`new`/`update` 增量打标、未变动资产过滤与 Syslog 审计汇总；修复 SimHash 与联合索引计算，收敛监控防抖失效与内存泄漏。 * **告警推送升级**：全面重构 `push.py` 多通道告警引擎，支持 13 类资产新增（🌟）与变动（🔄）的 Markdown / HTML 结构化报文推送；原生适配钉钉、企业微信、飞书、Telegram 及 Email，内置 3500 字符防超长截断保护与无变动干净摘要。 * **扫描链路与容错隔离**：在 `CommonTask`、`DomainTask`、`IPTask`、`RiskCruising` 中全线引入 `safe_phase` 上下文管理器，实现各扫描阶段异常捕获与耗时审计，规避单插件报错导致 Celery 任务崩溃；调整 `nuclei_scan` 扫描时序至末尾防止目标被阻断；放宽 Nuclei 超时至 15 天；优化 AlienVault/Chaos 查询超时与天眼查防风控延时；文件泄露爆破改用生成器独立迭代规避漏扫。 * **高吞吐持久层**：全线模块升级 `safe_insert_asset_many` 与 `bulk_write` 批量入库，覆盖全量核心集合，消除 N+1 读写瓶颈与高并发主键冲突；支持轻重任务及 OSINT 并发数热扩缩容。 * **AI 原生与运维更新**：MCP 服务由 Node.js 彻底重构为轻量原生 Python 服务（FastMCP），输出深度重构为 AI 原生 CSV 流与 13 维全景资产大盘，Token 消耗降低 80%+；重构 `updater/updater.py` 支持生产镜像覆盖与开发环境 `git pull` 双模更新；优化 `start-prod.sh` 宿主机 Swap 精准探测与 Nginx Gzip 压缩分发。

v1.1.8

v1.1.7

v1.1.6

v1.1.5

v1.1.4

v1.1.3

v1.1.2

v1.1.1

v1.1.0

v1.0.9

v1.0.8

🤝 致谢

本项目站在巨人的肩膀上，特此鸣谢以下项目与团队：

核心架构：基于经典开源项目 ARL 资产侦察灯塔深度重构，并参考了 Aabyss-Team/ARL 与 adysec/ARL 等优秀实践。
指纹数据：特别鸣谢 威零安全团队 ( 公众号) 提供的万级高质量 Web 指纹库支撑。
功能灵感：OSINT 企业查询深度借鉴了 ICP_Query，威胁监控模块汲取了 github-cve-monitor 的优雅设计。

ARL-Next 将始终秉持开源互助的黑客初心，持续为网络安全攻防与企业防御建设贡献力量！

💖 赞助与支持

ARL-Next 的持续高频迭代离不开社区伙伴的慷慨支持。特别致谢以下赞助者：

⚠️ 法律与免责声明

Caution

合规红线与免责条款：
本平台仅供经过合法授权的企业安全建设、SRC 漏洞挖掘、学术攻防演练及安全研究使用。使用本工具开展任何探测与扫描前，使用者必须确保已获得目标资产所有者的明确书面授权，并严格遵守《中华人民共和国网络安全法》及当地法律法规。
严禁利用本工具从事任何未授权的入侵、攻击或破坏行为！ 任何因违规滥用导致的网络安全事故或法律责任，均由使用者本人独立承担，本项目作者与贡献者不承担任何直接或连带责任。