REAL RECONSTRUCTION · EXPLAINABLE NEXT BEST VIEW

让下一张照片,
成为重建的关键一块。

智拍三维把真实多视图重建、缺陷定位和下一最佳视角规划放在同一个闭环里。 系统不只告诉你“模型有缺口”,还会解释下一张照片应该从哪里拍,以及预计改善什么。

14 / 14真实照片注册
2,563稀疏三维点
295.4 s完整生产运行
ETH3D PIPES · REAL 14-VIEW CASE

真实重建观测场

加载真实模型
已注册相机 14
候选拍摄点 5
缺陷目标

载入中

THE PROBLEM

问题不在“能不能拍”,而在“下一次该拍哪里”。

传统重建工具通常在流程结束后才告诉你失败。此时拍摄预算已经耗尽,用户仍不知道缺失来自角度、遮挡、基线还是纹理。

01

拍少了

表面只有单视角或稀疏观测,三角化和纹理采样都缺少可靠依据。

几何覆盖不足
02

拍偏了

相机集中在同一方位,视线夹角过小;照片很多,但新增几何信息有限。

基线与观测角度不足
03

拍完才发现

缺陷、遮挡和纹理冲突没有被映射回三维空间,无法转化为下一次拍摄任务。

缺陷不可执行
智拍三维的切入点

把逐 texel 观测、相机位姿、网格几何、纹理缺陷和不确定性统一到可查询的三维缺陷索引,再用可解释收益模型规划下一张照片。

SYSTEM ARCHITECTURE

两条闭环,共用一个真实三维底座。

本地重建链路负责生产证据;静态展示站只读取已核验成果,不连接用户 localhost,也不把推理接口暴露到公网。

LOCAL RECONSTRUCTION
照片输入与质量筛查
↓
SIFT / ALIKED + LightGlue
↓
pycolmap 稀疏 SfM
↓
稠密点云 · 表面估计 · 纹理
↓
质量分析与三维缺陷索引
↓
NBV 候选视点与收益评分
真实实验产物 只读快照
PUBLIC SHOWCASE
Cloudflare Pages 静态站
↓
项目叙事与真实指标
↓
Three.js 交互模型
↓
相机、候选视点与目标连线
↓
无登录 · 无上传 · 无 API 密钥
CAPTURE → RECONSTRUCT → REPLAN

从照片到下一张照片。

每一步都保留输入、参数、产物和指标。推荐视点必须能追溯到真实缺陷区域,而不是套用固定八方向模板。

  1. 01

    采集与筛查

    格式、尺寸、清晰度、重复与解码安全检查。

  2. 02

    特征与位姿

    真实 SIFT 生产基线;AI 匹配作为可对照实验。

  3. 03

    几何与纹理

    稀疏点云、稠密观测、表面估计、UV 与真实照片纹理。

  4. 04

    缺陷定位

    开放边界、低覆盖、遮挡、纹理冲突与不确定状态。

  5. 05

    NBV 规划

    候选视点、可见性、基线、入射角、冗余与可行性评分。

  6. 06

    补拍复评

    新照片检查、注册、重建与补拍前后指标对照。

NEXT BEST VIEW

不是“多拍几张”,
而是“下一张值得拍”。

系统在真实网格、真实相机和真实 Phase-4 texel 状态上生成候选视点,以缺陷可见性、几何覆盖、纹理入射角、基线和冗余度共同评分。 它是可解释的信息增益规划,不是训练好的神经网络策略。

预注册综合收益 0.45 × 新增表面 + 0.35 × 新增 texel 观测 + 0.20 × 缺陷可见性 缺陷修复另按 50% 可见性 + 30% 入射/纹理 + 20% 遮挡改善计算。
240入选缺陷区域
654候选视点
5预算视点
SELECTED VIEWS

预算 5 的 NBV 推荐序列

模拟规划

这是基于真实重建的视点规划模拟,不代表真实用户已完成这 5 次补拍。点击候选可让模型视角聚焦到对应目标。

REAL EXPERIMENTS

允许失败结果进入展示。

AI 匹配在这一真实场景中没有全面优于 SIFT,所以生产默认仍是 SIFT。补拍策略也没有宣称在所有目标上最优。

14 VIEWS

真实相机注册

14 / 14

ETH3D Pipes DSLR 真实照片,使用官方真实拍摄数据完成稀疏重建。

SIFT DEFAULT

学习式匹配对照

1,258

ALIKED + LightGlue 真实执行,但 Pipes 上点更少、重投影误差更高。

ESTIMATED MESH

表面与纹理

128,648

由真实稠密观测估计的网格面片,通过 Three.js 在浏览器中交互浏览。

STRATEGY COMPARISON

相同拍摄预算下的三种策略

数值来自真实重建上的视点规划模拟;不是实际补拍成果。

预算策略全局覆盖收益缺陷修复收益综合有效信息规划耗时

结论一:NBV 在缺陷修复目标上明显领先,预算 5 时为 15.77%,固定方向为 0.02%,覆盖策略为 2.06%。

结论二:覆盖策略在纯全局覆盖目标上更强,预算 5 时为 0.68%,NBV 为 0.10%。

结论三:“综合有效信息”由预注册权重决定,不能外推为 NBV 在所有目标上全面最优。

EVIDENCE CHAIN

每个数字都有真实运行来源。

展示站只携带经过核验的静态快照。原始照片、数据库、中间文件和完整运行目录继续保留在本地,不进入公网。

RUN

生产重复运行

运行编号
prod-r3
总耗时
—
传感器
CPU · macOS arm64
REPAIR

保守几何修复

开放边
—
连通分量
—
方案
仅闭合三边小缺口
MATCHING

生产默认匹配

默认
SIFT
AI
实验性对照
结论
未达到替换门限

同一真实场景的三组匹配

生产运行 r3
方法注册图像稀疏点平均重投影误差状态
SIFT14 / 142,5631.031 px生产默认
ALIKED + LightGlue14 / 141,2581.223 px实验性
Hybrid14 / 143,9311.152 px未替换
CLAIM BOUNDARY

明确不声称什么。

比赛展示需要可信,而不是把未验证能力包装成完成品。

  • 01

    不是 3D Gaussian Splatting。展示对象是真实重建管线输出的估计网格,不是高斯泼溅。

  • 02

    不是端到端 AI 重建大模型。ALIKED/LightGlue 用于特征学习;NBV 是可解释几何评分。

  • 03

    不是真实用户补拍结果。五种 NBV 视点来自真实场景上的规划模拟,没有伪装成已完成的 5 张照片。

  • 04

    不是无条件商用数据。ETH3D Pipes 为 CC BY-NC-SA 4.0,展示保留署名和非商业边界。

  • 05

    不是云端重建服务。公网站点只做展示;完整重建引擎继续在本地 Mac 运行。

PROJECT TEAM

智拍三维项目组

独立完成算法实验、三维重建、质量分析、主动补拍规划、前后端原型与真实数据验收。

PythonFastAPIpycolmapOpen3DThree.jsALIKEDLightGlue