计算机视觉

Richard Szeliski博士计算机视觉领域的大师级人物。Szeliski博士在计算机视觉研究方面有25年以上的丰富经验，先后任职干DEC和微软研究院。1996年，他在微软研究院任职期间，提出一种基于运动的全景图像拼接模型，采用L—M算法，通过求图像间的几何变换关系来进行图像匹配。此方法是图像拼接领域的经典算法，Richard Szeliski也因此成为图像拼接领域的奠基人。

《计算机视觉——算法与应用》探索了用于分析和解释图像的各种常用技术，描述了具有一定挑战性的视觉应用方面的成功实例，兼顾专业的医学成像和图像编辑与交织之类有趣的大众应用，以便学生能够将其应用于自己的照片和视频，从中获得成就感和乐趣。本书从科学的角度介绍基本的视觉问题，将成像过程的物理模型公式化，然后在此基础上生成对场景的逼真描述。作者还运用统计模型来分析和运用严格的工程方法来解决这些问题。 本书作为本科生和研究生“计算机视觉”课程的理想教材，适合计算机和电子工程专业学生使用，重点介绍现实中行之有效的基本技术，通过大量应用和练习来鼓励学生大胆创新。此外，本书的精心设计和编排，使其可以作为计算机视觉领域中一本独特的基础技术参考和最新研究成果文献。

目 录 第1章 概述 1 1.1 什么是计算机视觉？ 2 1.2 简史 8 1.3 本书概述 16 1.4 课程大纲样例 21 1.5 标记法说明 22 1.6 扩展阅读 22 第2章 图像形成 25 2.1 几何基元和变换 26 2.1.1 几何基元 26 2.1.2 2D变换 29 2.1.3 3D变换 32 2.1.4 3D旋转 33 2.1.5 3D到2D投影 37 2.1.6 镜头畸变 46 2.2 光度测定学的图像形成 47 2.2.1 照明 48 2.2.2 反射和阴影 49 2.2.3 光学 54 2.3 数字摄像机 57 2.3.1 采样与混叠 60 2.3.2 色彩 63 2.3.3 压缩 71 2.4 补充阅读 72 2.5 习题 73 第3章 图像处理 77 3.1 点算子 78 3.1.1 像素变换 79 3.1.2 彩色变换 81 3.1.3 合成与抠图 81 3.1.4 直方图均衡化 83 3.1.5 应用：色调调整 86 3.2 线性滤波 86 3.2.1 可分离的滤波 89 3.2.2 线性滤波示例 90 3.2.3 带通和导向滤波器 91 3.3 更多的邻域算子 95 3.3.1 非线性滤波 95 3.3.2 形态学 99 3.3.3 距离变换 100 3.3.4 连通量 101 3.4 傅里叶变换 102 3.4.1 傅里叶变换对 105 3.4.2 二维傅里叶变换 107 3.4.3 维纳滤波 108 3.4.4 应用：锐化，模糊 和去噪 111 3.5 金字塔与小波 111 3.5.1 插值 112 3.5.2 降采样 114 3.5.3 多分辨率表达 116 3.5.4 小波 119 3.5.5 应用：图像融合 123 3.6 几何变换 125 3.6.1 参数化变换 125 3.6.2 基于网格的卷绕 131 3.6.3 应用：基于特征的变形 133 3.7 全局优化 133 3.7.1 正则化 134 3.7.2 马尔科夫随机场 138 3.7.3 应用：图像的恢复 147 3.8 补充阅读 147 3.9 习题 149 第4章 特征检测与匹配 157 4.1 点和块 159 4.1.1 特征检测器 160 4.1.2 特征描述子 169 4.1.3 特征匹配 172 4.1.4 特征跟踪 179 4.1.5 应用：表演驱动的动画 181 4.2 边缘 182 4.2.1 边缘检测 182 4.2.2 边缘连接 187 4.2.3 应用：边缘编辑和增强 189 4.3 线条 190 4.3.1 逐次近似 191 4.3.2 Hough变换 191 4.3.3 消失点 194 4.3.4 应用：矩形检测 196 4.4 扩展阅读 197 4.5 习题 198 第5章 分割 205 5.1 活动轮廓 206 5.1.1 蛇行 207 5.1.2 动态蛇行和 CONDENSATION 211 5.1.3 剪刀 214 5.1.4 水平集 215 5.1.5 应用：轮廓跟踪和 转描机 217 5.2 分裂与归并 218 5.2.1 分水岭 218 5.2.2 区域分裂(区分式聚类) 219 5.2.3 区域归并(凝聚式聚类) 219 5.2.4 基于图的分割 219 5.2.5 概率聚集 220 5.3 均值移位和模态发现 221 5.3.1 k-均值和高斯混合 222 5.3.2 均值移位 224 5.4 规范图割 227 5.5 图割和基于能量的方法 230 5.6 补充阅读 234 5.7 习题 235 第6章 基于特征的配准 237 6.1 基于2D和3D特征的配准 238 6.1.1 使用最小二乘的 2D配准 238 6.1.2 应用：全景图 240 6.1.3 迭代算法 241 6.1.4 鲁棒最小二乘 和RANSAC 243 6.1.5 3D配准 245 6.2 姿态估计 246 6.2.1 线性算法 246 6.2.2 迭代算法 248 6.2.3 应用：增强现实 249 6.3 几何内参数标定 250 6.3.1 标定模式 250 6.3.2 消失点 252 6.3.3 应用：单视图测量学 253 6.3.4 旋转运动 254 6.3.5 径向畸变 256 6.4 补充阅读 257 6.5 习题 258 第7章 由运动到结构 263 7.1 三角测量 264 7.2 二视图由运动到结构 266 7.2.1 投影(未标定的)重建 270 7.2.2 自标定 271 7.2.3 应用：视图变形 273 7.3 因子分解 274 7.3.1 透视与投影因子分解 276 7.3.2 应用：稀疏3D模型 提取 277 7.4 光束平差法 278 7.4.1 挖掘稀疏性 280 7.4.2 应用：匹配运动和增强 现实 282 7.4.3 不确定性和二义性 283 7.4.4 应用：由因特网照片 重建 284 7.5 限定结构和运动 287 7.5.1 基于线条的方法 287 7.5.2 基于平面的方法 288 7.6 补充阅读 289 7.7 习题 290 第8章 稠密运动估计 293 8.1 平移配准 294 8.1.1 分层运动估计 297 8.1.2 基于傅里叶的配准 298 8.1.3 逐次求精 300 8.2 参数化运动 305 8.2.1 应用：视频稳定化 308 8.2.2 学到的运动模型 308 8.3 基于样条的运动 309 8.4 光流 312 8.4.1 多帧运动估计 315 8.4.2 应用：视频去噪 316 8.4.3 应用：去隔行扫描 316 8.5 层次运动 317 8.5.1 应用：帧插值 319 8.5.2 透明层和反射 320 8.6 补充阅读 321 8.7 习题 322 第9章 图像拼接 327 9.1 运动模型 329 9.1.1 平面透视运动 329 9.1.2 应用：白板和文档扫描 330 9.1.3 旋转全景图 331 9.1.4 缝隙消除 333 9.1.5 应用：视频摘要和压缩 334 9.1.6 圆柱面和球面坐标 335 9.2 全局配准 338 9.2.1 光束平差法 338 9.2.2 视差消除 341 9.2.3 认出全景图 343 9.2.4 直接配准和基于特征的 ?配准 345 9.3 合成 346 9.3.1 合成表面的选择 346 9.3.2 像素选择和加权 (去虚影) 348 9.3.3 应用：照片蒙太奇 352 9.3.4 融合 353 9.4 补充阅读 355 9.5 习题 356 第10章 计算摄影学 359 10.1 光度学标定 361 10.1.1 辐射度响应函数 362 10.1.2 噪声水平估计 363 10.1.3 虚影 364 10.1.4 光学模糊(空间响应) 估计 365 10.2 高动态范围成像 368 10.2.1 色调映射 374 10.2.2 应用：闪影术 380 10.3 超分辨率和模糊去除 381 10.3.1 彩色图像去马赛克 385 10.3.2 应用：彩色化 387 10.4 图像抠图和合成 388 10.4.1 蓝屏抠图 389 10.4.2 自然图像抠图 391 10.4.3 基于优化的抠图 394 10.4.4 烟、阴影和闪抠图 396 10.4.5 视频抠图 397 10.5 纹理分析与合成 398 10.5.1 应用：空洞填充 与修图 400 10.5.2 应用：非真实感绘制 401 10.6 补充阅读 403 10.7 习题 404 第11章 立体视觉对应 409 11.1 极线几何学 412 11.1.1 矫正 412 11.1.2 平面扫描 414 11.2 稀疏对应 416 11.3 稠密对应 418 11.4 局部方法 420 11.4.1 亚像素估计 与不确定性 422 11.4.2 应用：基于立体视觉的 头部跟踪 423 11.5 全局优化 424 11.5.1 动态规划 425 11.5.2 基于分割的方法 427 11.5.3 应用：z-键控与背景 替换 428 11.6 多视图立体视觉 429 11.6.1 体积与3D表面重建 432 11.6.2 由轮廓到形状 436 11.7 补充阅读 438 11.8 习题 439 第12章 3D重建 443 12.1 由X到形状 444 12.1.1 由阴影到形状与光度 测量立体视觉 445 12.1.2 由纹理到形状 447 12.1.3 由聚焦到形状 448 12.2 主动距离获取 449 12.2.1 距离数据归并 451 12.2.2 应用：数字遗产 453 12.3 表面表达 454 12.3.1 表面插值 454 12.3.2 表面简化 455 12.3.3 几何图像 456 12.4 基于点的表达 456 12.5 体积表达 457 12.6 基于模型的重建 459 12.6.1 建筑结构 459 12.6.2 头部和人脸 461 12.6.3 应用：脸部动画 463 12.6.4 完整人体建模与跟踪 465 12.7 恢复纹理映射与反照率 469 12.7.1 估计BRDF 470 12.7.2 应用：3D摄影学 471 12.8 补充阅读 472 12.9 习题 473 第13章 基于图像的绘制 477 13.1 视图插值 478 13.1.1 视图相关的纹理映射 480 13.1.2 应用：照片游览 481 13.2 层次深度图像 482 13.3 光场与发光图 484 13.3.1 非结构化发光图 487 13.3.2 表面光场 488 13.3.3 应用：同心拼图 489 13.4 环境影像形板 490 13.4.1 更高维光场 491 13.4.2 从建模到绘制 492 13.5 基于视频的绘制 493 13.5.1 基于视频的动画 493 13.5.2 视频纹理 494 13.5.3 应用：图片动画 497 13.5.4 3D视频 497 13.5.5 应用：基于视频的 游览 499 13.6 补充阅读 501 13.7 习题 503 第14章 识别 507 14.1 物体检测 509 14.1.1 人脸检测 509 14.1.2 行人检测 515 14.2 人脸识别 518 14.2.1 特征脸 518 14.2.2 活动表观与3D形状 模型 525 14.2.3 应用：个人照片收藏 528 14.3 实例识别 529 14.3.1 几何配准 530 14.3.2 大型数据库 531 14.3.3 应用：位置识别 535 14.4 类别识别 537 14.4.1 词袋 539 14.4.2 基于部件的模型 542 14.4.3 基于分割的识别 545 14.4.4 应用：智能照片编辑 548 14.5 上下文与场景理解 550 14.5.1 学习与大型图像收集 552 14.5.2 应用：图像搜索 554 14.6 识别数据库和测试集 555 14.7 补充阅读 559 14.8 习题 562 第15章 结语 567 附录A 线性代数与数值方法 569 A.1 矩阵分解 570 A.1.1 奇异值分解 570 A.1.2 特征值分解 571 A.1.3 QR因子分解 573 A.1.4 乔里斯基分解 574 A.2 线性最小二乘 575 A.3 非线性最小二乘 578 A.4 直接稀疏矩阵方法 579 A.5 迭代方法 580 A.5.1 共轭梯度 581 A.5.2 预处理 582 A.5.3 多重网格 583 附录B 贝叶斯建模与推断 585 B.1 估计理论 586 B.2 最大似然估计与最小二乘 589 B.3 鲁棒统计学 590 B.4 先验模型与贝叶斯推断 591 B.5 马尔科夫随机场 592 B.5.1 梯度下降与模拟退火 594 B.5.2 动态规划 595 B.5.3 置信传播 596 B.5.4 图割 598 B.5.5 线性规划 601 B.6 不确定性估计(误差分析) 602 附录C 补充材料 604 C.1 数据集 605 C.2 软件 607 C.3 幻灯片与讲座 615 C.4 参考文献 615 词汇表 617