数字图像处理

关键点串联 co-author: @ppy @ysl

第1章 绪论

习题1

  1. 解释术语
    1. 图像 用各种观测系统以不同形式和手段观测客观世界而获得的、可以直接或间接作用于人的视觉系统而产生的视知觉实体
    2. 数字图像 二维空间和亮度值都是用有限数字数值表示的图像
    3. 图像处理 指对图像信息进行加工,以满足人的视觉或应用需求的行为
    4. 数字图像处理 指利用计算机技术对数值图像进行某些数学运算和各种加工处理,以改善图像的视觉效果和提高图像实用性的技术
    5. 图像分析 通过对图像中不同对象进行分割来对图像中目标进行分类和识别的技术
    6. 图像感知与获取 将景物转换成计算机可以接受的数字图像的过程
  2. 图像处理的基本特征 图像处理系统的输入输出都是图像
  3. 图像分析的基本特征 图像分析系统的输入是图像,输出是对输入图像进行描述的数据信息
  4. 图像分析的目的 缩减对图像的描述,以使其更适合于计算机处理及对不同目标的分类
  5. 图像处理低级阶段与高级阶段的关系 低级处理是高一级处理的基础
  6. 数字图像处理系统由哪几部分组成?各部分的功用是什么?
    1. 数字图像源:提供计算机可以接收的数字图像
    2. 计算机系统:进行对数字图像的处理
    3. 图像输出设备:输出图像处理结果
  7. 数字图像处理技术研究的基本内容包括哪些
    1. 最基本的图像处理方法:主要有图像增强、图像恢复、图像压缩编码、图像分割、图像特征提取、图像的标识与描述、图像变换和图像的基本运算
    2. 基于某一特定数学理论的图像处理方法:频率与图像处理方法、小波图像处理方法和形态学图像处理方法
  8. 请解释研究图像增强的基本思路 简单地突出图像中感兴趣的特征,或想办法显现图像中那些模糊的细节,以使图像更清晰地被显示或更适合人或机器的处理与分析
  9. 图像恢复的基本思路 从退化图像的数学或概率模型出发,研究改进图像的外观,从而使恢复以后的图像尽可能反映原始图像的本来面目
  10. 图像压缩编码的基本思路 在不损失图像质量或少损失图像质量的前提下,通过对图像的重新编码,尽可能地减少表示该图像的字节数量,以满足图像存储和实时传输的应用需求
  11. 图像分割的基本目的 根据图像的某种特征或某种相似性测度,把一幅图像分成若干个互不交迭且具有相同或相近特征的区域
  12. 图像的表述和描述的目的 通过对图像分割等方法得到的图像中感兴趣的区域或目标,寻找出更适合于计算机进一步处理的表示和描述方法
  13. 简述数字图像处理有哪些应用 媒体通信、宇宙探索、遥感技术、生物医学、工业生产、气象预报、军事技术、侦缉破案、考古、文化产业
  14. 简述一个你所熟悉的图像处理的应用实例 医学上用B超检测仪对人体器官病变的检查和诊断

第2章 数字图像处理基础

2.4 空间分辨率和灰度级分辨率 (分辨率大小的影响

  • 空间分辨率是指图像中可分辨的最小细节,由采样间隔值决定。图像空间分辨率越低,图像的视觉效果越差;图像大小不变,图像的分辨率越低,图像阵列$M*N`越小
  • 灰度级分辨率是指在灰度级别中可分辨的最小变化。灰度级分辨率越低,图像的视觉效果越差。

2.5.1 像素的相邻和邻域

  • 相邻像素的集合称为邻域

第3章 数字图像的基本运算

3.1 灰度反转

  • 对于原图像$f(x,y)$设图像的灰度级为$L$,则图像的灰度反转可表示为$g(x,y) = L-1-f(x,y)$

3.2 对数变换

  • 对于原图像$f(x,y)$进行对数变换的解析式可表示为$g(x,y)=c*log(1+f(x,y))$,其中,$c$是一个常数。

  • 作用是对原图像的灰度值动态范围进行压缩,主要用于调高输入图像的低灰度值。

    3.3 灰度直方图

  • 灰度图像的直方图是一种表示数字图像中各级灰度值及其出现频数的关系的函数,实质上就是柱状图。

  • 归一化灰度图像直方图:求该灰度值出现的概率

  • 仅能描述图像中每个灰度值具有的像素个数,不能表示图像中每个像素的位置信息

3.4 图像的代数运算

  • 图像相加是通过对两幅大小相同的图像对应位置像素的相加运算,以产生一副新的含有两幅图像信息的图像的方法。$g(x,y) = f_1(x,y)+f_2(x,y)$
    • 两幅图像相加:$g(x,y) = \alpha f_1(x,y)+ \beta f_2(x,y)$
    • 多幅图像叠加是一种灰度图像的噪声消除方法:$g(x,y) = \frac{1}{N}f_i(x,y)$
  • 图像相减:$g(x,y) = f_1(x,y)-f_2(x,y)$ (运算结果要对不符合要求的像素值进行相应的处理)

3.5 图像的几何运算

  • 平移
    • 图像块平移
    • 整幅图像平移
  • 旋转
    • 旋转后图像幅面放大
    • 旋转后图像幅面不变,将图像截断
  • 镜像
    • 水平镜像
    • 垂直镜像
  • 转置:将图像显示坐标的$x$轴与$y$轴对换
  • 缩放
    • 缩小目的:一是为了使缩小后的图像符合显示区域的大小要求;二是为了生成原图像的缩略图
    • 放大目的:为了使放大后的图像更好地显示在更高分辨率的显示设备上

第4章 空间域图像增强 !!

4.2.1 直方图均衡

  • 所谓直方图均衡,就是把一幅已知灰度概率分布的图像,变换成具有均匀概率分布的新图像,通过使其像素灰度值范围和对比度增大,来实现对图像增强的技术和方法。
  • 直方图均衡方法中的直方图是归一化直方图。
  • 实现步骤
    1. 计算原图像的归一化灰度级别及其分布概率$p_r(r_k)=n_k/n$
    2. 根据直方图均衡化公式求变换函数的各灰度等级值$s_k$
    3. 将所得的变换函数的各灰度等级值转化标准的灰度级别值
    4. 求新图像的各灰度级别值的像素数目
    5. 求新图像中个灰度级别的分布概率$p_s(s_k)=m_k/n$
    6. 画出均衡化后的新图像的直方图

4.2.2 直方图规定化

  • 把已知直方图的图像变换成具有某种期望的直方图的图像增强方法

4.3 基于空间平滑滤波的图像增强方法

  • 模板运算

  • 邻域平均法——高斯噪声——非线性平滑滤波图像增强方法——$g(x,y)=\Biggr{\frac{1}{8}\displaystyle \sum^{8}{i=1}{O_i},当|f(x,y)-\frac{1}{8}\displaystyle \sum^{8}{i=1}{O_i}|>\epsilon \choose f(x,y),其他$

  • 中值滤波法——椒盐噪声/脉冲噪声——线性平滑滤波图像增强方法——基本原理是基于某种中值滤波窗口,对该窗口覆盖的所有像素的灰度值进行排序

    1. 根据选定窗口的形状,确定窗口中心位置像素在原图像上的重合方式
    2. 将窗口在图像上逐像素移动扫描
    3. 把窗口下对应的像素按它们的灰度值大小进行排序,并找出排序结果的中间的那个值
    • 中值滤波主要优点:运算简单,在滤除噪声的同时能很好地保护信号的细节信息。很容易自适应化,从而进一步提高其滤波特性
    • 中值滤波的关键在于选择合适的窗口形状和窗口大小;另一个重要因素是排序算法的速度

4.4 基于空间锐化滤波的图像增强方法

  • 基于一阶微分的图像增强法
    1. 利用梯度法检测和突出图像中的边缘
    2. 基于某一门限阙值,通过利用超过门限的梯度值或某一指定的灰度值代替图像中相应的边缘来形成增强的结果图像
  • 基于二阶微分的图像增强法————拉普拉斯算子锐化方法

第5章 频率域图像处理 !!

  • 频率域图像处理是通过傅里叶变换把图像从空间域变换到频率域,然后用频率域方法对图像进行处理,处理完后再利用傅里叶反变换把图像变换回空间域

5.2 频率域图像处理的基本实现思路

$G(u,v) = F(u,v)H(u,v)\
g(x,y) = F^{-1}[G(u,v)]$

  1. 用$(-1)^{(x+y)}$乘以输入图像进行中心变换
  2. 对步骤1的计算结果图像进行二维傅里叶变换,求F(u,v)
  3. 用设计的转移函数H(u,v)乘以F(u,v),即求G(u,v)
  4. 求步骤3的计算结果的傅里叶反变换,即计算$F^{-1}[G(u,v)]$
  5. 取步骤4的实部
  6. 用$(-1)^{(x+y)}$乘以步骤5的计算结果,就可以通过频率域增强后的图像g(x,y)
    5.3 基于频率域的图像噪声消除——频率域低通滤波(选择能使低频通过,使高频衰减的转移函数实现低通滤波,达到滤除噪声的目的)
  • 理想低通滤波器
  • 巴特沃斯低通滤波器
  • 高斯低通滤波器

5.4 基于频率域的图像增强——频率域高通滤波(选择能使高频通过,使低频衰减的转移函数实现高通滤波,达到突出图像的高频边缘成分,实现图像增强的效果)

  • 理想高通滤波器
  • 巴斯沃特高通滤波器
  • 高斯高通滤波器

5.5 带阻滤波和带通滤波(用于对某些区域的某一频率范围内的频率分量抑制其通过或让其通过

第6章 图像恢复 !!

6.1.2 离散退化模型 $g(x,y) = H[f(x,y)]+n(x,y)$

6.5 图像噪声与被噪声污染图像的恢复

  • 常用噪声
    • 高斯噪声
    • 瑞丽噪声
    • 均匀分布噪声
    • 脉冲噪声
  • 噪声分类
    • 加性噪声(独立于图像信号的噪声
    • 乘性噪声(噪声的幅值与图像本身的灰度值有关
  • 噪声恢复方法
    • 谐波均值滤波(善于处理像高斯噪声一类的噪声,对“盐”噪声处理效果很好,但不适用于对“胡椒”噪声的处理
    • 逆谐波均值滤波(适合于减少和消除椒盐噪声。当Q为正数时,用于消除“胡椒”噪声;当Q为负数时,用于消除“盐”噪声。但它不能同时消除“胡椒”噪声和“盐”噪声。当Q为-1时,逆谐波均值滤波器就退变成谐波均值滤波器
    • 中点滤波(结合了顺序统计和求平均的优点,对于高斯和均匀随机分布类噪声有很好的效果
    • 自适应中值滤波(去除“椒盐”噪声,平滑其他非冲击噪声,并减少诸如物体边界细节或粗化等失真

6.6 几何失真的校正

  • 坐标的几何校正
  • 灰度值恢复

坐标变换-灰度插值

第7章 图像压缩编码

7.1 DCT变换(离散余弦变换)

  • 和傅里叶变换的关系:仅保留傅里叶变换的实部

第8章 小波图像处理

8.1.1 小波的概念和特性

  • 小波是指小区域、长度有限、均值为0的振荡波形
  • 小波必须是振荡的;小波的振幅只能在一个很短的一段区间上非零
  • 小波变换弥补了傅里叶变换不能描述随时间变换的频率特性的不足,特别适合于那些在不同时间窗内具有不同频率特性,而且其应用目的是为了得到信号或图像的局部频谱信息而非整体信息的信号或图像处理问题

8.1.6 图像的小波变换

  • 小波变换关键问题
    1. 小波变换层数的选择
    2. 小波基的选取
  • 几种最基本的小波基
    1. Haar小波
    2. 墨西哥草帽小波

8.3 基于小波变换的图像去噪方法(去除噪声的同时又能较好地保留图像特征

  • 小波去噪特点
    1. 低熵性
    2. 多分辨率性
    3. 去相关性
    4. 选基灵活性
  • 阈值去噪步骤
    1. 选择小波函数并确定分解层数N(一般N=3)
    2. 对图像信号进行小波分解,将图像信号分解为低频和高频信息,而噪声部分通常包含在高频中
    3. 对小波分解的高频系数进行阈值量化处理
    4. 利用小波分解的第N层低频系数和经过阈值量化处理后的1~N层高频系数进行小波重构(小波反变换),重构后得到的图像即是去噪后的图像
  • 小波收缩阈值去噪方法
    1. 硬阈值处理(硬阈值算法可以很好地保留图像边缘等局部特征;对含有丰富边缘的图像中产生许多“人为的”噪声点,图像会出现振铃、伪吉布斯效应等失真现象)
    2. 软阈值处理(该算法处理结果相对于硬阈值处理平滑了许多,但造成了一定的高频信息损失,会导致图像边缘出现一定程度的模糊失真)

第9章 图像分割

9.2.2 Hough变换

  • 基本思想是将图像空间X-Y变换到参数空间P-Q,利用图像空间X-Y与参数空间P-Q的点————线对偶性,通过把原始图像中给定形状的直线或曲线变换成参数空间的一个点,即原始图像中给定形状的直线或曲线变换成参数空间的一个点,即原始图像中给定形状的直线或曲线上的所有点都集中到参数空间的直线相交的某个点上而形成峰值(点数目累积的值)。这样,就把原始图像中给定形状的直线或曲线的检测问题,变成了寻找变换空间中的峰点问题,也把检测整体特性变成检测局部特性的问题。

9.3.1 基于阈值的分割方法

  • 基于阈值的图像分割方法是提取物体与背景在灰度上的差异,把图像分为具有不同灰度级的目标区域和背景区域的一种图像分割技术

9.4基于跟踪的图像分割
基于跟踪的图像分割方法是先通过对图像上的点的简便运算,检测出可能存在的物体上的点,然后在检测到的点的基础上通过跟踪运算来检测物体的边缘轮廓的一种图像分割方法。这种方法的特点是跟踪计算不需要在每个图像点上都进行,只需要在已检测到的点和正在跟踪的物体的边缘轮廓延伸点上进行即可。

  • 轮廓跟踪法
    1. 在靠近边缘处任取一起始点,然后按照每次只前进一步,步距为一个像素的原则开始跟踪。
    2. 当跟踪中的某步是由白区进入黑区时,以后各步向左转,直到穿出黑区为止
    3. 当跟踪中的某步是由白区进入白区时,以后各步向右转,直到穿出白区为止
    4. 当围绕目标边界循环跟踪一周回到起点时,则所跟踪的轨迹便是目标的轮廓;否则,应按步骤2和步骤3的原则继续进行跟踪
  • 光栅跟踪法
    1. 确定检测阈值d和跟踪阈值t,且要求d>t
    2. 用检测阈值d逐行对图像进行扫描,依次将灰度值大于或等于检测阈值d的点的位置记为1
    3. 逐行扫描图像,若图像中的(i,j)点为接受对象点,则在第i+1行上找点(i,j)的邻点(i+1,j-1)、(i+1,j)、(i+1,j+1),并将其中灰度值大于或等于跟踪阈值t的邻点确定为新的接受对象点,将对应位置记为1
    4. 重复步骤3,直至图像中除最末一行以外的所有接受点扫描完为止。此时位置为1的像素点连成的曲线即为检测到的边缘

9.5 基于区域的图像分割

  • 区域生长法(根据事先定义的相似性准则,将图像中满足相似性准则的像素或子区域聚合成更大区域的过程)
  • 分裂合并法(根据事先确定的分裂合并准则,也即区域特征一致性的测度;从整个图像出发,根据图像中各区域的不一致性,把图像或区域分裂成新的子区域;同时,可查找相邻区域有没有相似的特征,当相邻子区域满足一致性特征时,把它们合并成一个较大区域,直至所有区域不再满足分裂和合并的条件为止)

第10章 图像特征提取

10.1 图像的边缘特征及其检测方法

  • 图像边缘特征:具有方向和幅度两个特征。
    • 沿边缘走向,像素的灰度值变化比较平缓。
    • 沿垂直于边缘的走向:像素的灰度值则变化比较剧烈。这种剧烈变化或者呈阶跃状,或者呈屋顶状,分别称为阶跃状边缘和屋顶状边缘。
  • 图像特征分为自然特征和人工特征两大类
    • 人工特征是指人们为了便于对图像进行处理和分析而认为认定的图像特征,比如图像直方图、图像频谱图和图像的各种统计特征(图像的平均值、图像的方差、图像的标准差、图像的熵)
    • 自然特征是指图像固有的特征,比如图像中的边缘、角点、纹理、形状和颜色等
    • 三种典型边缘检测算子的性能分析:从总体上看,梯度算子对于噪声都有一定的敏感性,所以比较适用于图像边缘灰度值比较尖锐,且图像中噪声比较小的情况下应用(roberts,sobel,Prewitt)

10.2 图像的点与角点特征及其检测方法

  • 图像中的点分为一般意义上的点(也称为孤立像素点)和角点两点

    • 角点的特征是一种非常重要和直观的图像特征,角点的特征有计算简单、计算量少,且对旋转、平移和缩放具有不变性等特点。
    • 图像点:如果图像中一个非常小的区域的灰度幅值与其领域相比有着明显的差异,则称这个非常小的区域称为图像点。
  • 角点检测方法

    • 基于模板的角点检测算法
    • 基于边缘的角点检测算法
    • 基于图像灰度变化和角点检测算法(后两种检测算法最为广泛

第11章 彩色图像处理

11.1.1 三基色原理

  • 自然界中绝大多数颜色都可以分解成红,绿,蓝这三种颜色,这即是色度学中的三基色原理

11.2.1 RGB彩色模型

  • 在RGB彩色模型中,每一幅图像都由R、G、B这3个基色图像分量表示。在彩色监视器应用中,当反映同一副图像的R,G,B三基色图像分量同时送入RGB监视器,这三幅图像就在荧光屏上混合产生一幅合成的彩色图像

11.2.2 HSI彩色模型

  • HSI彩色模型模型常用于观察者进行彩色匹配实验和艺术家所使用,比较适合于人们用色调(H)、饱和度(S)和亮度(I)描述被观察物体颜色的解释,对于开发基于彩色描述的图像处理方法是一个理想的工具

11.3.2 彩色图像的灰度化

  • 将彩色图像转变为灰度图像的处理称为彩色图像的灰度化处理

11.3.3 真彩色转变为256色

  • 由于硬件条件的限制和某些应用的需求,有时需要将真彩色图像转化为256色图像进行显示。
  • 将真彩色图像转化为256色图像会有大量的颜色信息损失掉,因此,在转换过程中要找到合适的映射关系,使得变化后的256种颜色在原图像中最具代表性或出现的频率最高
    • 中位切分法
    • 流行色法

11.3.4 彩色平衡

  • 为什么要做彩色平衡:由于光源颜色、环境反射、成像设备缺陷等,会导致拍摄或图像数字化后的图像中的颜色在显示时看起来有些不正常,即景物中物体的颜色偏离了它原来的真实色彩。
  • 彩色平衡就是通过对色彩偏移的图像进行色彩校正,也即通过调整的图像R,G,B 3个分量的强度,恢复图像场景原始颜色特征的技术和过程

11.4 彩色图像增强

  • 为什么要做彩色图像增强:在得到的彩色图像中,有时会存在在对比度低、颜色偏暗、局部细节不明显等问题,为了改善图像的视觉效果、突出图像的特征,利于进一步的处理。
  • 真彩色增强
    • 亮度增强
    • 色调增强
    • 饱和度增强
  • 伪彩色增强
    • 密度分层法
    • 灰度级-彩色变换法
    • 频率滤波法
  • 假彩色增强
    • 二者的不同:假彩色增强与伪彩色 增强不同,它是一幅初始的彩色图像或者从多光谱图像的波段中生成增强的彩色图像的一种方法,其实质是从一幅彩色图像映射到另一幅彩色图像,由于得到的彩色图像不再能反映原图像的真实色彩,因此称为假彩色增强

11.5 彩色图像的平滑

  • 由于光照,摄影设备以及图像传输等原因,在得到彩色图像中不可避免地存在噪声。为了得到质量较高的彩色图像,要通过对图像的平滑处理消除这些噪声。

11.6 彩色图像的锐化

11.7 彩色图像的边缘检测

11.8 彩色图像的分割

  • 彩色图像分割:利用图像的彩色信息,将图像分割为一些感兴趣区域的图像处理方法。彩色图像的分割可以看作是灰度图像分割向彩色空间的一种扩展和延伸

第12 形态学图像处理

12.2.1 腐蚀

  • 腐蚀是一种最基本的数学形态学运算,所有其他形态学运算均可以在这一算的基础上导出。

12.2.2 膨胀

  • 膨胀运算的概念
  • 结构元素形状对膨胀运算结果的影响
  • 膨胀运算的应用

12.2.3 开运算和闭运算

  • 开运算:使用同一结构元素对目标图像先进行腐蚀算,然后再进行膨胀运算称为开运算
  • 闭运算:闭运算是开运算的对偶运算,使用同一结构元素对目标图像先进行膨胀运算,再进行腐蚀运算成为闭运算

12.3 二值图像的形态学处理

  • 形态滤波
  • 边界提取
  • 区域填充
  • 骨架处理
  • 物体识别

第13章 目标表示与描述

13.1 边界表示

  • 边界的描述方法
    • 链码
    • 多边形
    • 标记
    • 边界线段

13.2.3 傅里叶描述子

  • 边界点的复数表示:s(k) = x(k) + jy(k)

第14章 视频图像处理基础

14.1 视频图像处理概念

  • 视频图像处理是指对视频图像信息进行变换,加工和分析,提高图像质量或提取图像中某些特殊信息。

14.2 基于视频图像的运动目标检测与识别

  • 帧差法
  • 背景减法
  • 光流场分析法