畸变矫正-手机矫正镜头畸变

摘要III IIIill删I 15387295596153872955961f—摘要Y2579093．随着经济和科学技术的发展，计算机视觉系统正在交通、医疗、工业、军事 等领域广泛应用。在图像获取过程中，由于拍摄场地的限制、设备成像系统的不 完善，得到的图像未能达到实际的效果，产生了比例失调，甚至变形。这种现象 就被称为几何畸变。几何畸变主要是由于图像中的像素点发生位移而产生的，具 体表现为图像中的物体变形、远近比例失调等。图像畸变会直接在图像上显现出 来，对图像的研究分析会产生较大的影响。本文从研究数字图像梯形畸变出发，阐述了几何畸变图像的数字校正原理与 传统校正方法，对畸变的具体情况进行了仔细、深入的分析，最后提出了分别适 用于图像和视频的两种校正方法。对于图像的几何畸变校正首先对待校正图像进 行直方图均衡化，对图像进行增强：再利用Sobel算子进行水平或竖直方向上的 边缘检测；然后通过角度限定和Radon变换进行畸变轮廓提取；最后利用连接点 法进行畸变校正。而畸变视频的校正是以图像校正方法为基础的，由于视频的复 杂度高于图像，使得原有的畸变轮廓提取存在误差，因此提出一种通过人机交互 提取畸变边缘的方法。

该方法可以准确迅速的提取图像的畸变边缘，使校正后的 图像更接近理想图像。大量的实验表明，本文的复原算法运算效率高、处理效果良好，视频校正算 法还有着跨平台移植性好的优点。 关键词：梯形畸变，儿何校正，图像增强，边缘检测，Radon变换，OpenCVAbsttactAbstractWiththeofanddevelopmentsciencevisioneconomytechnology,computerisusedinandother systemwidelyfields． Due limitationoftothesiteanddevicefilming imperfectimagingsystem，thefailedtomeettheactualeffectandcameintoor acquiredimagebeingdisproportionalin deformationtheofisknownastheprocessimageacquisition．Thisphenomenondistortion．Geometricis geometricdistortion duetotheofmainlydisplacementpixels intheastheintheisoutofdistanceratioisimage，suchobjects image shape，the imbalanceandSOon．The distortionwhichintheimageappeareddirectlyimage，willinfluenceonthe producegreatimageanalysis．This startedfromtheonresearchdistortionofpaperkeystonedigitalimages， elaboratedtheofdistortioncorrectionandtheofprinciplegeometricdigitalimages traditionalcalibration circumstancesofdistortionisfurtherandmethod，theanalyzedforwardtwokindsofcorrectionmethodstotheputthatimages specific，andapplied andvideos．Forthedistortionoffirst onthecorrectionisgeometric image，thesteptoenhancetheSobelfor histogramimage；thenusing operatoredgeequalization detectiononthehorizontalorverticaltheandthedirection；andbydefiningangleextractthethemethodof Radontransformtooutlineofdistortion；finally,usingfordistortioncorrection．Andthedistortionofvideois connectionpointcorrectingofduetotheofvideois basedonthemethod correction，buthigherimagecomplexity thanthatofdistortioncontourextractionisnot accurate．Soimage，theoriginalalways amethodistoextractthe ofdistortionthehuman—computerproposededgethrough interaction．Thismethodcanandextractthe ofthedistortedaccuratelyrapidlyedgeandthecorrectedisclosertotheideal imageimageimage．A numberofshowthattherestoration inthislargeexperimentsalgorithmpapertreatmenteffectthe has calculationtheishi【ghefficiency,andgood．Furthermore videocorrection hasaofalgorithmgoodadvantagecross·platformtransplantation．enhancement，edge Keywords：Trapezoidaldistortion，geometriccorrection，image detection，Radontransform，OpenCV】I目录目录 摘要……………………………………………………………………．………………………………………．．I Abstract……………………………………………………………………．……………………………………．】[1 liI录……………………………………………………………………………………………………………．．IIl 第一章绪论……………………………………………………………………………。

1 1．1引言………………………………………………………………………………1 1．2论文选题的背景及意义…………………………………………………………2 13相关领域的现状及发展…………………………………………………………2 1．4本文主要工作……………………………………………………………………3 第二章数字图像几何畸变校正综述…………………………………………………4 2．1数字图像几何变换校正原理……………………………………………………4 2．2几何畸变的传统校正方法……………………………………………………．．111 2．3本文采用的校正方法…………………………………………………………．．13 2．4本章小结………………………………………………………………………．1 第三章数字图像梯形畸变校正……………………………………………………．14 3．1畸变图像增强…………………………………………………………………．14 3．2畸变边缘检测…………………………………………………………………．18 3．3畸变轮廓提取…………………………………………………………………．24 3．4畸变图像校正…………………………………………………………………．29 3．5算法改进………………………………………………………………………．33 3．6本章小结………………………………………………………………………．37 第四章畸变校正方法在监视视频中的应用和改进………………………………。

39 4．1基于OpcnCV的监视视频梯形畸变校正……………………………………39 4。2校正结果分析…………………………………………………………………．42 4．3本章小结………………………………………………………………………．44 第五章总结与展望………………………………………………………………．．．。4sIⅡ数宁图像梯形畸变校正算法研究与视频实时校正应用 5．1全文总结……………………………………。………………………………．．45 5．2论文工作的局限性与展望……………………………………………………．45 参考文献………………………………………………………………………………．47 翌I[ 谢……………………………………………………………………………………………………………50 硕士在读期问发表的学术论文………………………………………………………．．5lIV第一章绪论第一章绪论 1．1引言数字图像处理(DigitalImageProcessing)又被称为计算机图像处理…。 它是指将图像信号转换成数字信号并利用计算机对其进行处理的过程，例如通过 计算机对图像进行增强、去除图像内的噪声、对畸变图像进行复原、分割图像、 提取图像特征等处理。

本论文研究的核心内容是图像复原。 图像复原，就是利用退化过程中的先验 知识恢复退化了的图像。图像复原与图像增强不同，虽然两者都是为了改善图像 质量，但后者不考虑图像退化的原因，仅仅是通过尝试不同方法来增强图像的视 觉效果，以保持目标物的原貌并满足人类视觉系统的需要：而前者需要分析判断 图像退化的机制，从而还原目标图像。图像复原可分为如下几步，首先根据退化现象的某种先验知识，对退化过程 建立合适的数学模型，然后沿着图像退化的逆过程通过数学方法推导出相应的复 原模型，最后根据恢复模型对图像进行复原。常用的数学退化模型有以下两种，一是点扩散函数，二是加性噪声。如果点 中f(x，Y)表示理想的、无退化的图像，g(x畸变矫正，y)是退化的图像。若图像受加性噪声 性位移不变系统(即退化性质与图像的位置无关)的退化模型。由于大多数退化 模型都可以用线性位移不变系统的退化模型来近似，因此可把许多线性系统中的 数学工具(如线性代数)用于求解图像复原模型，从而得到简易的公式和快速的 运算方法。当退化不太严重时，把线性位移不变系统的退化模型作为图像退化的 近似模型，可以很大程度上简化计算，且在很多应用中有较好的复原结果。

本课 题在研究中就是利用该模型进行图像复原的。数字图像梯形畸变校正算法研究与视频实时校正应用 1．2论文选题的背景及意义 1．2．1背景概述随着经济和科学技术的不断发展，计算机视觉系统正在交通、医疗、工业、 军事等领域广泛应用。日常生活中人们常常采用大视场短焦距镜头以此获取更多 关于目标物的图像信息。但在图像的拍摄、传输和输出过程中存在很多因素，这 些因素影响着获取到的图像质量，从而使图像达不到预想的输出标准心。。另外， 图像在获取过程中，由于拍摄角度、成像系统非线性等原因，成像后的图像与原 图像相比，会产生比例失调，甚至变形。这类图像退化现象称之为几何畸变。常 见的几何畸变有枕形畸变、桶形畸变、图像透视畸变等等。本课题主要研究图像 透视畸变的校正。在畸变校正方法中畸变矫正，使用光学方法会产生一个复杂的光学系统，该系统设计 难度高，而且对制造工艺有很高的要求。若利用数字视频处理技术进行畸变校正， 不仅可以避免上述问题，还可有效改善图像的畸变失真。本课题紧紧结合图像及 视频畸变问题，迸行数字校正技术研究。 1．2．2课题研究意义图像畸变不利于我们研究和分析图像。若畸变出现在监控系统中，则会不利 于监视，不利于发现或判断异常情况。

因此，针对数字图像畸变校正问题的研究 有着非常重要的意义。虽然本课题是以特定的相机和摄像机为研究对象来分析、 解决问题，但数字摄像技术的基础和数字摄像设备的成像原理都是一样的。所以 只要找到一种方法能有效解决几何畸变问题，那么不仅对一般的数字相机、摄像 机有用，对类似装置，例如监控系统、机器视觉系统等都具有很高的利用价值。 1．3相关领域的现状与发展在国外学术界图像校正于1980年逐渐流行起来，许多算法也相继被提出吲， 该领域代表人物Faig采用非线性优化技术开始了图像畸变校正的研究Ⅲ。我国是 20世纪90年代才开始从事这方面的研究。目前，国内外学者已经取得了一定的研 究成果，提出了一些有代表性的校正方法。2第一章绪论在国外研究领域，TSai提出了一种径向畸变模型，该模型阐述的是二维图像 校正方法。。。W．E．Smith则是利用一个点阵图像做模板，根据模板上黑点中心在畸 变图像上的位置，拟合出畸变图像与理想图像间的对应关系，再用这种对应关系 实现畸变图像的校正。。。J．weng通过菱形模板点阵的对应关系校正内窥镜图像的o 畸变‘7’83Hideaki深入研究圆对称的畸变校正模型，提出栅格状的校正模板嘲。

YoshihikNomura则利用平行栅的图像，寻求畸变图像与理想图像间的关系¨…。而在国内研究领域，代表人物有史泽林、廖士中、高培焕、贺俊吉、张广军、 丰文义、刘斌等人，主要研究成果有：基于BP神经网络的畸变校正方法““、利 用空间坐标的多项式变换技术来对畸变图像进行几何校正u“、基于交比不变性的 镜头畸变参数标定方法‘131以及基于独立参数的方法n43等。 1．4本文主要工作本课题从研究梯形畸变的数字图像出发，找出一种有效的图像处理方法来校 正图像的梯形畸变，并根据实际需要对此方法进行改进以适用于对视频梯形畸变 的实时校正。第一章为绪论部分，主要介绍了数字图像的畸变现象以及其研究背景、研究 意义和相关领域的研究现状及发展。第二章给出了引起几何畸变的原因及其类型，从空间变换和灰度插值两个方 面叙述了畸变图像的数字校正原理，同时提出了本文所用的校正方法。第三章为数字图像的梯形畸变校正，其主要步骤包括：使用直方图均衡化对 图像进行增强；选用sobel算子进行垂直方向边缘检测；利用Radon变换来进行 轮廓提取以及利用畸变校正参数矩阵校正图像。第四章是将研究得到的梯形畸变校正方法应用到监视视频中，对畸变视频进 析实验结果对校正方法进行了改进。

第五章全面总结本文的工作，根据当前研究的局限性对今后工作中需要努力 的方面进行展望。第二章数字图像几何畸变校丁F综述第二章数字图像几何畸变校正综述 2．1数字图像几何变换校正原理几何变换就是在一幅图像上修改图像像素问的空间联系。几何变换有以下两 个步骤：一是空间变换，二是灰度插值。空间变换是通过标准图像与畸变图像坐 标问的变换参数模型，对发生位移的畸变图像坐标进行修正；灰度插值就是重新 确定像素在新坐标上的灰度值，这是因为经过坐标变换后，有些像素被挤压在一 起，而有些又被分散开，使校正后的像素有可能不落在离散的坐标点上，因此需 要重新确定这些像素的灰度值，该过程如图2．1所示。确定输出图像输出(标准图像)图像——●的范围图2．1 几何校正处理过程 2．1．1 空间变换空间变换的关键在于建立原始畸变图像与标准图像间所有像素坐标的映射关 系‘15I，(如图2．2所示)。XUy畸变图像标准图像图2．2空间变换过程这里畸变图像与标准图像像素点间的空间关系可以用数学方法进行描述，即 可表示为：4数字闰像梯形畸变校正算法研究与视频实时校正应用k，y】=防@，v)，r(u，v)】(2．1) 或k，v】=眇(暑y)，V(x，J，)】(2．2) 其中k，y】表示畸变像素坐标，In，v】表示标准像素坐标。

X、Y、U、V为两图像间像 素坐标的几何对应关系。其中u、y将畸变图像映射到标准图像，称为前向映射 (Forward mappjng)。因此对于空间变换会有两种实现方法：一是直接法，即利用前向映射 直接计算畸变图像到标准图像的坐标变换：二是阗接法，即利用逆向映射进行坐 标变换(如图2．3所示)。一输入图像输出图像图2-3直接与间接法坐标变换应用前向映射时许多畸变像素可能会映射到标准图像的边界之外，因此会浪 费许多计算量。该方法在灰度插值过程中，常会出现标准像素的灰度值可能要由 许多畸变像素的灰度值来决定，同样会耗费大量的计算。因此该方法不适用于对 畸变图像的快速校正。间接法在实践中比直接法使用的频率高得多，它与直接法最大的不同就是它 不是从畸变图像出发，而是利用逆向映射将标准像素逐个地映射到畸变图像中， 以便确定其灰度值。也就是根据预先给定好的标准图像中的各像元点坐标，按公 式2．2求出未经校正的畸变图像上的该点所对应的坐标。这样就会减少对标准像素 进行灰度插值所产生的计算量。间接法是逐像素、逐行地产出标准图像，每个标 准像素的灰度值由参与的畸变像素的插值确定。空间变换是图像几何畸变校正最重要的一步。

实际上，对畸变图像像素的空第二章数字图像几何畸变校正综述 I司变换，就是对一幅退化图像的像素坐标进行恢复。下面通过畸变点与校正点的 坐标变换来说明畸变校正的原理n61。设几何畸变图像上的某一点的坐标为(x,y)，该点在标准图像上的对应点坐标 为G’，Y’)，两坐标之间存在着一个变换关系r，可表示为：G’，Y7)=丁盼，y)】(2—3) 上述变换可用多项式来近似：行刀一，∑aijxuYi='Oj=O(2_4)疗n-I∑∑～∥YJi--ojo 其中a”bii是待定系数，门为多项式次数。将一些己知标准像素点和畸变点的坐标 代入上式，计算出多项式的系数，得到的变换关系可以作为恢复其它畸变点的变 换基础。目前常用的定义空间变换的方法有两种。一种是假定图像的几何变换是线性 的，这样只需在畸变图像中寻找三个像素点的坐标以及其在标准图像中的对应坐 标，解出公式2．5中的6个系数，并把该公式应用于整个畸变图像的每个像素，从 而实现几何校正。另一种是所要处理的图像畸变是双线性几何畸变，则需知道畸 变图像中的四个像素点坐标，以及在标准图像中对应的像素点坐标，将其代入公 式2．6解出其8个系数，再将得到的变换关系应用于整幅畸变图像。

Xel=甜1+砂1+cYj=dxl+eyl+／Y’2=dx2+ey2+／arCx'3=ax3+by3Y'3=dx3+eY3+f6数字图像梯形畸变校正算法研究与视频实时校正应用x'1=axI+byl+C幸zl幸y1+矗Y't=exl+fyi-I-g*xI*Yl-I-h2*Y2+dX'2=tlX2+by2-t-C*Xy722蹦2+痧2+g奉xx'3=ax3+by3-l-C幸x3奉y3+dy'3=ex3+fy34-g}工3}y3+办X14=ax4+by4-I-c幸工4幸y4+dy’4=ex4+痧4+g奉x4*Y4+h 其中Gf，yf)是畸变图像上点的坐标，在标准图像上对应点的坐标为G：，y：)， 口，b，C，d，e，f，g，h均为待定系数。由此不难看出，空间变换的关键就是求未知 参数，而控制点坐标的精确提取则是提高校正精度的关键。 2．1．2灰度插值对每一个标准图像的像素点坐标b’，Y’)进行空间变换后，得到了其在畸变图 像上的对应坐标G，y)。由于待处理图像是数字图像，其像素灰度值的确定只有在 像素点坐标为整数时才有意义，而上述空间变换方法所得到的G，J，)的值可能不是 整数，因而不能通过直接赋值的方法确定灰度值。

若落在畸变图像的像素点上， 则标准图像G’，y，)点的灰度值就是畸变图像相应点的灰度值；若坐标没有落在畸 变图像的像素点上，就需要通过临近点像素值的插值运算来确定该点灰度值，这 就是灰度插值。常用的灰度插值方法有：最近邻法、双线性插值法、立方卷积法。 (1)最近邻法最邻近法又被称作是零阶内插。其原理就是将变换后坐标位置的最邻近像素 点的灰度值作为该点的灰度值，是最简单的灰度级插值，如图2．4所示。髦冈受爰、-Li／／—、(x’、、 ≮】【， y) l，y，／‘●：●＼／‘ ＼l 邻点／(未多，晦摄J＼ ，／／灰震最t值图2．4基于最近邻点的灰度级插值第二章数：}图像几何畸变校正综述该方法的优点是原有图像的像元值能得到最大程度的保存，运算简单，速度 快，工作量小，效果尚佳，但校正后的图像边界可能出现锯齿状，即存在灰度不 连续性。 (2)双线性插值法双线性插值算法又叫一阶插值法，是最近邻法的一种改进算法。该算法需要 经过三次插值才能获得最终结果。其原理是插值像素的灰度值由离其最近的四个 点的灰度值加权求得…1，如图2．5所示。蜃始圈t爿f‘i。j+1)f(i。j)7-] 厂]I_jI．．一I始田t行r——1f{i。

l，j)I幕lf(i+t．j+1)I _J1LI．一．．一图2．5双线性插值算法原理不蕙图若经过空间变换后得到坐标为O+p，_，+9)，其中f和J均为非负整数，P和g 是【0，1】区间内的浮点数，则这个待求像素的灰度值厂(f+p，歹+g)可由原图像中坐 式2．7。f。，7、＼二。，，、 ，、，、+p(1-q)旷【f，_，+1)+p矿【f+1，／+1)t这有一种特殊情况就是变换后的坐标中有一介为整数值，即P=0或g=0 时这一点的灰度值可由下式来确定：(2·8)f(i+p，歹+留)=(1一q)f(i，歹)+矿(j+1，J)或(2—9)f(i+p，j7+9)=(1一p)／O，S)+pf(i，j+1)8数字图像梯形畸变校正算法研究与视频实时校正应用双线性插值得到的图像本身比较平滑，较好地抑制了米用最近邻插值法带来 的“小锯齿”弊端，精确度高，计算量较大。由于双线性插值法具有平均化的滤 波效果，会使高频分量受到一定得损坏，所以用这个算法在一定程度上会使图像 轮廓变得模糊。 (3)立方卷积插值法作为对双线性插值法的改进，立方卷积法利用了待求像素点周围更大邻域内 像素的灰度值作三次插值n81。此法利用了公式2．10所示的三次多项式s∞)来逼近 理论上的最佳插值函数型。XI 1—2衍+W，Ico|