Homography変換

はじめに

今回は、Affine変換とHomography変換について説明する。

Affine変換

2次元ベクトル $\vec{x}$ に対する次の変換を考える。

(1) $\begin{equation*} \vec{x}^{\;\prime}=A\vec{x}+\vec{b} \end{equation*}$

ここで

(2) $\begin{eqnarray*} \vec{x}^{\;\prime}&=& \begin{pmatrix} x^{\prime} \\ y^{\prime} \end{pmatrix}, \;\; \vec{x}= \begin{pmatrix} x \\ y \end{pmatrix},\;\; \vec{b}= \begin{pmatrix} b_1 \\ b_2 \end{pmatrix} \\ A&=& \begin{pmatrix} a_{11} &a_{12} \\ a_{21} &a_{22} \end{pmatrix} \end{eqnarray*}$

である。これらを代入して、成分で書き直すと

(3) $\begin{eqnarray*} x^{\prime}&=&a_{11}x+a_{12}y+b_1 \\ y^{\prime}&=&a_{21}x+a_{22}y+b_2 \end{eqnarray*}$

を得る。これは以下のように書き換えることができる。

(4) $\begin{equation*} \left( \begin{array}{c} x^{\prime}\\ y^{\prime} \end{array} \right) = \left( \begin{array}{ccc} a_{11} & a_{12}&b_1 \\ a_{21} & a_{22}&b_2 \end{array} \right) \left( \begin{array}{c} x \\ y \\ 1 \end{array} \right) \end{equation*}$

上の行列は6個のパラメータを持つ。これらを一意に決めるには既知の点の組み $(\vec{x},\vec{x}^{\;\prime})$ が3つあれば良い。これら3組みから決まる変換(1)をAffine変換と呼ぶ。ところで、式(4)は次式のように書くこともできる。

(5) $\begin{eqnarray*} \left( \begin{array}{c} X\\ Y\\ W \end{array} \right) &=& H \left( \begin{array}{c} x \\ y \\ 1 \end{array} \right)\\ H&=& \left( \begin{array}{ccc} a_{11} & a_{12}&b_1 \\ a_{21} & a_{22}&b_2 \\ 0 & 0 & 1 \end{array} \right) \\ x^{\;\prime}&=&\frac{X}{W}\\ y^{\;\prime}&=&\frac{Y}{W} \end{eqnarray*}$

これを同次座標表現と呼ぶ。考えている空間を1次元足した空間に拡張することで行列を正方行列とすることができ、式変形が容易になる。
式(5)で記述できる変換は以下の通りである。

回転：例えば、 $\theta$ 回転の変換は
(6) $\begin{equation*} H&=& \left( \begin{array}{ccc} \cos{\theta} & -\sin{\theta} & 0\\ \sin{\theta} & \cos{\theta} & 0\\ 0 & 0 & 1 \end{array} \right) \end{equation*}$

で実現できる。
縮小・拡大：例えば、 $x$ 軸方向に $s$ 倍、 $y$ 軸方向に $t$ 倍する変換は
(7) $\begin{equation*} H&=& \left( \begin{array}{ccc} s & 0 & 0\\ 0 & t & 0\\ 0 & 0 & 1 \end{array} \right) \end{equation*}$

で実現できる。
平行移動：例えば、 $x$ 軸方向に $a$ 、 $y$ 軸方向に $b$ だけ移動する変換は
(8) $\begin{equation*} H&=& \left( \begin{array}{ccc} 0 & 0 & a\\ 0 & 0 & b\\ 0 & 0 & 1 \end{array} \right) \end{equation*}$

で実現できる。
せん断：例えば、水平方向のせん断は
(9) $\begin{equation*} H&=& \left( \begin{array}{ccc} 1 & m & 0\\ 0 & 1 & 0\\ 0 & 0 & 1 \end{array} \right) \end{equation*}$

で実現できる。
反転：例えば、 $x$ 軸についての反転は
(10) $\begin{equation*} H&=& \left( \begin{array}{ccc} 1 & 0 & 0\\ 0 & -1 & 0\\ 0 & 0 & 1 \end{array} \right) \end{equation*}$

で実現できる。

これらを組み合わせた変換は、行列の掛け算をすれば良い。上の実例から分かる通り、平行な辺の組みは平行なまま変換されるのがAffine変換である。

Homography変換

変換(5)を拡張して

(11) $\begin{eqnarray*} \left( \begin{array}{c} X\\ Y\\ W \end{array} \right) &=& H \left( \begin{array}{c} x \\ y \\ 1 \end{array} \right)\\ H&=& \left( \begin{array}{ccc} a_{11} & a_{12}& a_{13} \\ a_{21} & a_{22}& a_{23} \\ a_{31} & a_{32}& a_{33} \end{array} \right) \\ x^{\;\prime}&=&\frac{X}{W}\\ y^{\;\prime}&=&\frac{Y}{W} \end{eqnarray*}$

を考える。パラメータの数は9である。ここで、行列の全要素に同じ数 $s$ をかけた変換を考える。このとき変換後のベクトルは

(12) $\begin{eqnarray*} x^{\;\prime}&=&\frac{sX}{sW}=\frac{X}{W}\\ y^{\;\prime}&=&\frac{sY}{sW}=\frac{Y}{W} \end{eqnarray*}$

となる。すなわち、式(11)の変換には定数倍だけの不定性がある。この不定性を取り除くため全要素を、例えば $a_{33}$ で割り、改めて成分を書き直す。

(13) $\begin{equation*} \left( \begin{array}{ccc} a_{11} & a_{12}& a_{13} \\ a_{21} & a_{22}& a_{23} \\ a_{31} & a_{32}& 1 \end{array} \right) \end{equation*}$

パラメータ数は8となるので、既知の点の組みが4つあれば上の行列を一意に決めることができる。変換(11)をHomography変換と呼ぶ。Homography変換は、Affine変換で実現できる全ての変換だけでなく、平行な辺の組みを平行でない辺の組みに変換することもできる。例えば

(14) $\begin{equation*} H&=& \left( \begin{array}{ccc} 1 & 0& 0 \\ 0 & 1/2& 0 \\ 0 & -1/2& 1 \end{array} \right) \end{equation*}$

は、(0,0),(1,0),(1,1),(0,1)を頂点とする長方形を、(0,0),(1,0),(1,2),(0,1)を頂点とする台形に変換することができる（下図参照）。

OpenCVのコード

OpenCVを用いたHomography変換のサンプルコードを以下に示す。

#include 
#include 
#include 
#include 

const std::string PATH = std::string("/Users/kumada/Documents/Orizuruブログ/homography/himawari.jpeg");


int main(int argc, const char * argv[]) {
    const cv::Mat src = cv::imread(PATH);
    const auto src_size = src.size();
    const auto width = src_size.width;
    const auto height = src_size.height;
    std::cout << "(width, height) = (" << width << ", " << height << ")" << std::endl;
    cv::Mat dst= cv::Mat::zeros(height + 5, width + 5, CV_8UC3);

    // 変換前の画像での座標
    const std::vector src_pt = {
        cv::Point2f(41, 4),
        cv::Point2f(187, 21),
        cv::Point2f(43, 216),
        cv::Point2f(189, 203)
    };

    // 変換後の画像での座標
    const std::vector dst_pt = {
        cv::Point2f(14, 4),
        cv::Point2f(14 + 198, 4),
        cv::Point2f(14, 4 + 217),
        cv::Point2f(14 + 198, 4 + 217)
    };

    // homography行列を計算
    const cv::Mat homography_matrix = getPerspectiveTransform(src_pt, dst_pt);

    // 行列を入力画像に演算
    warpPerspective(src, dst, homography_matrix, dst.size());

    cv::imshow("result", dst);
    cv::imwrite("/Users/kumada/Documents/Orizuruブログ/homography/out.jpg", dst);
    cv::waitKey();
    
    return 0;
}

#include

const std::string PATH = std::string("/Users/kumada/Documents/Orizuruブログ/homography/himawari.jpeg");

int main(int argc, const char * argv[]) {

const cv::Mat src = cv::imread(PATH);

const auto src_size = src.size();

const auto width = src_size.width;

const auto height = src_size.height;

std::cout << "(width, height) = (" << width << ", " << height << ")" << std::endl;

cv::Mat dst= cv::Mat::zeros(height + 5, width + 5, CV_8UC3);

// 変換前の画像での座標

const std::vector src_pt = {

cv::Point2f(41, 4),

cv::Point2f(187, 21),

cv::Point2f(43, 216),

cv::Point2f(189, 203)

};

// 変換後の画像での座標

const std::vector dst_pt = {

cv::Point2f(14, 4),

cv::Point2f(14 + 198, 4),

cv::Point2f(14, 4 + 217),

cv::Point2f(14 + 198, 4 + 217)

};

// homography行列を計算

const cv::Mat homography_matrix = getPerspectiveTransform(src_pt, dst_pt);

// 行列を入力画像に演算

warpPerspective(src, dst, homography_matrix, dst.size());

cv::imshow("result", dst);

cv::imwrite("/Users/kumada/Documents/Orizuruブログ/homography/out.jpg", dst);

cv::waitKey();

return 0;

}

適用結果は以下の通り。

左側の額縁の頂点①②③④が右側の額縁の頂点①②③④となるように変換した例である。

まとめ

今回は、Affine変換と、それを拡張したHomography変換を紹介した。ここでは、Homography変換のOpenCVによる実装例だけを示したが、Affine変換も同様に実装できる。OpenCVを使えば、メジャーなアルゴリズムを理論的背景を知ることなく使うことができるが、時には立ち止まって背景を見ることも必要である。

Kumada Seiya

仕事であろうとなかろうと勉強し続ける、その結果”中身”を知ったエンジニアになれる

こんな社員がいたら要注意！組織を破滅へと導く驚きのマニュアルが実在するんです

あのイチローも！？自分の性格をしっかり理解していますか？

Homography変換

はじめに

Affine変換

Homography変換

OpenCVのコード

まとめ

Kumada Seiya

最近の記事

顔認証（DeepFace vs GPT4o）

時系列解析再訪

πの新しい公式

中心極限定理

DBSCANを用いたクラスタリング

レイアウト解析

混合ガウスモデルと最尤推定法

K-meansクラスタリング

補間と画像処理

点群からの法線の導出

OpenCVのcv::Matに関する小ネタ集

Level Set法

Google Vision APIでOCR

アーカイブ

カテゴリー