Elmélet


Kamera kalibráció

Amennyiben ismerjük a kameramátrixot, akkor egy tetszőleges pont képét elő tudjuk állítani é, illetve bármely képpontot visszais tudunk vetíteni. Tehát a kameramátrix meghatározása igen fontos lépés, ezt a folyamatot nevezzük kamera kalibrációnak. A megfelelő kalibráció előállításához szükségünk van egy kalibrációs mintára, mely segítségével előt tudjuk állítani a 3Dvalós pontok és a 2D képeik közötti pontmegfeleltetéseket. Leggyakrabban sakktábla-szerű kalibrációs mintákat haszálunk, mivel könyen azonosítható pontokat, sarokpontokat keresünk. A feladat tehát egy vagy több kalibróciós mintárülészült kép alapján a kamera belső és külső paramétereinek meghatározása.

Epipoláris geometria

Geometriai kapcsolat két kamera képe között. Adott egy 3D X pont és két projektív kamera. Az X pont, az x és x' képei valamint a C és C' kaeraközéppontok által meghatározott síkot epipoláris síknak nevezzük. A két kameraközéppontot összekötőegyenes a bázis egyenes, mely szintén illeszkedik az epipoláris síkra. A két kamera epipoláris skjai azon síkok halmaza lesz, amelyek illeszkedneka bázis egyenesre, lényegében akörül forgatva a már ismert epipoláris síkot, megkapju a többi epipoláris síkot is. Az epipoláris sík metszete a képsíkokkal egy-egy egyenes lesz, ezeket nevezzük epipoláris egyeneseknek. Tehát l' epipoláris egyenes nem más, mint a bal oldali kamera x-hez tartozó vettősugarának képe a job oldali kamerában, s fordítva. Epipoláris geometria

Fundamentális mátrix

A fundamentális mátrix a legalapvetőbb epipolár geometriai összefüggés algebrai megfogalmazása két kalibrálatlan kamera képe között. A fundamentális mátrixot viszonylag egyszerűen, néhány pontmegfeleltetés segítségével meghatározhatjuk, és abból azután megkaphatjuk a két kamera kanonikus alakját, sőt a két képből projektív rekonstrukciót is előtudunk állítani.

SIFT(Scale Invariant Feature Transform)

Lényege, hogy minden képből leírókat, úgynevezett kulcspontokat nyer ki, különböző matematikai módszerek segítségével. Az algoritmus olyan módon készíti el ezeket a leírókat, hogy a kép különböző torzításai (nagyítás-kicsinyítés, nyújtás, elforgatás) esetén is nagy eséllyel megtalálhatóak legyenek a módosított képen. Ezen kulcspontok mindegyike egy 128 dimenziós vektor, és egy kép akár több ezer ilyen vektort is tartalmazhat. A SIFT egy igen jó hatásfokú megoldás képi egyezések keresésére, ám számítási igénye nagy/bonyolult képek esetén nagy lehet, amit optimalizálásokkal lehet javítani. Megemlítendő még, hogy a SIFT algoritmus csak a leírók generálását, annak matematikai módszereit definiálja.
Az ASIFT (Affine-SIFT) teljesen affin invariáns, ami tovább növelheti a leírók számát, s ezzel az algoritmus hatékonyságát. ASIFT