Structure from motion
Structure from motion o SfM (in italiano: Struttura dal movimento) è una tecnica di range imaging della computer vision e della percezione visiva, con cui il processo di stima di strutture tridimensionali da sequenze di immagini bidimensional che può essere accoppiato con segnali di movimento locali. Nella visione biologica la SfM fa riferimento al fenomeno per cui gli esseri umani ( e altre creature viventi) posso ricostruire strutture 3D da un campo in movimento in proiezione 2D (retinale) di un oggetto o una scena in movimento.

Ottenere informazione 3D da immagini 2D
Gli esseri umani ricevono molte informazioni sulla struttura tridimensionale nel loro ambiente muovendosi attraverso. Quando l'osservatore si muove e gli oggetti intorno a lui si muovono, l'informazione è ottenuta da immagini nel tempo[1]. Trovare strutture dal movimento presenti problemi simili a trovare strutture dalla visione stereoscopica. In entrambi i casi, la corrispondenza tra immagini e la ricostruzione di ogetti 3D ha bisogno di essere trovata.
Per trovare corrispondenza tra immagini, le caratteristiche (feature) come i punti d'angolo (lati con gradienti in direzioni multiple) sono tracciate da un'immagine alla prossima. Una delle più rilevatori di caratteristiche usati è il SIFT (Scale-invariant feature transform). Usa come caratteristiche il massimo di una piramide di differenza di gaussiane (DOG) Il primo passo nella SIFT è di trovare una direzione di gradiente dominante. Per renderla invariante alla rotazione, il descrittore è ruotato per adattarne l'orientamento[2]. Un altro rilevatore di caratteristiche molto comune è il SURF (Speeded Up Robust Features). Nel SURF, la DOG è sostituita da un rilevatore hessiano di blob basato su matrici[3]. Inoltre, invece di valutare il gradiente degli istogrammi, SURF calcola le somme dei componenti del gradiente e le somme dei loro valori assoluti[4]. Le caratteristiche rilevate da tutte le immagini saranno poi incrociate. Uno degli algoritmi di matching (per incrociare i dati) che traccia le caratteristiche da un'immagine all'altra è il tracciatore Lukas-Kanade[5].
SfM per l'analisi di struttura del patrimonio culturale
Note
- ^ Linda G. Shapiro, George C. Stockman, Computer Vision, Prentice Hall, 2001, ISBN 0-13-030796-3.
- ^ D. G. Lowe, Distinctive image features from scale-invariant keypoints, in International Journal of Computer Vision, 2004.
- ^ H. Bay, T. Tuytelaars, and L. Van Gool, Surf: Speeded up robust features, in 9th European Conference on Computer Vision, 2006.
- ^ K. Häming and G. Peters, The structure-from-motion reconstruction pipeline – a survey with focus on short image sequences, in Kybernetika, 2010.
- ^ B. D. Lucas and T. Kanade, An iterative image registration technique with an application to stereo vision, in IJCAI81.
Voci correlate
Bibliografia
- Richard Hartley and Andrew Zisserman, Multiple View Geometry in Computer Vision, Cambridge University Press, 2003, ISBN 0-521-54051-8.
- Olivier Faugeras and Quang-Tuan Luong and Theodore Papadopoulo, The Geometry of Multiple Images, MIT Press, 2001, ISBN 0-262-06220-8.
- Yi Ma, S. Shankar Sastry, Jana Kosecka, Stefano Soatto, Jana Kosecka, An Invitation to 3-D Vision: From Images to Geometric Models, Interdisciplinary Applied Mathematics Series, #26, Springer-Verlag New York, LLC, novembre 2003, ISBN 0-387-00893-4.
Collegamenti esterni
- Structure from motion in exporttocanoma.blogspot.it, su exporttocanoma.blogspot.it.
Software Structure from Motion
Soluzioni Open source
C++
- Bundler - Structure from Motion for Unordered Photo Collections by Noah Snavely
- openMVG An Open Multiple View Geometry library + Structure from Motion demonstrators
- Libmv - A Structure from Motion library, su developer.blender.org.
- Theia: A Fast and scalable structure-from-motion library released under the BSD license
- MicMac, a SFM open-source code released by the Institut national de l'information géographique et forestière
- LSD-SLAM: Large-Scale Direct Monocular SLAM in real-time, by Jakob Engel
- MVE - The Multi-View Environment by Simon Fuhrmann, TU Darmstadt.
- ceres-solver for general non-linear least squares. Has features for bundle adjustment. Previously used by Google internally for google maps. Released to the public in 2012.
- SBA for generic bundle adjustment by Manolis Lourakis.
- NuxSFM NuxSFM 2.0 pacman X86_64 build scripts.
Matlab
- Structure from Motion toolbox for Matlab by Vincent Rabaud
- Matlab Functions for Multiple View Geometry by Andrew Zissermann
- Structure and Motion Toolkit by Phil Torr
- Matlab Code for Non-Rigid Structure from Motion by Lorenzo Torresani
Python
- Python Photogrammetry Toolbox GUI - an open-source SFM GUI (Easy SfM and dense point cloud estimation launcher) by Pierre Moulon and Arc-Team
Altri software
- Smart3DCapture, a complete photogrammetry solution by Acute3D.
- 3DF Samantha - Command line structure from Motion pipeline for Windows, by 3Dflow srl. Free for non-commercial purposes.
- Automatic Camera Tracking System (ACTS), a structure-from-motion with dense depth recovery system for Microsoft Windows, by Vision Group of State Key Lab of CAD&CG, Zhejiang University.
- Large-Scale Automatic Camera Tracking System (LS-ACTS), a large-scale structure-from-motion system for Microsoft Windows, by Vision Group of State Key Lab of CAD&CG, Zhejiang University.
- VisualSFM: A Visual Structure from Motion System, by Changchang Wu
- SFMToolkit a complete photogrammetry solution based on open-source software, su visual-experiments.com.
- MountainsMap SEM software for Scanning Electron Microscopes. 3D is obtained by tilting the specimen + photogrammetry.
- Voodoo Camera Tracker, non-commercial tool for the integration of virtual and real scenes.
Original site, archived: Laboratorium für Informationstechnologie, University of Hannover - MetaIO Toolbox SfM for augmented reality on mobile devices.
- TacitView by 2d3 Sensing
- Catena Python Abstract Workflow Framework with SfM components.
- CMPMVS Multi-View Reconstruction Software