Tensor trifocal - Trifocal tensor

Na visão computacional , o tensor trifocal (também tritensor ) é um arranjo 3 × 3 × 3 de números (ou seja, um tensor ) que incorpora todas as relações geométricas projetivas entre três visualizações. Relaciona as coordenadas dos pontos ou linhas correspondentes em três vistas, sendo independente da estrutura da cena e dependendo apenas do movimento relativo (ou seja, pose ) entre as três vistas e seus parâmetros de calibração intrínsecos. Portanto, o tensor trifocal pode ser considerado como a generalização da matriz fundamental em três vistas. Nota-se que apesar do tensor ser composto por 27 elementos, apenas 18 deles são realmente independentes.

Existe também o chamado tensor trifocal calibrado , que relaciona as coordenadas de pontos e retas em três vistas dados seus parâmetros intrínsecos e codifica a pose relativa das câmeras até a escala global, totalizando 11 elementos independentes ou graus de liberdade. Os graus de liberdade reduzidos permitem que menos correspondências se ajustem ao modelo, ao custo de maior não linearidade.

Fatias de correlação

O tensor também pode ser visto como uma coleção de três matrizes de classificação 2 3 x 3 conhecidas como suas fatias de correlação . Assumindo que as matrizes de projeção de três vistas são , e , as fatias de correlação do tensor correspondente podem ser expressas na forma fechada como , onde estão, respectivamente, as i ^ésimas colunas das matrizes de câmeras. Na prática, entretanto, o tensor é estimado a partir de correspondências de pontos e linhas nas três visualizações. ${\ displaystyle {\ mathbf {T}} _ {1}, \; {\ mathbf {T}} _ {2}, \; {\ mathbf {T}} _ {3}}$${\ displaystyle {\ mathbf {P}} = [{\ mathbf {I}} \; | \; {\ mathbf {0}}]}$${\ displaystyle {\ mathbf {P}} '= [{\ mathbf {A}} \; | \; {\ mathbf {a}} _ {4}]}$${\ displaystyle {\ mathbf {P} ''} = [{\ mathbf {B}} \; | \; {\ mathbf {b}} _ {4}]}$${\ displaystyle {\ mathbf {T}} _ {i} = {\ mathbf {a}} _ {i} {\ mathbf {b}} _ {4} ^ {t} - {\ mathbf {a}} _ {4} {\ mathbf {b}} _ {i} ^ {t}, \; i = 1 \ ldots 3}$${\ displaystyle {\ mathbf {a}} _ {i}, \; {\ mathbf {b}} _ {i}}$

Restrições trilineares

Uma das propriedades mais importantes do tensor trifocal é que ele dá origem a relações lineares entre linhas e pontos em três imagens. Mais especificamente, para trigêmeos de pontos correspondentes e quaisquer linhas correspondentes através deles, as seguintes restrições trilineares são válidas : ${\ displaystyle {\ mathbf {x}} \; \ leftrightarrow \; {\ mathbf {x}} '\; \ leftrightarrow \; {\ mathbf {x}}' '}$${\ displaystyle {\ mathbf {l}} \; \ leftrightarrow \; {\ mathbf {l}} '\; \ leftrightarrow \; {\ mathbf {l}}' '}$

${\ displaystyle ({\ mathbf {l}} ^ {\ prime t} \ left [{\ mathbf {T}} _ {1}, \; {\ mathbf {T}} _ {2}, \; {\ mathbf {T}} _ {3} \ right] {\ mathbf {l}} '') [{\ mathbf {l}}] _ {\ times} = {\ mathbf {0}} ^ {t}}$

${\ displaystyle {\ mathbf {l}} ^ {\ prime t} \ left (\ sum _ {i} x_ {i} {\ mathbf {T}} _ {i} \ right) {\ mathbf {l}} '' = 0}$

${\ displaystyle {\ mathbf {l}} ^ {\ prime t} \ left (\ sum _ {i} x_ {i} {\ mathbf {T}} _ {i} \ right) [{\ mathbf {x} } ''] _ {\ times} = {\ mathbf {0}} ^ {t}}$

${\ displaystyle [{\ mathbf {x}} '] _ {\ times} \ left (\ sum _ {i} x_ {i} {\ mathbf {T}} _ {i} \ right) {\ mathbf {l }} '' = {\ mathbf {0}}}$

${\ displaystyle [{\ mathbf {x}} '] _ {\ times} \ left (\ sum _ {i} x_ {i} {\ mathbf {T}} _ {i} \ right) [{\ mathbf { x}} ''] _ {\ times} = {\ mathbf {0}} _ {3 \ times 3}}$

onde denota a matriz de produto vetorial com simetria enviesada . ${\ displaystyle [\ cdot] _ {\ times}}$

Transferir

Dado o tensor trifocal de três vistas e um par de pontos combinados em duas vistas, é possível determinar a localização do ponto na terceira vista sem qualquer informação adicional. Isso é conhecido como transferência de pontos e um resultado semelhante é válido para linhas e cônicas. Para curvas gerais, a transferência pode ser realizada por meio de um modelo de curva diferencial local de círculos osculantes (ou seja, curvatura), que podem então ser transferidos como cônicas. A transferência de modelos de terceira ordem refletindo a torção espacial usando tensores trifocais calibrados foi estudada, mas permanece um problema aberto para tensores trifocais não calibrados.

Estimativa

Não calibrado

O caso clássico são correspondências de 6 pontos, dando 3 soluções.

O caso de estimar o tensor trifocal a partir de correspondências de 9 linhas foi resolvido apenas recentemente.

Calibrado

Estimar o tensor trifocal calibrado foi citado como notoriamente difícil e requer 4 correspondências de pontos.

O caso de usar apenas três correspondências de pontos foi recentemente resolvido, onde os pontos são atribuídos com direções tangentes ou linhas incidentes; com apenas dois dos pontos tendo linhas incidentes, este é um problema mínimo de grau 312 (então pode haver no máximo 312 soluções) e é relevante para o caso de curvas gerais (cujos pontos têm tangentes), ou pontos característicos com direções atribuídas (como direções SIFT). A mesma técnica resolveu o caso misto de correspondência de três pontos e correspondência de uma linha, que também se mostrou mínima com o grau 216.

Referências

Leitura adicional

• Hartley, Richard I. (1997). "Linhas e pontos em três vistas e o tensor trifocal". International Journal of Computer Vision . 22 (2): 125-140. doi : 10.1023 / A: 1007936012022 .
• Torr, PHS; Zisserman, A. (1997). "Parametrização e computação robusta do tensor trifocal". Computação de imagem e visão . 15 (8): 591–607. CiteSeerX  10.1.1.41.3172 . doi : 10.1016 / S0262-8856 (97) 00010-3 .

links externos

• Visualização da geometria trifocal (originalmente por Sylvain Bougnoux do INRIA Robotvis, requer Java )

Algoritmos

• Implementação em Matlab da estimativa de tensor trifocal não calibrado e comparação com matrizes fundamentais de pares
• Implementação C ++ da estimativa calibrada do tensor trifocal usando o código de continuação de homotopia otimizado. Atualmente inclui casos de três pontos correspondentes com linhas nesses pontos (como em posições e orientações de recursos, ou pontos de curva com tangentes), e também para três pontos correspondentes e uma correspondência de linha.