Reconocimiento de carasLeccion 11.3

Dr. Pablo Alvarado Moya

MP6127 Vision por ComputadoraPrograma de Maestrıa en Electronica

Enfasis en Procesamiento Digital de SenalesEscuela de Ingenierıa Electronica

Tecnologico de Costa Rica

II Cuatrimestre 2019

P. Alvarado Reconocimiento de caras 1 / 1

Contenido

P. Alvarado Reconocimiento de caras 2 / 1

Biometrıa

Vision por computador tiene gama de aplicaciones biometricas

1 Reconocimiento de huellas dactilares2 Reconocimiento de patron de iris3 Reconocimiento de patron de venas4 Reconocimiento de “paso” (gait)5 Reconocimiento de caras

P. Alvarado Reconocimiento de caras 3 / 1

Reconocimiento de caras

Reconocimiento de caras sigue siendo area activa deinvestigacion

Avances ya permiten su incorporacion en productoscomerciales (facebook, Picasa, Android, . . .)

Se usa en

Interaccion Humano-MaquinaVerificacion de identidadClave de ingresoMonitorizacion medica

Se imponen restricciones de escena (iluminacion, pose) paraalcanzar buenos resultados

P. Alvarado Reconocimiento de caras 4 / 1

Eigenfaces

P. Alvarado Reconocimiento de caras 5 / 1

Eigenfaces

Reduccion de dimensiones con ACP

Considera cada imagen como vector

Por ejemplo: 20× 20→ 400 dimensiones

MediaLab, MIT

P. Alvarado Reconocimiento de caras 6 / 1

Sıntesis y analisis

La cara x se sintetiza con

x = µ +M−1∑i=0

aiui = µ + Ua

Subespacio M-dimensional engendrado por ui(espacio de caras o face space)

Vectores ui : Eigenvectores de matriz de covarianza Σ

Σ =1

N

N−1∑j=0

(xj − µ)(xj − µ)T

Por ortonormalidad del conjunto de eigenvectores se cumple:

ai = (x− µ) · ui a = UT (x− µ)

P. Alvarado Reconocimiento de caras 7 / 1

DIFS contra DFFS (1)

Truncamiento en la aproximacion

Distancia en el espacio caracterıstico(DIFS, Distance IN Feature Space)

Distancia al espacio caracterıstico(DFFS, Distance FROM Feature Space)

µ

x

x

DFFSD

IFS

u1

u2

P. Alvarado Reconocimiento de caras 8 / 1

DIFS contra DFFS (2)

DIFS = ‖x− µ‖ =

√√√√M−1∑i=0

a2i

DFFS = ‖x− x‖

µ

x

x

DFFSD

IFS

u1

u2

P. Alvarado Reconocimiento de caras 9 / 1

¿Como reconocer? (1)

Se requieren uno o varios prototipos para cada persona

Resultado es identificador de prototipo mas cercano a patronde entrada

Necesario definir distancia entre caras.

P. Alvarado Reconocimiento de caras 10 / 1

¿Como reconocer? (2)

Distancia simple

DIFS(x,y) = ‖x− y‖ =

√√√√M−1∑i=0

(ai − bi )2

con bi = (y − µ) · uiEsta distancia ignora forma de distribucion gaussiana

P. Alvarado Reconocimiento de caras 11 / 1

¿Como reconocer? (3)

Preferible usar distancia de Mahalanobis:

DIFS ′(x,y) = ‖x− y‖Σ =

√√√√M−1∑i=0

(ai − bi )2

λ2i

Puesto que ai = (x− µ) · ui entonces puede precalcularseui′ = ui/λi

A ese proceso se le denomina “emblanquecimiento”(whitening)

P. Alvarado Reconocimiento de caras 12 / 1

Discriminantes de Fischer

Proceso basado en ACP no necesariamente favorece alreconocimiento

Otros autores proponen el uso de Discriminantes de Fischer(tambien analisis de discriminantes lineales)

Datos ACP ADL

u1

u1u2u2

xx x

yy y

P. Alvarado Reconocimiento de caras 13 / 1

Varianza intra-clase

Belhumeur, Hespanha y Kriegman, 1997

P. Alvarado Reconocimiento de caras 14 / 1

Analisis de discriminantes lineales con caras

-2

-1

0

1

2

-3 -2 -1 0 1 2 3

Szeliski, 2011

P. Alvarado Reconocimiento de caras 15 / 1

Calculo del ADL (1)

La matriz de dispersion intra-clase es

SW =K−1∑k=0

Sk =K−1∑k=0

∑i∈Ck

(xi − µk

)(xi − µk

)T

conCk el conjunto de patrones de la clase k ,µ

kla media de dichos patrones

Sk la matriz de dispersion de esa clase yK el numero de clases

Matriz de covarianza y de dispersion difieren en factor Nk

Matriz de dispersion inter-clase es

SB =K−1∑k=0

Nk(µk− µ)(µ

k− µ)T

con Nk el numero de elementos de la clase k y µ la mediatotal

P. Alvarado Reconocimiento de caras 16 / 1

Direccion discriminante

La direccion que maximiza la dispersion inter-clase y minimizala dispersion intra-clase es

u∗ = arg maxu

uTSBu

uTSWu

La solucion cumple

SBu = λSWu ⇒ S−1W SBu = λu

En reconocimiento se usa direccion u∗ para decision conmayor λ

Mas discriminantes ortogonales se obtienen con los otroseigenvectores

El rango de las matrices es deficiente, ası que la reduccion eslimitada

P. Alvarado Reconocimiento de caras 17 / 1

Modelos Activos de Apariencia

P. Alvarado Reconocimiento de caras 18 / 1

Modelos Activos de Apariencia

Propuesta de Cootes, Edwards y Taylor, 2001(Active Appearance Models, AAM)

Metodo “combina” los MAF con Eigenfaces

Cootes, Edwards y Taylor, 2001

Analisis de textura se normaliza a forma canonica antes deanalisis

P. Alvarado Reconocimiento de caras 19 / 1

Modelos lineales

En MAA textura y forma siguen modelos lineales:

s = µs

+ Usa

t = µt

+ Uta

con Us y Ut la matriz de eigenvectores enblanquecidos

Al igual que en MAF, s se alinea a una posicion y rotacioncanonica (analisis de Procrusto)

La textura se normaliza con offset y escala para atenuarefectos de iluminacion

Mayor dificultad es ajustar modelo a imagen (decenas depropuestas)

Reconocimiento se realiza usando a como descriptor

P. Alvarado Reconocimiento de caras 20 / 1

Enlaces

Face Recognition Web Site

Leccion de Prof. Mubarak Shah

P. Alvarado Reconocimiento de caras 21 / 1

Resumen

P. Alvarado Reconocimiento de caras 22 / 1

Este documento ha sido elaborado con software libre incluyendo LATEX, Beamer, GNUPlot, GNU/Octave, XFig,Inkscape, LTI-Lib-2, GNU-Make, Kazam, Xournal y Subversion en GNU/Linux

Este trabajo se encuentra bajo una Licencia Creative Commons Atribucion-NoComercial-LicenciarIgual 3.0 Unpor-ted. Para ver una copia de esta Licencia, visite http://creativecommons.org/licenses/by-nc-sa/3.0/ o envıeuna carta a Creative Commons, 444 Castro Street, Suite 900, Mountain View, California, 94041, USA.

© 2013 Pablo Alvarado-Moya Escuela de Ingenierıa Electronica Instituto Tecnologico de Costa Rica

P. Alvarado Reconocimiento de caras 23 / 1