45
Aprendizaje Supervisado Máquinas Vectoriales de Soporte
Aprendizaje
Supervisado
Máquinas Vectoriales
de Soporte
Tipos de Variables
Modelo general de los métodos de Clasificación
|Id Reembolso Estado Civil
Ingresos Anuales Fraude
1 Sí Soltero 125K No
2 No Casado 100K No
3 No Soltero 70K No
4 Sí Casado 120K No
5 No Divorciado
95K Sí
6 No Casado 60K No 10
Tabla de Aprendizaje
Id Reembolso Estado Civil
Ingresos Anuales Fraude
7 No Soltero 80K No
8 Si Casado 100K No
9 No Soltero 70K No 10
Tabla de Testing
Generar
el
Modelo
Aplicar
el
Modelo
Modelo
Algoritmo
de
Aprendizaje
Nuevos
Individuos
Evaluar
Clasificación: Definición
• Dada una colección de registros (conjunto de
entrenamiento) cada registro contiene un conjunto de
variables (atributos) denominado x, con un variable
(atributo) adicional que es la clase denominada y.
• El objetivo de la clasificación es encontrar un modelo (una
función) para predecir la clase a la que pertenecería cada
registro, esta asignación una clase se debe hacer con la
mayor precisión posible.
• Un conjunto de prueba (tabla de testing) se utiliza para
determinar la precisión del modelo. Por lo general, el
conjunto de datos dado se divide en dos conjuntos al azar
de el de entrenamiento y el de prueba.
Definición de Clasificación
Dada una base de datos 𝐷 = {𝑡1, 𝑡2,… , 𝑡𝑛} de tuplas o registros
(individuos) y un conjunto de clases 𝐶 = {𝐶1,𝐶2,… ,𝐶𝑚 }, el
problema de la clasificación es encontrar una función 𝑓:𝐷 → 𝐶
tal que cada 𝑡𝑖 es asignada una clase 𝐶𝑗 .
𝑓:𝐷 → 𝐶 podría ser una Red Neuronal, un Árbol de Decisión, un
modelo basado en Análisis Discriminante, o una Red Beyesiana.
v1
v2
v4
v3
v5
v6
v8
Ejemplo: Créditos en un Banco
Tabla de Aprendizaje
Con la Tabla de Aprendizaje se entrena (aprende) el modelo matemático
de predicción, es decir, a partir de esta tabla se calcula la función f de la
definición anterior.
Variable
Discriminante
Ejemplo: Créditos en un Banco
Tabla de Testing
• Con la Tabla de Testing se valida el modelo matemático de predicción, es
decir, se verifica que los resultados en individuos que no participaron en la
construcción del modelo es bueno o aceptable.
• Algunas veces, sobre todo cuando hay pocos datos, se utiliza la Tabla de
Aprendizaje también como de Tabla Testing.
Variable
Discriminante
Ejemplo: Créditos en un Banco
Nuevos Individuos
Con la Tabla de Nuevos Individuos se predice si estos serán o no
buenos pagadores.
Variable
Discriminante
Idea: Las Máquinas Vectoriales de Soporte (Support
Vector Machines) tratan de encontrar el hiperplano que
separe a las clases con el mayor “margen” posible.
Margen
denota +1
denota -1
n=Vector Director
¿Por qué se denominan Máquinas Vectoriales de
Soporte (Support Vector Machines)?
x1
x2 Margen
x+
x+
x-
n
Vectores de Soporte
Vector Director
¿Por qué se denominan Máquinas Vectoriales de
Soporte (Support Vector Machines)?
g(x) es una función lineal:
( ) Tg b x w x
x1
x2
wT x + b < 0
wT x + b > 0
Se busca un hiperplano en
el espacio de las variables
n es el vector normal del
hiperplano
w
nw
n
Función discriminante lineal
¿Cómo clasificar estos
puntos mediante una función
discriminante lineal
reduciendo al mínimo el
error?
x1
x2
Podrían existir una cantidad
infinita de posibles hiperplanos!
Función discriminante lineal
x1
x2 ¿Cómo clasificar estos
puntos mediante una función
discriminante lineal
reduciendo al mínimo el
error?
Podrían existir una cantidad
infinita de posibles hiperplanos!
Función discriminante lineal
x1
x2 ¿Cómo clasificar estos
puntos mediante una función
discriminante lineal
reduciendo al mínimo el
error?
Podrían existir una cantidad
infinita de posibles hiperplanos!
Función discriminante lineal
x1
x2
¿Cuál es el mejor?
¿Cómo clasificar estos
puntos mediante una función
discriminante lineal
reduciendo al mínimo el
error?
Podrían existir una cantidad
infinita de posibles hiperplanos!
Función discriminante lineal
Clasificador lineal con el margen más amplio
“zona segura” La función discriminante
lineal con el máximo
margen es la mejor
El margen se define como
la ancho que limita los
datos (podría no existir)
¿Por qué es la mejor?
Generalización robusta y
resistente a los valores
atípicos x1
x2 Margen
Dada una tabla de
aprendizaje:
Con una transformación de
variables para w y b, el
problema es equivalente a:
x1
x2
{( , )}, 1,2, ,i iy i nx
Clasificador lineal con el margen más amplio
denota +1
denota -1
For 1, 0
For 1, 0
T
i i
T
i i
y b
y b
w x
w x
Para
Para
For 1, 1
For 1, 1
T
i i
T
i i
y b
y b
w x
w x
Para
Para
Se sabe que:
Entonces el margen es:
x1
x2
1
1
T
T
b
b
w x
w x
Margen
x+
x+
x-
( )
2 ( )
M
x x n
wx x
w w
n
Vectores de Soporte
Clasificador lineal con el margen más amplio
El problema es:
x1
x2 Margen
x+
x+
x-
n
Tal que:
Clasificador lineal con el margen más amplio
2maximize
wMaximizar
For 1, 1
For 1, 1
T
i i
T
i i
y b
y b
w x
w x
Para
Para
El problema es:
x1
x2 Margen
x+
x+
x-
n
Tal que:
Clasificador lineal con el margen más amplio
For 1, 1
For 1, 1
T
i i
T
i i
y b
y b
w x
w x
Para
Para
21minimize
2wMinimizar
El problema es:
x1
x2 Margen
x+
x+
x-
n
Tal que:
Clasificador lineal con el margen más amplio
21minimize
2wMinimizar
( ) 1T
i iy b w x
Resolver un Problema Optimización
Un problema de
programación
cuadrática con
restricciones
lineales ( ) 1T
i iy b w x
21minimize
2w
s.t.
Minimizar
2
1
1minimize ( , , ) ( ) 1
2
nT
p i i i i
i
L b y b
w w w x
s.t.
Minimización de
Lagrange
0i
Minimizar
Margen de
soporte débil
(más vectores
de soporte)
El número de vectores de soporte entra a jugar cuando los datos no son
linealmente separable, o sea, no existe un hiperplano que separe las 2 clases
en los datos.
En este caso el método trata entonces de encontrar un margen débil, lo cual
quiere decir que permite que algunos puntos de ambas clases queden dentro
del margen, esto se logra permitiendo más vectores de soporte lo cual hace
que el error aumente.
Esto se hace porque de contrario entonces no existiría el plano de
separación, claro el precio es un mayor error.
MVS no linealmente separables Datos linealmente separables:
0 x
0 x
x2
0 x
Datos no linealmente separables:
La idea es… Encontrar una función para trasladar los datos a
un espacio de mayor dimensión:
MVS no linealmente separables
Idea general: Los datos de entrada se puede trasladar a
algún espacio de mayor dimensión en el que la Tabla de
Entrenamiento sí sea separable:
Φ: x → φ(x)
MVS no linealmente separables
SVM en Rattle
> library(rattle)
Rattle: A free graphical interface for data mining with R.
Versión 2.6.21 Copyright (c) 2006-2012 Togaware Pty Ltd.
Escriba 'rattle()' para agitar, sacudir y rotar sus datos.
> rattle()
Ejemplo 1: IRIS.CSV
Ejemplo con la tabla de datos IRIS
IRIS Información de variables:
1.sepal largo en cm
2.sepal ancho en cm
3.petal largo en cm
4.petal ancho en cm
5.clase:
• Iris Setosa
• Iris Versicolor
• Iris Virginica
> library(scatterplot3d)
> scatterplot3d(datos$p.ancho,datos$s.largo,datos$s.ancho)
> library(rgl)
> D <- as.matrix(dist(datos[,1:4]))
> heatmap(D)
Ejemplo 1: iris.csv
SVM en Rattle
Matriz de confusión en Rattle
(Matriz de Error)
Usando solo 2 variables para poder graficar
Ejemplo 2:
Credit-Scoring MuestraAprendizajeCredito2500.csv
MuestraTestCredito2500.csv
Descripción de Variables
MontoCredito MontoCuota 1= Muy Bajo 1 =Muy Bajo 2= Bajo 2 =Bajo 3= Medio 3 =Medio 4= Alto 4 =Alto
IngresoNeto GradoAcademico 1= Muy Bajo 1 =Bachiller 2= Bajo 2 =Licenciatura 3= Medio 3 =Maestría 4= Alto 4 =Doctorado
CoeficienteCreditoAvaluo BuenPagador 1= Muy Bajo 1 =NO 2= Bajo 2 =Si 3= Medio 4= Alto
Árboles de Decisión en Ratlle
Matriz de confusión en Rattle
(Matriz de Error)
Curva ROC
Una curva ROC
compara la tasa
de falsos positivos
con la de
verdaderos
positivos.
El área bajo la
curva ROC =
0.8880
Curvas ROC - Árboles y SVM
Gracias….
