2
Red
es N
euro
nale
s A
rtifi
cial
es
Adaline-Madaline
Utilizan un aprendizaje OFF LINE con supervisióndenominado LMS (Least Mean Squared) o regla delmínimo error cuadrático medio (Widrow). Tambiéndenominado Regla Delta.El aprendizaje busca encontrar el mejor vector depesos posible en términos del criterio de errorcuadrático medio.ADALINE está limitada a una única neurona desalida. Un vector x como su entrada y un númeroreal y como su salida. MADALINE es unacombinación de neuronas ADALINE.
3
Red
es N
euro
nale
s A
rtifi
cial
es
x1
x2
x N
w1
w2
wN
y
x0=1
s Salidalineal
Salida binaria
ConmutadorbipolarConmutador
adaptativolineal
Estructura de la red ADALINE
Adaline-Madaline
4
Red
es N
euro
nale
s A
rtifi
cial
es
.
.
.
.
.
.
.
.
.Capa de salida
Capa oculta
Capa de entrada
Estructura red MADALINE
Adaline-Madaline
5
Red
es N
euro
nale
s A
rtifi
cial
es
ART (Adaptive Resonance Theory)
Esta teoría se aplica a sistemas competitivos (redescon aprendizaje competitivo).La red busca categorizar los datos que le sonintroducidos.La teoría se basa en la idea de hacer resonar lainformación de entrada con las categorías que yareconoce la red.
6
Red
es N
euro
nale
s A
rtifi
cial
es
Estructura:
RA
Capa competitiva (salida)Oi
Capa de comparación (entrada)Vj
-Nwij wij -1
1
1
p
xj
ART (Adaptive Resonance Theory)
7
Red
es N
euro
nale
s A
rtifi
cial
es
ART (Adaptive Resonance Theory)
El aprendizaje es de tipo ON LINE, no se distingueentre etapa de entrenamiento y de funcionamiento.
Los pesos varían durante el funcionamiento de la redcuando se aplica información de entrada a la misma.Utiliza un aprendizaje no supervisado de tipo competitivo.
Se pueden dar dos tipos de aprendizaje:Aprendizaje rápido. Se establece una nueva categoría.Aprendizaje lento. Una información de entrada es asociada auna categoría existente.
8
Red
es N
euro
nale
s A
rtifi
cial
es
ART (Adaptive Resonance Theory)
Aplicaciones:Tareas de reconocimiento de patronesModelamiento de procesos biológicosDiseño de sistemas de control y diagnósticoadaptativo.
9
Red
es N
euro
nale
s A
rtifi
cial
es
Principio de entrenamiento auto-organizado(opuesto al aprendizaje supervisado).
La red consiste básicamente de dos conjuntos deunidades, cada unidad de salida conectada a todoslos n nodos de entrada.
Mapas autorganizados de Kohonen
10
Red
es N
euro
nale
s A
rtifi
cial
es
La idea básica que yace en las SOFM es laincorporación a la regla de aprendizajecompetitivo un cierto grado de sensibilidad conrespecto al vecindario o la historia.Esto hace que el número de neuronas que noaprenden desaparezca y ayuda a que sedestaquen propiedades topológica que aparezcanen el mapeado de características.
Mapas autorganizados de Kohonen
11
Red
es N
euro
nale
s A
rtifi
cial
es
Suponiendo que un vector de entrada tiene Ncaracterísticas y se representa por un vector X enun espacio de patrones N-dimensional.La red mapea el patrón de entrada hacia unespacio de salida.Por ejemplo, el espacio de salida puede ser unarray unidimensional o bidimensioanl de nodosde salida, que posee cierto orden topológico.
12
Red
es N
euro
nale
s A
rtifi
cial
es
...
...........................
...
Capa de Salida
Conexiones feedforward
Capa de Entrada
Mapas autorganizados de Kohonen
Estructura de la red
14
Red
es N
euro
nale
s A
rtifi
cial
es
Mapas autorganizados de Kohonen
Aprendizaje no supervisado de tipo competitivo.Las neuronas de la capa de salida compiten poractivarse y sólo una de ellas lo consigue.Es de tipo OFF LINE y se distinguen dos etapas:– Aprendizaje– Funcionamiento
15
Red
es N
euro
nale
s A
rtifi
cial
es
La cuestión es cómo entrenar la red para que esarelación de orden se preserve.Kohonen propuso que las neuronas de salidainteractuaran lateralmente, llegando así a los mapasde características autorganizativos.
16
Red
es N
euro
nale
s A
rtifi
cial
es
La característica más importante del modelo esel concepto de aprendizaje en un vecindariopróximo a la neurona ganadora.El tamaño del vecindario decrece en cadaiteración.La fase de entrenamiento es la siguiente:
17
Red
es N
euro
nale
s A
rtifi
cial
es
(1) se selecciona la neurona ganadora con ladistancia EuclídeaSea i* el índice del ganador, y sea I*el conjuntode índices correspondiente a un vecindariodefinido del ganador i*.(2) los pesos asociados con el ganador y suvecindario se adaptan de la siguiente forma:
18
Red
es N
euro
nale
s A
rtifi
cial
esAprendizaje competitivocon sensibilidad en la Historia
Si se incorpora alguna sensibilidad a la historia ofrecuencia en la regla de entrenamiento, se obtieneotra forma de evitar el problema de las neuronas queno aprenden. Hay dos aproximaciones:Modular la selección del ganador incorporandosensibilidad a la frecuencia.Modular la tasa de aprendizaje incorporando lasensibilidad a la frecuencia.
19
Red
es N
euro
nale
s A
rtifi
cial
es
Regla de aprendizaje competitivo
Selección de un ganador i*, por ejemplo,como la neurona con la menor distanciaeuclídea.Adaptar los pesos asociados al ganador.
20
Red
es N
euro
nale
s A
rtifi
cial
es
El aprendizaje es un proceso iterativo depresentar a la red patrones de entrada hastalograr un refinamiento adecuado del mapatopológico de salida.Para calcular la distancia entre vectores seaplica:
dj=Σi=1,N(ei(k) - wji)2 para 1<=j<=M
Mapas autorganizados de Kohonen
21
Red
es N
euro
nale
s A
rtifi
cial
es
Luego de localizar la neurona vencedora (j*) seactualizan los pesos de las conexiones entre lasneuronas de entrada y dicha neurona, así comolas conexiones entre las de entrada y las neuronasvecinas a la ganadora mediante:
wji(t+1)=wji(t)+α(t)[ei(k)-wj*i(t)]
para j∈ Zona j*(t)
Mapas autorganizados de Kohonen
22
Red
es N
euro
nale
s A
rtifi
cial
es
Funcionamiento:– Cuando se presenta a la entrada una
información, cada una de las M neuronas de lacapa de salida la recibe por medio de lasconexiones feedforward con pesos wji.
– Las neuronas reciben las entradas debidas a lasconexiones laterales de las neuronas de salidadependiendo su influencia de la distancia a laque se encuentren.
Mapas autorganizados de Kohonen
23
Red
es N
euro
nale
s A
rtifi
cial
es
Aplicaciones:– Reconocimiento de patrones (voz, texto,
imágenes, señales, etc.)– Codificación de datos– Compresión de imágenes
Mapas autorganizados de Kohonen