Perceptron Multicapa

Tema 4: Perceptrón Multicapa

Sistemas Conexionistas 1

PERCEPTRON MULTICAPA
(Freeman, capt.3)

1. Regla Delta Generalizada (BackPropagation)
1.1. Características
1.2. Arquitectura de Pesos

- Capa de Salida
- Capas Ocultas
1.3. Consideraciones Prácticas
- Datos de Entrada
- Funciones de Transferencia
- Dimensionamiento de la estructura
1.4. Control de Convergencia
- MínimosLocales
- Momento
- Heurísticas para incrementar la velocidad de aprendizaje

Manuel F. González Penedo

Tema 4: Perceptrón Multicapa

Sistemas Conexionistas 2

REGLA DELTA GENERALIZADA (BACKPROPAGATION)

• La Regla Delta o LMS: Entrena un PE o una capa de PE.
• Existencia de Capas Ocultas: la Regla Delta no serviría para el entrenamiento de la
estructura:
• Conocemos la salidadeseada para cada patrón de entrenamiento.
• No conocemos la salida deseada para los PE de las capas ocultas.
La Regla Delta Generalizada o Backpropagation fue creada para generalizar la Regla
Delta sobre Redes Neuronales de múltiples capas y funciones de transferencia no
lineales y diferenciables.
Características:
• Entrenamiento Supervisado: Corrección de Error.
• Aprendizaje Off Line.
•Capacidad de Generalización.

Manuel F. González Penedo

Tema 4: Perceptrón Multicapa

h
pj

neta

n

= ∑ wh x pi
ji
i=0

f hj (netah )
pj

o pj =

Notación:

=

f oj (netao )
pj

i

h
pj

Manuel F. González Penedo

Sistemas Conexionistas 3

n- número de entradas de cada patrón.
o- indica la capa.
p- indica el patrón.
j- PE j.
Wji- conexión PE i (capa h-1) conPE j (capa h)
Opj- salida PE j en la capa de salida.

Tema 4: Perceptrón Multicapa

Sistemas Conexionistas 4

ARQUITECTURA DE PESOS
Capa de Salida

• Como en la capa de salida puede haber un nº >1 de PE, en este caso no nos basta
con un único valor de error:

δ pk = ( y pk − o pk )
• El error que se debe minimizar es la suma de los cuadrados de los errores de
todas las unidades desalida.

Manuel F. González Penedo

Tema 4: Perceptrón Multicapa

Sistemas Conexionistas 5

2
1n 2
1
E p = 2 ∑ δ pk = 2 ∑ ( y pk − o pk )
k =1
k
o

E = −( y − ) δ f
∇E = δ
o δ(
neta
w
δ (neta )
δ
=
(∑ w i ) = i
δw
δw
δ

p

p
o

pk

pk

o

o

o

kj

∇E

o

kj

p

o −1

pj

pj

que:

= ( y pk − o pk )

Manuel F. González Penedo

jo −1

kj

pk

implica

δ (neta pk )

k

kj

Todo

o

o

′

f (neta ) i
k

o

o −1

pk

pk

o

)
pk

o

δ wkj

Tema 4: Perceptrón Multicapa

Sistemas Conexionistas 6

De tal manera que los pesos en la capa de salida se modificarán de la siguiente manera:

woj (t + 1) = wo (t ) + ∆ p wo (t )
k
kj
kj
∆pw

o
kj (t )

= µ( y pk − o pk )

′o

f k (netao ) io−1
pk pj

Condición NECESARIA: f debe ser derivable. Dos casos:
o
(
k

o
k)

o
(
k

o
k)

f neta
f neta

δ
Sea:

o
pk

w

o
k

= neta ⇒
= (1+ e

fk

− neta o
k

=1

−1

)

⇒

= ( y pk − o pk )

o

o
kj (t

Manuel F. González Penedo

′

o

′

′

o

fk

=

f o (1 − f o) = o pk (1 − o pk )
k
k

f k (netao
pk )

+ 1) = wo (t ) + µ δo io−1
kj
pk pj

= δ pk

′

o

f k (netao )
pk

Tema 4: Perceptrón Multicapa

Sistemas Conexionistas 7

Capas Ocultas
• ¿Como determinamos los valores esperados de los PE en las capas ocultas?
• Ep está relacionado con la salida de los PE en capas ocultas de la siguiente manera:
2

o
2
oh
1
( y pk − o pk )2 = 1 ∑ ( y pk − f o(netao )) =1 ∑ ( y pk − f k ( ∑ wkj i pj ))
Ep = 2 ∑
pk
k
j
2k
2k
k
Por otra parte:
h
h
ih = f j (netah ) = f j (∑ whji ih−1)
pj
pj
pi
i

De tal manera:
δ Ep
δ wh
ji

δ o pk δ(netao ) δ ih δ netah
2
δ
1
pk
pj
pj
( y pk − o pk ) = −∑ ( y pk − o pk )
=∑
=
2 k δ wh
δ(netao ) δ ih
δ netah δ wh
k
ji
pk
pj
pj
ji
o′

= − ∑ ( y pk − o pk ) f k ( neta

o
pk )

k

′...