Perceptron Multicapa

Capítulo II . El Perceptrón Multicapa.
2.1. El Perceptrón Multicapa.
En 1958 Rosenblatt publica sus primeros trabajos acerca de su modelo neuronal denominado perceptrón junto a su algoritmo de convergencia. Este modelo, como veremos, está formado por tres elementos o niveles de organización: las unidades sensoriales, las unidades asociativas y las unidades de respuesta. Las conexiones entre lasdos primeras se definen en forma de pesos fijos y entre las dos últimas mediante pesos variables. Las unidades asociativas actúan como pequeños preprocesadores diseñados para extraer información a partir de los ejemplos presentados. En la Fig. 2.1. se ilustra un perceptrón monocapa -o simplemente perceptróncon una única neurona1, estando por ello limitado su uso a la clasificación de patrones endos clases o categorías. Si expandimos esta capa de salida incluyendo más de una neurona en ella podremos clasificar correctamente más de dos clases con la limitación demostrada por Minsky y Papert (1969) de que estas clases deben ser separables linealmente.

Figura 2.1. Perceptrón de Rosenblatt.

2.1.1. Modelos de neurona. Nomenclatura. Una neurona es una unidad de proceso de la información,constituyente fundamental de las redes neuronales que puede seguir varios modelos matemáticos, pero que deberá contar esencialmente con las siguientes partes: 1. Una colección de sinapsis o conexiones pesadas. Una señal x j a la entrada de la sinapsis j conectada a la neurona k será multiplicada por el peso wkj . Este peso será positivo si la sinapsis asociada es excitadora, y negativo si lasinapsis es inhibitoria. 2. Un sumador para las señales de entrada pesadas.

________________________
1

A partir de ahora utilizaremos indistintamente los términos neurona, unidad y nodo.

CAPÍTULO PRIMERO. EL PERCEPTRÓN MULTICAPA.

3. Una función de activación. Su función es la de limitar la amplitud de la salida de la neurona. 4. Una entrada fija que multiplica a un peso adicional llamadoumbralθ k y que tiene el efecto de rebajar la entrada de la red al rango de la función de activación2. En la Fig. 2.2 vemos el modelo típico de una neurona propuesto por McCullochPitts y formado por los bloques descritos arriba.
ωk0 = bk (bias) ωk0 = θk (umbral) Función de Activación

Entrada Fija

x0 = ±1

ωk0 ωk1 ωk2 . . . ωkp

x1

x2 Entradas . . . xp

Σ
Unión Suma

ϕ(⋅)Salida yk

Pesos Sinápticos

Figura 2.2. Modelo no lineal de una neurona.

A partir de las definiciones anteriores podemos describir matemáticamente una neurona k como sigue: uk =

∑w
j =1

p

kj

xj

(2.1) (2.2)

vk = ϕ ( uk − θ k )

Redefiniendo v k = uk − θ k , obtenemos y k = ϕ ( v k ) y si, además, añadimos una nueva sinapsis, cuya entrada sea de valor fijo ±1 y cuyo peso seawk 0 = θ k , obtendremos los dos modelos de neurona no lineal representados en la figura anterior. n Funciones de activación [2]. Se denotan por ϕ (v ) y tienen las siguientes variantes. 1. Función Umbral o Escalón. (Fig. 2.3a) 1 ϕ (v ) =  0 si v ≥ 0 si v < 0 (2.3)

________________________
2

Dependiendo de que el valor de la entrada fija sea +1 o -1 recibirá los nombres de bias o umbralrespectivamente.

II-2

CAPÍTULO PRIMERO. EL PERCEPTRÓN MULTICAPA.

2. Función rampa lineal. (Fig. 2.3b)  1   ϕ ( v ) = v   0  si v ≥ si 1 2 (2.4)

1 1 >v≥− 2 2 1 si v ≤ − 2

3. Función Sigmoide o Tangente hiperbólica. (Fig. 2.3c) ϕ (a ⋅ v ) = 1 1 + exp(− a ⋅ v ) o ϕ (v ) = tanh(a ⋅ v / 2) = 1 − exp( −a ⋅ v ) 1 + exp( −a ⋅ v ) (2.5)

En la Fig. 2.3c observamos diferentesfunciones sigmoide superpuestas, indicando una dependencia con la pendiente a de las ecuaciones anteriores: cuanto mayor sea esta más abrupta será la función de activación y más se asemejará a la función de activación escalón (Fig. 2.3a). Aunque las funciones de activación sigmoidales son las más empleadas, las posibilidades son más amplias. Por ejemplo, la posibilidad de descomponer cualquier...