BREVE HISTORIA.

En los 50's y 60's, se hicieron varios intentos para adaptar los modelos de Redes Neuronales para que se diera el aprendizaje. Rosenblatt diseñó el Perceptron. Éste contenía tres tipos de neuronas: sensoriales, asociativas y de respuesta. Las sensoriales tomaban entradas de fuera de la red, las unidades de respuesta propagaban señales fuera de la red, al mundo externo, y las asociativas eran meramente internas. La distinción entre estas tres neuronas es importante. Sin embargo ahora se refieren como unidades de entrada, de salida y ocultas. Rosenblatt desarrolló métodos para alterar los niveles sinápticos de forma que la red aprendiera a reconocer clases de entradas. Por ejemplo, produjo una red que aprendió a responder a líneas verticales, pero no a horizontales (se sabe que neuronas especializadas en la visión actúan de esta forma). Como muchas Redes Neuronales posteriores, el rasgo más importante del Perceptron de Rosenblatt es que aprendió a clasificar sus entradas "por ejemplo"; lo cual contrasta con la clásica ciencia computacional donde el programador escribe un programa que le dice a la computadora cómo clasificar sus entradas.
En 1969, Minsky y Papert publicaron un libro que influenció mucho el pensamiento sobre redes neuronales. En primer lugar demostraron que para hacer algunas tareas importantes de clasificación en geometría requerían un incremento arbitrario en el tamaño del Perceptron mientras se iba incrementando el tamaño de la retina. En segundo lugar demostraron que los Percepetrones eran incapaces de aprender a resolver cualquier problema linealmente inseparable. Puesto que problemas muy simples son linealmente inseparables ( por ejemplo el XOR) este fue un grave problema.
Después de los 80’s, el campo de la Inteligencia Artificial se hizo muy popular. En Inteligencia Artificial, la inteligencia se modela top-down, con algoritmos diseñados para modelar procesos mentales de alto nivel como la asociación de conceptos, deducción, inducción y razonamiento.

 Desarrollo histórico de las redes neuronales

Partiendo de que las redes neuronales se fundamentan en el sistema nervioso humano deberíamos remontarnos a los tiempos de Galeno en los que ya se tenía un conocimiento considerable de éste. Sin embargo, los verdaderos avances en neurología se produjeron a partir de la segunda mitad del siglo XIX. Investigadores ilustres de esta época son Jackson, Ramón y Cajal y Golgi entre otros.

Fue en 1943 cuando Warren McCulloch y Walter Pitts propusieron el clásico modelo de neurona en el que se basan las redes neuronales actuales. Seis años después, en 1949, en su libro The Organization of Behavior, Donald Hebb presentaba su conocida regla de aprendizaje.

En 1957, Frank Rosenblatt presentó el Perceptron, una red neuronal con aprendizaje supervisado cuya regla de aprendizaje era una modificación de la propuesta por Hebb. El Perceptron trabaja con patrones de entrada binarios, y su funcionamiento, por tratarse de una red supervisada, se realiza en dos fases: una primera en la que se presentan las entradas y la salidas deseadas; en esta fase la red aprende la salida que debe dar para cada entrada. La principal aportación del Perceptron es que la adaptación de los pesos se realiza teniendo en cuenta el error entre la salida que da la red y la salida que se desea. En la fase siguiente, de operación, la red «es capaz» de responder adecuadamente cuando se le vuelven a presentar los patrones de entrada. Se crearon grandes expectativas sobre sus aplicaciones, que posteriormente se tornaron en gran decepción cuando en 1969 Minsky y Papert demostraron las grandes limitaciones de esta red.

En los años 60 se propusieron otros dos modelos, también supervisados, basados en el Perceptron de Rosenblatt denominados Adaline y Madaline. En estos, la adaptación de los pesos se realiza teniendo en cuenta el error, calculado como la diferencia entre la salida deseada y la dada por la red, al igual que en el Perceptron. Sin embargo, la regla de aprendizaje empleada es distinta. Se define una función error para cada neurona que da cuenta del error cometido para cada valor posible de los pesos cuando se presenta una entrada a la neurona. Así, la regla de aprendizaje hace que la variación de los pesos se produzca en la dirección y sentido contrario del vector gradiente del error. A esta regla de aprendizaje se la denomina Delta.

La era moderna de las redes neuronales artificiales surge con la técnica de aprendizaje de propagación hacia atrás o Back Propagation. La estructura de las redes citadas anteriormente (Perceptron, Adaline y Madaline) consta de dos capas: una capa primera formada por unidades que dejan pasar la entrada y que no tienen aprendizaje, y una segunda capa formada por una o varias neuronas en el caso del Madaline. La contribución de Minsky y Papert fue la de demostrar que una red del tipo Perceptron no es capaz de aprender todas las posibles combinaciones entre entradas y salidas. La solución del problema consiste en añadir capas intermedias de neuronas, introduciendo de esta forma el problema de cómo enseñar a estas capas intermedias. Aquí es donde tiene importancia el algoritmo de propagación hacia atrás. En éste se compara la salida real con la salida deseada. La diferencia entre ambas constituye un error que se propaga hacia atrás desde la capa de salida hasta la de entrada permitiendo así la adaptación de los pesos de las neuronas intermedias mediante una regla de aprendizaje Delta. Sin embargo, también tiene sus limitaciones.

Posteriormente se han desarrollado otros modelos que permiten un aprendizaje no supervisado como el mapa auto-organizativo de Kohonen, los basados en la Teoría de Resonancia Adaptativa (ART) de Grossberg y Carpenter, o los modelos de control motor de Bullock, Gaudiano y Grossberg, entre otros.