Inteligencia Artificial, del cerebro al silicio
La Inteligencia Artificial está en boca de todos. Recientemente, Hinton y Hopfield han sido reconocidos con el premio Nobel de Física por su contribución en la materia. Mucho se habla de sus capacidades, pero pocos saben qué se esconde. ¿Qué hardware necesita y cuál es su futuro? Vamos a descubrir estas y otras respuestas acerca de la Inteligencia Artificial.
La Inteligencia Artificial (IA) acapara titulares de prensa especializada y generalista. Aunque ahora haya generado una disrupción en la sociedad, puede que sea uno de los inventos más anhelados por el ser humano. A lo largo de toda su historia, ha ido desarrollándose. Mediante la invención de las primeras herramientas fue creando soluciones y medios más complejos para su supervivencia.
A medida que los proyectos crecían, lo hacía también su ambición por crear objetos más complicados. En el Siglo I d.C. Herón de Alejandría ya comenzó a pensar en la creación de una vida inteligente artificial en su tratado ‘Los autómatas’, considerado como el primer libro de robótica de la historia. Muchos escritores le sucedieron, imaginando y fantaseando con la posibilidad de unos seres inteligentes capaces de desarrollarse, comunicarse y, tal vez, combatir su soledad.
Redes neuronales artificiales
El término IA abarca un conjunto enorme de tecnologías. Sin embargo, lo que más ha llamado la atención son los Modelos Extensos de Lenguaje, más conocidos como LLM (de sus siglas en inglés, Large Language Model).
Estos Modelos son un conjunto de neuronas artificiales agrupadas a través de una serie de capas e interconectadas entre sí. Frank Rosenblatt desarrolló a finales de los años 50 del Siglo XX el Perceptrón, cuya base dio origen a las neuronas artificiales que pueblan gran parte de la IA.
El Perceptrón es un modelo matemático consistente en una combinación lineal de sus entradas (numéricas) y unos pesos asignados a cada entrada a la que, finalmente, se le aplica una función no lineal llamada de activación, cuya función es no linearizar el resultado.
El término IA abarca un conjunto enorme de tecnologías. Sin embargo, lo que más ha llamado la atención son los Modelos Extensos de Lenguaje, LLM
La combinación de estas neuronas artificiales permite crear sistemas capaces de inferir resultados de funciones de gran complejidad. La dificultad de estos sistemas es obtener el valor de los pesos asignados a cada entrada de cada neurona. Se llama ‘aprendizaje supervisado’ al proceso de encontrar esos valores usando un gran conjunto de datos conocidos. Durante años se han ido desarrollando diferentes estrategias para encontrar los citados pesos. El uso de técnicas de optimización matemáticas como el descenso del gradiente y la retropropagación (backpropagation) han permitido crear redes neuronales artificiales cada vez mayores ya en los años ochenta.
El uso cada vez más sofisticado ha dado origen al reconocimiento de imágenes, así como la capacidad de generar nuevas imágenes y texto, e incluso la capacidad de generar ilustraciones o cuadros como si algún pintor concreto hubiese decidido dibujar una fotografía proporcionada por el usuario usando su técnica particular.
Uno de los grandes problemas que los investigadores han sufrido durante estos setenta años de trabajo es la carga computacional que se requiere para resolver estos grandes modelos matemáticos. Un LLM actual puede contener varios miles de millones de pesos- Obtener una inferencia supone la resolución de una abrumadora cantidad de operaciones matemáticas. Además, el entrenamiento, basado en una ingente cantidad de datos, puede requerir semanas o meses de trabajo intensivo para las supercomputadoras de las más altas prestaciones. Esto nos lleva a preguntarnos sobre los cimientos de toda esta obra de ingeniería, el silicio.
Los procesadores y el modelo de von Neumann
Todas las operaciones necesarias en los modelos de IA son ejecutadas en microprocesadores fabricados en microchips. Ya sean de propósito general (CPU) o más específicos (GPU, NPU, etc.), estos dispositivos digitales se diseñan y construyen sobre chips que incluyen cada vez más cantidad de transistores.
En 1965, Gordon Moore predijo que la cantidad de transistores en un circuito integrado se duplicaría cada dos años. Mantener este crecimiento es cada vez más complicado para el mundo de la microelectrónica y los semiconductores.
En los años cuarenta del pasado siglo, John von Neumann, definió las bases de la arquitectura de las computadoras actuales. En su obra ‘The computer and the brain’, su autor describe uno de los principios básicos de la arquitectura actual: “sólo un órgano para cada operación básica”.
Su modelo de computación basada en la secuenciación de operaciones permitía, usando una sola unidad aritmético-lógica (ALU) y una memoria, la posibilidad de realizar una gran cantidad de cálculos diferentes. Sin embargo, las tareas de IA, que tienen un elevado número de operaciones, se convierten en tareas que consumen mucho tiempo para las máquinas.
El desarrollo multimedia, las imágenes generadas por ordenador y los videojuegos ya se encontraron con problemas similares en el pasado. El desarrollo de procesadores gráficos (GPU) permitían aliviar a la CPU de una gran carga computacional. Para ello, estos chips integran distintas ALU, siendo capaces de paralelizar una gran cantidad de operaciones.
Una GPU actual puede incluir más de cuatro mil núcleos, capaces de paralelizar el mismo número de operaciones. Esta es la razón por la que, cuando oímos hablar de IA, es normal que se hable de Nvidia y GPU. En los últimos años, también se han desarrollado aceleradores para IA usando dispositivos de lógica programables como FPGA y CPLD ayudando a resolver más cantidades de operaciones por segundo.
Hardware para la IA
Durante muchos años han aparecido distintas arquitecturas de redes neuronales artificiales capaces de reconocer imágenes u otro tipo de datos. Sin embargo, la continua evolución de estas arquitecturas complicaba mucho a los diseñadores de circuitos integrados diseñar dispositivos específicos para IA.
El desarrollo de un circuito integrado para aplicaciones específicas (ASIC, por sus siglas en inglés) plantea muchos desafíos y requiere un tiempo considerable entre el planteamiento del problema y la obtención de un producto comercializable. Actualmente empiezan a desarrollarse ASIC para IA como las unidades de procesamiento neuronal (NPU) o algunos que van directamente enfocados en la arquitectura de los LLM.
A pesar de todas las soluciones que se han ido desarrollando, el consumo energético necesario para el entrenamiento y uso de la IA es cada vez mayor. Muchas de las grandes tecnológicas se plantean la compra de centrales eléctricas particulares para alimentar sus centros de datos. Sin embargo, ¿cuánto consume nuestro cerebro? Muchos investigadores aproximan la potencia de nuestro cerebro entre los 10 y los 20 W. Una operación en el cerebro humano consume del orden de un femtojulio mientras que estas soluciones requieren entre 4 y 5 órdenes de magnitud más.
El mundo neuromórfico
En 1989, Carver Mead definió el concepto de Computación Neuromórfica, cuyo objetivo es la imitación del cerebro usando la tecnología de la microelectrónica y los semiconductores. Si bien hemos dicho que las neuronas artificiales se basan en las neuronas de nuestro cerebro, tienen poco en común. Nuestras neuronas no reciben números como entradas ni funcionan de forma secuencial.
Entre las soluciones que este campo presenta, se encuentra la llamada In-Memory Computing (IMC). Esta solución pretende romper el paradigma de von Neumann de forma que los pesos de la red neuronal sean las memorias del sistema y la computación para la evolución de los pesos se haga de forma local en dicha memoria. Para ello se pueden usar dispositivos memristivos1 que se comportan como memorias analógicas.
En los últimos años, también se han desarrollado aceleradores para IA usando dispositivos de lógica programables como FPGA y CPLD
Existen soluciones digitales dentro del campo neuromórfico para imitar las redes neuronales biológicas. TrueNorth (IBM)2, SpiNNaker (Universidad de Manchester)3 o Loihi (Intel)4 son distintos ASIC que contienen redes neuronales basadas en eventos (SNN, Spiking Neural Network).
En el mundo analógico, las SNN se forman usando memristores como sinapsis neuronales y un modelo de neurona llamado Integrate-&-Fire. Estos sistemas, a diferencia de los digitales, no necesitan de relojes de alta velocidad para funcionar lo que reduce drásticamente su consumo.
Los memristores son unos dispositivos que pueden ser de tamaños micrométricos integrables dentro de un chip, cuya resistencia puede alterarse y usarse como memoria no-volátil. Sin embargo, esta tecnología también presenta muchos retos antes de poder destacar en el mundo de la IA.
Un camino por andar
Si bien las redes neuronales artificiales no se asemejan a los modelos biológicos, nuestros conocimientos en matemáticas han conseguido grandes avances en el entrenamiento de estos sistemas, mientras que las soluciones neuromórficas tienen que enfrentarse a una realidad más áspera donde aún faltan por comprender muchos de los secretos que nuestros cerebros esconden en su interior.
El uso de la IA empieza a reportar grandes beneficios para nuestra sociedad, pero es un viaje que aún tiene mucho camino por recorrer. Si bien la IA más popular obtiene grandes resultados, debemos estar atentos a las tecnologías emergentes que puedan igualar o mejorar prestaciones con un menor consumo energético. Así mismo, veremos si finalmente la computación da un salto desde la arquitectura de von Neumann a una nueva arquitectura basada en computación neuronal.
Referencias
1 https://spectrum.ieee.org/memristor
2 https://open-neuromorphic.org/neuromorphic-computing/hardware/truenorth-ibm/
3 http://apt.cs.manchester.ac.uk/projects/SpiNNaker/SpiNNchip/
4 https://www.intel.com/content/www/us/en/research/neuromorphic-computing.html
