La exaescala podría representar un logro muy importante en la ingeniería informática ya que se cree que supera el poder de procesamiento del cerebro humano a nivel neuronal.
Hace unos meses, comenzaron a circular rumores de que China había logrado realizar computación a exaescala en dos sistemas separados.
Uno de los dos sistemas es el Sunway Oceanlite desarrollado íntegramente a partir de componentes chinos, desde microprocesadores hasta conexiones de red. También demostró su poder al aplicar cargas útiles de inteligencia artificial, a los resultados de un modelo de lenguaje entre sistemas preentrenados con 14,5 billones de parámetros.
Otro detalle conocido del sistema es que tiene aproximadamente 96.000 nodos y se basa en la unidad de cómputo Sunway SW26010-PRO, que presenta múltiples núcleos y aceleradores integrados personalizados, así como configuraciones de memoria y arquitectura de memoria personalizadas.
Aunque los resultados de los cálculos de exaescala están validados, debe tenerse en cuenta que este sesgo llamado "escala cerebral" por sí solo no funciona en las posibilidades de exaescala. Esto se debe a que los números de punto flotante de 64 bits (FP64) son generalmente estándar cuando se mide el rendimiento de una supercomputadora.
El nuevo sistema Sunway admite punto flotante de 64 y 16 bits (FP16), así como el denominado formato de punto flotante cerebral de 16 bits (BF16), y puede realizar conversiones entre ellos para obtener el máximo rendimiento en el proceso. Sin embargo, aunque la precisión mixta no hace que la tarea sea una carga constante a exaescala en el sentido tradicional, sugiere que China ha logrado un codiseño bastante bueno en términos de hardware y software, especialmente porque la industria de la supercomputación reconoce la necesidad de combinar el aprendizaje automático y la inteligencia artificial con el modelado y la simulación tradicionales.
Según sus autores, el sistema desarrollado "es una demostración sin precedentes del diseño colaborativo de algoritmos y sistemas en la convergencia de la inteligencia artificial y la computación de alto rendimiento". , llamado BaGuaLu, "puede proporcionar escalabilidad y un rendimiento aceptable para modelos muy grandes, combinando la optimización específica del hardware con paralelismo mixto y estrategias de entrenamiento de precisión mixta". Por supuesto, con las capacidades actuales, es posible entrenar un modelo con 174 mil millones de parámetros.