Análisis de rendimiento y escalabilidad en sistemas paralelos híbridos con CUDA y MPI

Abstract

Desde sus inicios, la computación ha ayudado a resolver diversos problemas en numerosos campos de la investigación como Física, Medicina, Ingeniería, etc... Gracias a esto, cada día se logran realizar tareas más complejas que se planteaban inaccesibles hasta hace poco tiempo. Aun así, no siempre será posible escalar la potencia de los computadores actuales para abarcar cada vez problemas más grandes. Trabas como la miniaturización, el consumo, el calentamiento, etc.., han hecho que el desarrollo de los procesadores se haya ralentizado con respecto a lo pronosticado por la famosa Ley de Moore. Además de esto, se prevé que en un futuro cercano las litografías de procesadores basados en silicio no se puedan mejorar mucho más, llegando al punto que superar la barrera de los 5 - 3 nanómetros se torne muy costoso o casi imposible. Con este panorama, y con la computación cuántica aún en un estadio demasiado temprano de desarrollo, la solución pasa por el paradigma de la computación paralela. En este caso la idea no sería aumentar la potencia de los procesadores, sino hacer trabajar varios a la vez para conseguir equiparar, o incluso superar, la potencia de cómputo de un procesador convencional con un coste energético inferior. Las ventajas de estos sistemas son múltiples: por un lado, obtenemos sistemas más escalables (podemos aumentar la capacidad de cómputo añadiendo más procesadores) y, como hemos señalado anteriormente, con un coste energético inferior en igualdad de condiciones. A pesar de esto, estas arquitecturas no están libres de coste y tienen varios puntos negativos: complejidad en la programación, conflictos de acceso a recursos compartidos, etc... Por ello se han desarrollado cantidad de tecnologías diferentes que abordan tipos de problemas muy específicos de forma muy eficiente y basados en distintos paradigmas de la computación paralela. La idea de la computación paralela híbrida es, por tanto, la unión de varios de estos paradigmas de paralelismo para permitir abordar problemas más complejos que no se podrían atacar de forma eficiente con una sola de esas tecnologías. En nuestro caso la idea será llevar a cabo la hibridación de una tecnología de computación como CUDA, que se comporta de forma excelente cuando el cómputo se basa en una gran cantidad de operaciones similares, con una tecnología como MPI, que permite un escalado relativamente sencillo de computadores sobre una red permitiéndonos, en teoría, conseguir hacer trabajar una gran cantidad de máquinas CUDA de forma sincronizada.

Abstract:

Since its beginning, computation has helped to resolve multiple types of problems in many fields of research like Physics, Medicine, Engineering, etc… Owning this fact, complex tasks are carried out every day, even those that were inaccessible. In spite of this, in order to manage increasingly bigger problems, there are difficulties to boost power of current computers. Issues like miniaturization, consumption, warming, etc, have slowed down the development of processors compared to the predicted famous Moore’s Law. Moreover, it is expected that processor lithographies based in silicon cannot be improved in the near future, coming to a point that to overcome the limit of 5 – 3 nanometers will be very expensive ore even impossible. In this situation, being the quantum computers in a very early state of development, the solution lies in the parallel computing paradigm. According to this, we will make several processors work at once instead of improving the power of the processor in order to reach – or even get over – the computational power of a conventional processor with less power consumption. On the one hand, we will obtain more scalable systems; on the other hand, we will save energy in the same conditions. In any case, these architectures have also disadvantages: programming complexity, conflicts to access shared resources, etc… For these reasons, different technologies have been developed in response to specific problems. Furthermore, these technologies, based in different parallel computing paradigms are more efficient. Therefore, the hybrid parallel computing foundation is the join of multiple parallel computing paradigms in order to address more complex problems which couldn’t be approached with one of these paradigms. In this project, we pretend to carry out the hybridization of a computing technology like CUDA, which works perfectly if the computation is based on a similar number of operations, with a technology like MPI, which allows a relatively simple scaling of computers throught a network.