La computación paralela es una forma de cálculo en la que muchas instrucciones se llevan a cabo simultáneamente (lo que se denomina «en paralelo»), en función de la teoría de que los grandes problemas pueden dividirse a menudo en otros más pequeños, y luego resolverse concurrentemente («en paralelo»).
Existen varias formas de computación paralela:
Se ha utilizado durante muchos años, principalmente en la informática de alto rendimiento, con un gran aumento de su uso en los últimos años, debido a las limitaciones físicas que impiden el escalado de frecuencias. La computación paralela se ha convertido en el modelo principal de la arquitectura informática, principalmente en forma de procesadores multinúcleo. Sin embargo, en los últimos años, el consumo de energía de los ordenadores paralelos se ha convertido en una preocupación.
Los ordenadores paralelos pueden clasificarse según el nivel en el que el hardware soporta el paralelismo: los ordenadores multinúcleo y multiprocesador tienen múltiples elementos de procesamiento dentro de una sola máquina, mientras que los clusters, blades, MPP y grids utilizan múltiples ordenadores para trabajar en la misma tarea.
Los programas informáticos paralelos son más difíciles de programar que los secuenciales, porque la concurrencia introduce varias clases nuevas de errores de software potenciales, de los cuales las condiciones de carrera y los bloqueos muertos son los más comunes. no obstante, se han creado muchos lenguajes de programación paralela para simplificar la programación de ordenadores paralelos. Pero aún así la comunicación y sincronización entre las diferentes subtareas es difícil mientras se consigue un buen rendimiento del programa paralelo.