Apache Spark es una de las herramientas que tendrá que aprender si desea comenzar a implementar algo con Big Data. Apache Spark también es una herramienta muy útil para otras herramientas de Big Data más sofisticadas porque está integrado en otras herramientas de Big Data. Por ejemplo, puede elegir Apache Spark con Hadoop, Azure, AWS u otro tipo de marco en el que puede obtener una gran cantidad de datos. Así. Es bueno que comprenda en qué medida trabaja Apache Spark y las diferentes funciones y funcionalidades que tienen esos Big Data Frameworks.
Una manera fácil de comprender Apache Spark es comprender cómo se manipulan los datos desde un Repositorio y se entregan de una manera más purificada o filtrada. la mejor manera de entender esto es visualizando que tiene datos en un lado. supongamos que está en el lado izquierdo y desea modificar los datos en la forma deseada que se mostrará en el lado derecho. entonces la pregunta aquí es qué debo hacer para modificar los datos para poder obtener el formulario en el lado derecho. La respuesta es simple y son operaciones. Estas son las operaciones de Apache Spark en las que tendrá que confiar para poder modificar los datos, entregar la cantidad correcta de datos y diseñar la estructura correcta de datos. Estos dos tipos de operaciones Spark de Apache son Transformaciones y acciones.
Las operaciones de transformacion son la forma más relevante de manipular el día desde el lado izquierdo y transformarlo en nuestro instructor deseado en el lado derecho. Las transformaciones le permitirán dar la forma y cantidad correctas de sus datos. Puede comprender esto identificando que no podrá organizar sus datos en una estructura deseada, ya que las transformaciones son funciones que manipulan un gran volumen de datos. Hay dos tipos de transformaciones que se consideran funciones diferidas porque no se aplican hasta que se llaman a las acciones en Apache Spark.
Las transformaciones estrechas y amplias son operaciones que utilizará para clasificar una gran cantidad de datos. Ambas Transformaciones usan RDD (conjunto de datos distribuidos resilientes) que son de naturaleza inmutable y una vez que reciba un RDD para ordenar los datos, representará uno o más RDD nuevos después de aplicar cualquier tipo de transformación. Las transformaciones se caracterizan por tener todos los elementos en una sola partición provenientes del mismo RDD monoparental. las funciones más comunes que se consideran transformaciones estrechas son map, filter, flatmap, Sample, Union y MapPartition.
Las amplias transformaciones se caracterizan por saltar todos los elementos en una sola partición de múltiples padres RDD. Este tipo de transformaciones son sección, diferenciada, reducida por clave, unión, cartesiana, grupo por clave. Una vez que tenga la estructura deseada de sus datos, podrá realizar diferentes acciones para que llame a las operaciones de acción en Apache Spark. díganos la secuencia manipular sus datos, primero aplicaremos transformaciones y luego aplicaremos operaciones de acción.
Las operaciones de acción representan estructuras que no son RDD y proporcionan un valor específico obtenido de los datos con los que está trabajando. Se utilizan con ejecutores en diferentes clústeres para que pueda realizar tareas en dos nodos diferentes de los clústeres. Los operadores de acción trabajan principalmente con ejecutores para enviar datos al controlador en la estructura del clúster.
Las operaciones de función son contar, plegar, recolectar, agregar, tomar, foreach y top. Como puede observar, las operaciones de acción son funciones útiles en las que puede confiar para poner en movimiento sus datos. Apache Spark es un poco más complicado, sin embargo, podrá comenzar a trabajar con Apache Spark de inmediato si comprende cómo manipular los datos con transformaciones y acciones. Obtenga más información sobre estas operaciones en los enlaces a continuación para que pueda comprender cómo funcionan cada una de estas Transformaciones y acciones. También sabrá cómo se aplican estas funciones y cómo se utilizan en combinación con otros tipos diferentes de Transformaciones y acciones.