Monitoree Hadoop fácilmente
El almacenamiento distribuido y el procesamiento distribuido de grandes conjuntos de datos siempre han sido un reto para los administradores de TI. Esta creciente necesidad de almacenar y procesar grandes conjuntos de datos de manera eficiente condujo al desarrollo del marco Hadoop. Con su capacidad de almacenamiento masivo y su enorme potencia de procesamiento, Hadoop permite a los usuarios gestionar conjuntos de datos cada vez mayores y realizar tareas fácilmente. Sin embargo, es importante garantizar el buen funcionamiento del marco Hadoop.
Con Applications Manager—que ofrece tanto el monitoreo de Hadoop Mapreduce como de Hadoop Yarn—es fácil obtener información operativa sobre su entorno Hadoop, conectarse a los clústeres Hadoop a través de REST API o JMX, mantener un óptimo estado de los clusters Hadoop distribuidos y asegurarse de que sus clusters están disponibles y procesan las tareas con rapidez y precisión.
Supervise su sistema Hadoop con facilidad
Seguimiento del estado general de los clusters Hadoop
La herramienta de monitoreo de Hadoop de Applications Manager le permite:
- Monitorear la disponibilidad y la salud de su sistema Hadoop.
- Comprender y monitorear las estadísticas del HDFS (sistema de archivos distribuidos de Hadoop) – capacidad del DFS, espacio utilizado, espacio libre y espacio no utilizado por el DFS.
- Supervisar el crecimiento de archivos y directorios y prevenir cualquier posible problema debido al crecimiento anormal del número de archivos.
- Supervisar el estado de los bloques (desaparecido, corrupto, etc.) para asegurar que los datos se almacenan de forma óptima en el DFS de Hadoop.
![Hadoop Overview Hadoop Monitoring - ManageEngine Applications Manager](/latam/applications_manager/images/hadoop-overview.png)
Monitorear el sistema de archivos distribuidos de Hadoop (HDFS)
Nuestro panel de monitoreo de Hadoop tiene una amplia gama de funcionalidades para que el seguimiento del desempeño sea completo y fácil de comprender. Algunos de los aspectos más destacados del monitoreo HDFS de Applications Manager incluyen:
- Comprender la capacidad y las tendencias de uso del HDFS supervisando el estado del SO y JVM NameNode.
- Recibir notificaciones cuando se superen los umbrales.
- Monitorear el estado de DataNodes individuales y reciba notificaciones instantáneas cuando estén caídos.
- Supervisar la memoria del HDFS y reciba notificaciones en caso de que la memoria no sea suficiente.
![Hadoop HDFS Hadoop Performance Monitoring - ManageEngine Applications Manager](/latam/applications_manager/images/hadoop-hdfs.png)
Comprender el rendimiento de los TaskTrackers o NodeManagers.
Con la solución de monitoreo de clusters Hadoop de Applications Manager, puede:
- Supervisar el estado (activo, inactivo, en lista gris, etc.) de los TaskTrackers y de las ranuras en la versión 1.x de Hadoop desde el Hadoop MapReduce.
- Ver el estado de la cola para determinar si las tareas se están ejecutando perfectamente o la cola está atascada.
- Para la versión 2.x, supervisar el rendimiento del NodeManager desde el Hadoop Yarn.
- Conocer los recuentos de nodos en diferentes estados como activo, cancelado, no saludable y perdido.
![Hadoop Yarn Hadoop Yarn Monitoring - ManageEngine Applications Manager](/latam/applications_manager/images/hadoop-yarn.png)
Realice un seguimiento de sus trabajos y solicitudes fácilmente
Las herramientas de monitoreo de Hadoop, como ManageEngine Applications Manager, garantizan que usted esté constantemente al tanto de la cantidad de trabajos o aplicaciones que se ejecutan en un momento dado. También le permite ordenar todos los trabajos o aplicaciones por sus estados para facilitar el análisis del rendimiento. Supervise Hadoop para recibir notificaciones sobre la cantidad de trabajos o aplicaciones que han fallado, de modo que pueda tomar las acciones correctivas necesarias cuando sea necesario.
![Hadoop Applications Hadoop Application Monitoring - ManageEngine Applications Manager](/latam/applications_manager/images/hadoop-applications.png)
Informes y dashboards.
Tenga información valiosa al alcance de su mano. Con el software de monitoreo del rendimiento de Hadoop de Applications Manager, visualice el uso de recursos y el rendimiento de su cluster Hadoop con informes y dashboards predefinidos que muestran datos históricos y en tiempo real.
Supervisar los perfiles de usuario para mejorar la productividad de los usuarios
En los entornos virtuales, supervisar los perfiles de usuario es fundamental para garantizar que los usuarios tengan una experiencia consistente cada vez que inician sesión. Evite problemas como la sobrecarga de perfiles (la creación de múltiples usuarios que aumenta el almacenamiento) y la lentitud en el inicio de sesión supervisando la carga de perfiles, la ejecución de scripts y los tiempos de procesamiento del sistema.
¡Comience el monitoreo de cluster Hadoop con Applications Manager!
Applications Manager es un software de monitoreo con una gran variedad de funcionales que llevan el seguimiento de recursos críticos HDFS en una simple plataforma. Para explorar todas las características por su cuenta, ¡Descargue una prueba GRATUITA de 30 días ahora!
Preguntas frecuentes sobre el monitoreo de Hadoop:
¿Qué es la monitorización de Hadoop?
+
El monitoreo de Hadoop se realiza para comprender el desempeño operativo del marco y los componentes que contiene. Monitorear Apache Hadoop puede ayudar a ampliar la visibilidad de componentes críticos como HDFS (Sistema de archivos distribuido Hadoop), bloques, carga del sistema, nodos de datos, NodeManager, trabajos, archivos y directorios. También brinda una comprensión clara de la eficiencia con la que se ocupa el espacio dentro de su marco Hadoop y predice las tendencias de crecimiento de los datos para planificar y reasignar recursos para eliminar posibles episodios de tiempo de inactividad.
¿Cuál es la mejor manera de monitorear el rendimiento de Hadoop?
+
Cuando se trata de una gran red de utilidades para administrar grandes conjuntos de datos, es mejor emplear los servicios de herramientas de monitoreo del rendimiento de Hadoop como Applications Manager. Proporciona visibilidad completa de su marco Hadoop al ofrecer monitoreo del rendimiento, planificación de capacidad, tendencias de pronóstico, alertas, notificaciones de incumplimiento de umbrales y muchas más funcionalidades.
¿Cómo monitorear los trabajos de Hadoop?
+
Monitorear el rendimiento de su sistema Hadoop implica unos sencillos pasos:
- Descargue Applications Manager a través del cual podrá realizar un seguimiento del rendimiento de Apache Hadoop.
- Complete los pasos previos necesarios para comenzar a rastrear métricas importantes de su sistema Hadoop.
- Acceda al software Administrador de aplicaciones y seleccione ' Nuevo monitor ' en la sección Monitores .
- Seleccione ' Hadoop ' para comenzar a configurar su propio monitor Hadoop.
- Una vez configurado, puede crear un monitor para comenzar a rastrear el rendimiento de sus componentes de Hadoop a través del Administrador de aplicaciones, donde puede configurar alarmas, umbrales y recopilar informes.
Para conocer los pasos detallados sobre cómo configurar su monitor Hadoop usando el modo REST API o el modo JMX, visite nuestra página de ayuda.