Kafka es una popular plataforma de transmisión distribuida que se utiliza para enviar mensajes, poner en cola y procesar transmisiones de registros en tiempo real. Con el crecimiento exponencial de los datos y la creciente complejidad de las implementaciones de Kafka, garantizar el estado y el rendimiento de los clusters de Kafka es fundamental. Dado que Kafka se ejecuta en varios agentes y particiones en los nodos, se escala de forma dinámica y maneja un gran volumen de datos, la gestión y el monitoreo de los clusters de Kafka pueden volverse un desafío.
Applications Manager ofrece una suite de monitoreo de Kafka lista para producción que ayuda a rastrear el ecosistema de mensajería de Kafka de manera efectiva y ayuda a las organizaciones a mantener una alta disponibilidad y eficiencia en la mensajería y la transferencia de datos para lograr operaciones comerciales sin inconvenientes. Diseñada para cumplir con los requisitos empresariales, nuestra herramienta de monitoreo de Kafka lo ayuda a reducir el tiempo que lleva resolver problemas de producción, lo que permite que los equipos de ingeniería trabajen de manera más efectiva en la implementación del sistema.
Así sea un administrador experimentado de Kafka o nuevo en el ecosistema, un software de monitoreo de Kafka como Applications Manager puede brindarle la visibilidad y el control que necesita para mantener sus clusters de Kafka funcionando sin problemas. El monitoreo de Kafka de Applications Manager le permite realizar un seguimiento de las siguientes métricas en nuestro panel de monitoreo de Kafka:
Obtenga información detallada sobre las estadísticas de uso de recursos de sus servidores Kafka para tener una idea clara de la capacidad de utilización del servidor Kafka. Con la supervisión de Kafka de Applications Manager, puede supervisar métricas clave de uso de recursos, como memoria física, memoria virtual y memoria de intercambio, para saber cuánta RAM está utilizando su servidor Kafka y recibir notificaciones en caso de un aumento repentino en el consumo de recursos. Además, obtenga estadísticas detalladas sobre la memoria de pila y no pila de JVM del servidor Kafka para descubrir cuántos datos se están almacenando y detectar fugas de memoria, si las hubiera.
Vigile de cerca los subprocesos que se utilizan en los servidores de Kafka para gestionar múltiples solicitudes de mensajería y evitar cuellos de botella, como sobrecargas de memoria, bloqueos de subprocesos y falta de capacidad de subprocesos. La supervisión de Kafka de Applications Manager le ayuda a analizar los detalles de los subprocesos mediante el seguimiento de métricas como el daemon, el pico y el recuento de subprocesos activos para identificar qué subproceso está causando realmente los problemas en caso de anomalías en el rendimiento.
Supervise las métricas principales de sus clusters de Kafka y obtenga visibilidad en profundidad del rendimiento de los siguientes componentes:
Obtenga información completa sobre los temas que se ejecutan dentro del agente de un cluster de Kafka y configure alertas en caso de que algún tema tenga un rendimiento anormal. Vigile de cerca las métricas clave de los temas, como bytes entrantes o salientes, mensajes entrantes y solicitudes de obtención o producción fallidas, y compare su rendimiento entre temas para tomar decisiones informadas sobre la asignación de recursos o el equilibrio de carga entre temas.
El monitoreo de temas de Kafka de Applications Manager rastrea las siguientes métricas clave de los temas de Kafka:
| Parámetro | Descripción |
|---|---|
| Detalles del registro | |
| Tasa de descarga de registro | La tasa de vaciado del registro del disco asincrónico. |
| Métricas del tema del broker | |
| Bytes de entrada/min | La tasa de bytes entrantes agregada (cantidad de datos escritos en el tema de este agente) por minuto. |
| Bytes de salida/min | La tasa agregada de bytes salientes por minuto. |
| Bytes rechazados / Min | La cantidad de datos en mensajes rechazados por el corredor por minuto. |
| Solicitudes de recuperación fallidas/min | La cantidad de solicitudes de lectura de datos de consumidores que los corredores no pudieron procesar para este tema por minuto. |
| Solicitudes de productos fallidos/min | El número de solicitudes del productor que han fallado. |
| Mensajes En / Min | La cantidad de mensajes que llegan al bróker de Kafka. |
| Administrador de replicación | |
| IsrExpande/Min | El número de expansiones de réplicas "sincronizadas". |
| IsrEncogimientos/Min | El número de réplicas "sincronizadas" se reduce. |
| Conteo de líderes | La cantidad de particiones para las cuales un host en particular es el líder. |
| Recuento de particiones | El número de particiones en el clúster. |
| Particiones replicadas en | Esto indica que la cantidad de particiones en el clúster están sub-replicadas. |
| Porcentaje promedio de inactividad del controlador de solicitudes | La fracción promedio de tiempo que los subprocesos del controlador de solicitudes están inactivos. |
Obtenga información detallada sobre los agentes de Kafka que funcionan como controladores para administrar las particiones, los líderes y las réplicas en un clúster de Kafka. Realice un seguimiento de los controladores activos para identificar el agente que era el líder en el momento en que se produjo el problema en el cluster junto con el recuento exacto de particiones sin conexión para una rápida resolución de problemas e incidentes.
Estas son las métricas clave de un controlador de Kafka que debes tener en cuenta:
| Parámetro | Descripción |
|---|---|
| Detalles del controlador Kafka | |
| Recuento de controladores activos | Número de controladores activos en el cluster. |
| Recuento de particiones sin conexión | El número de particiones no disponibles. |
| Tasa de elección de líder | La tasa de elecciones de líderes. |
| Tasa de elección de líderes impuros | La tasa de elecciones de líderes impuros. |
Obtenga una descripción general completa de los detalles de mensajería de su servidor Kafka y monitoree el rendimiento de las solicitudes o la tasa total de bytes entrantes y salientes en sus temas de agente para identificar posibles cuellos de botella y tomar las medidas adecuadas, como implementar la compresión de extremo a extremo para sus mensajes, si es necesario.
A continuación se muestra la lista de métricas clave que deben monitorearse en su red Kafka:
| Parámetro | Descripción |
|---|---|
| Tasa de procesamiento de solicitudes | |
| Solicitud de producción/min | La cantidad de mensajes escritos en el tema de este broker. |
| Solicitud Obtener Consumidor / Min | La cantidad de datos que los consumidores obtuvieron de este tema sobre este corredor. |
| Solicitud Obtener Seguidores/Min | Las solicitudes de los corredores que son seguidores de una partición para obtener nuevos datos. |
| Tiempo que tardan las solicitudes | |
| Tiempo total de producción/min | El tiempo total para atender la solicitud especificada. |
| Tiempo total de obtención del consumidor/min | El tiempo total que los consumidores tardaron en obtener datos de este tema en este bróker. |
| Tiempo total de obtención de seguidores/min | El tiempo total que tardan los seguidores de una partición en obtener nuevos datos |
| Tasa de procesador de red | |
| Porcentaje promedio de inactividad del procesador de red/mín. | La capacidad libre promedio de los procesadores de red por minuto. |
Obtenga información completa sobre los temas que se ejecutan dentro del agente de un cluster de Kafka y configura alertas en caso de que algún tema tenga un rendimiento anormal. Vigile de cerca las métricas clave de tus temas, como bytes entrantes o salientes, mensajes entrantes y solicitudes de obtención o producción fallidas, y compara su rendimiento entre temas para tomar decisiones informadas sobre la asignación de recursos o el equilibrio de carga entre temas.
Applications Manager supervisa las siguientes métricas clave de los temas de Kafka:
| Parámetro | Descripción |
|---|---|
| Detalles del tema | |
| Nombre del tema | Especifica el nombre del tema. |
| Bytes en / min | La tasa de bytes entrantes agregada (cantidad de datos escritos en el tema de este agente) por minuto. |
| Bytes de salida/min | La tasa agregada de bytes salientes por minuto. |
| Solicitudes de recuperación fallidas/min | El número total de solicitudes de búsqueda fallidas por minuto. |
| Solicitudes de productos fallidos/min | El número total de solicitudes de productor fallidas. |
| Mensajes En / Min | La cantidad de mensajes que llegan al bróker de Kafka. |
Administre sus clusters de Kafka con Apache ZooKeeper mediante el seguimiento de clusters, agentes y configuraciones de temas, y también ocupándose de la elección de líderes de particiones. Dado que ZooKeeper almacena metadatos sobre los agentes, temas y particiones de Kafka, y se ocupa de tareas administrativas como la elección de líderes de particiones, controle de cerca las métricas de ZooKeeper para evitar interrupciones o lentitud del rendimiento no deseadas y para mantener un cluster de Kafka en buen estado.
Optimice la detección y resolución de incidentes identificando problemas de rendimiento en clusters de Kafka, como retrasos de los consumidores o particiones sin conexión, y recibiendo notificaciones inmediatas por correo electrónico, mensajes de texto o Slack. Puede enviar estas alertas a herramientas de gestión de incidentes externas, como ServiceNow o ManageEngine ServiceDesk Plus. También puede responder rápidamente a los incidentes automatizando acciones correctivas, como el uso de webhooks para iniciar acciones externas.
Aproveche el poder del aprendizaje automático para generar informes predictivos sobre el rendimiento del clúster de Kafka, así como las capacidades de alerta e informes impulsados por IA para simplificar la supervisión y la resolución de problemas del rendimiento de Kafka, lo que garantiza operaciones comerciales ininterrumpidas.
Desbloquee una experiencia de monitoreo de Kafka sin inconvenientes con Applications Manager. Realice un seguimiento de todos los indicadores críticos de rendimiento de Kafka junto con el resto de su pila de aplicaciones. ¡Obtenga la última versión ahora!
Descargar prueba gratuita de 30 díasLa supervisión de Kafka es el proceso de supervisión del uso de los recursos y las operaciones subyacentes en Kafka para garantizar que su rendimiento no se vea afectado. Kafka ha crecido considerablemente en términos de volumen y complejidad, y al ser un componente crucial en la infraestructura de TI, es necesario implementar un software de supervisión de Kafka dedicado (como ManageEngine Applications Manager) para realizar un seguimiento de sus operaciones, identificar y resolver cuellos de botella y optimizar el rendimiento.
La herramienta de monitoreo de Kafka de Applications Manager tiene un precio inicial de $395 por año para monitorear hasta 10 clusters de Kafka. Es una de las soluciones de monitoreo de Kafka más rentables para su empresa y le permite escalar su monitoreo a medida que su implementación de Kafka crece en tamaño.
Es fácil configurar la supervisión de Apache Kafka con Applications Manager. Solo tiene que habilitar JMX en el agente de Kafka y configurar el monitor de Kafka en Applications Manager especificando las credenciales de JMX, incluido el nombre de usuario, la contraseña, el puerto JMX y la ruta JNDI.
Puede recopilar métricas de monitoreo de Kafka detalladas relacionadas con el estado y el rendimiento de todos los siguientes componentes de Kafka:
Puede recopilar métricas de monitoreo de Kafka detalladas relacionadas con el estado y el rendimiento de todos los siguientes componentes de Kafka:
Consulte nuestra página de ayuda de monitoreo de Kakfa para obtener más información.
Nos permite realizar un seguimiento de métricas cruciales como los tiempos de respuesta, la utilización de recursos, las tasas de error y el rendimiento de las transacciones. Las alertas de monitoreo en tiempo real nos notifican rápidamente sobre cualquier problema o anomalía, lo que nos permite tomar medidas inmediatas.
Industria: Investigación y desarrollo
Jefe de aplicaciones, Axtel