Supervision Kafka

Apache Kafka est une plate-forme de diffusion d'événements distribuée open source et tolérante aux pannes développée par LinkedIn. Considéré comme service de journal distribué, Kafka est souvent utilisé à la place des agents de messages traditionnels en raison de son débit, de son évolutivité, de sa fiabilité et de sa réplication plus élevés. Étant donné que Kafka est un système distribué, les sujets sont partitionnés et répliqués sur plusieurs nœuds.

Au fil des ans, Kafka a considérablement augmenté en termes de volume et de complexité, et étant un composant crucial de l'infrastructure informatique, il est nécessaire de mettre en œuvre un analyseur kafka dédié pour suivre ses opérations et ses performances. Les outils de supervision Kafka tels que l'outil de surveillance Kafka d'Applications Manager collectent toutes les mesures de performance qui peuvent aider à résoudre les problèmes de Kafka, et il vous montre ceux qui nécessitent une action corrective.

Suivez les métriques de performances de Kafka avec l’analyseur de performances de Kafka Applications Manager

Les mesures de performances importantes de Kafka à rechercher lors de l'exécution de la supervision de Kafka incluent:

• Mesures d'utilisation des ressources
• Métriques d’agent Kafka
• Métriques du producteur Kafka
• Mesures de consommation Kafka

Assurez-vous que vos ressources ne sont pas surchargées

Avec la fonction de supervision Kafka d'Applications Manager, vous pouvez découvrir et surveiller automatiquement les serveurs Kafka et suivre les détails de l'utilisation des ressources, tels que la mémoire, le processeur et la croissance du disque, au fil du temps; cela garantira que vous ne manquerez pas de ressources. La solution de supervision d’Applications Manager Kafka vous aidera à vous assurer que votre serveur Kafka fonctionne en permanence comme prévu avec des alertes qui sont envoyées chaque fois qu'il y a des pics soudains de consommation de ressources ou des modèles inhabituels.

Gardez un œil sur les threads et l'utilisation de la JVM

Comme il s'exécute dans la machine virtuelle Java (JVM), Kafka s'appuie sur les processus de récupération de place Java pour libérer de la mémoire. Plus votre cluster Kafka est actif, plus le garbage collection s'exécutera souvent. Avec l'outil de supervision Kafka d'Applications Manager, il est facile de suivre les tailles de tas JVM et de s'assurer que les threads démarrés ne surchargent pas la mémoire du serveur. Le moniteur de performances Applications Manager Kafka vous permet également de suivre l'utilisation des threads avec des métriques telles que le démon, le pic et le nombre de threads en direct pour éviter les goulots d'étranglement des performances dans votre système.

Comprendre les statistiques d’agent, du contrôleur et de la réplication

Dans un cluster Kafka, l’agent qui sert de contrôleur gère les états des partitions et des répliques, en plus d'effectuer des tâches administratives telles que la réaffectation des partitions. Avec la solution de supervision Kafka d'Applications Manager, vous pouvez analyser les contrôleurs actifs pour voir quel agent était le contrôleur en cas de problème, ainsi que le nombre de partitions hors ligne à ce moment-là. Vous pouvez également surveiller la latence de vidage du journal d’agent; plus il faut de temps pour vider les journaux sur un disque, plus le pipeline est sauvegardé. L’analyseur Kafka d’Applications Manager aidera à suivre les partitions sous-répliquées pour voir si la réplication se déroule aussi vite que configuré.

Surveiller les détails du réseau et des sujets

Avec l'outil de gestion Applications Manager, la surveillance des réseaux Kafka devient facile. Obtenez une image complète de l'utilisation du réseau sur votre hôte et suivez le débit du réseau ou agrégez le taux d'octets entrants et sortants sur les sujets de votre agent pour comprendre où se trouvent les goulots d'étranglement potentiels. Prenez des décisions éclairées, par exemple si vous devez activer la compression de bout en bout de vos messages.

Gérer les pannes et dépanner plus rapidement

Avec son puissant système de gestion des pannes, l'outil de gestion Kafka d’Applications Manager fournit des données sur les pannes qui se produisent dans le système, ainsi que des données détaillées sur les origines de ces pannes. Cela accélère considérablement l'analyse des défauts et le processus de dépannage. Il est facile de configurer des seuils pour divers attributs de performance et de déclencher des alarmes chaque fois que ces seuils sont dépassés.

Vous pouvez également associer des actions, telles que l'escalade par e-mail/SMS, l'action de service Windows et l'opération MBean, à des seuils. Celles-ci peuvent être effectuées automatiquement lorsque les seuils sont dépassés. Très peu d'outils de supervision Kafka comme Applications Manager vous permettent de configurer des profils d'anomalie avec des lignes de base dynamiques pour étudier la dégradation progressive des performances qui pourrait autrement passer inaperçue..

Obtenir des rapports riches en données sur toutes les mesures de performances

L'outil de supervision Apache Kafka d'Applications Manager fournit  des rapports détaillés sur tous les attributs de performance importants. Avec ces rapports, vous pouvez analyser les tendances historiques de diverses mesures pour prendre des décisions éclairées. Outre la supervision d'Apache Kafka, Applications Manager vous permet également de prédire les tendances de croissance et d'utilisation à l'aide de techniques d'apprentissage automatique, qui vous aident lors de la planification de la capacité.

Outre la supervision Apache Kafka, Applications Manager propose également une analyse pour les serveurs   intergiciels suivants :

• Supervision d'IBM WebSphere MQ
• Agent de messages WebSphere MQ
• Supervision MS Exchange
• Supervision MS SharePoint
• Supervision MSMQ
• Supervision du serveur d'intégration WebLogic
• Supervision de Microsoft Lync
• Supervision de Microsoft BizTalk
• Supervision d'Oracle Tuxedo
• Bus de service Azure
• Supervision RabbitMQ
• Supervision Apache ActiveMQ