Transfert des logs (Log Forwarding) TCP / HTTP / HTTPS du Load Balancer OVHcloud
Objectif
L'objectif de ce guide est de vous montrer comment activer la redirection de logs de votre OVHcloud Load Balancer vers Logs Data Platform (LDP), une plateforme qui vous aide à stocker, archiver, interroger et visualiser vos logs. Si vous souhaitez en savoir plus sur Logs Data Platform avant de lire ce guide, reportez-vous au Guide d'introduction de Logs Data Platform.
Afin d'utiliser cette fonctionnalité, vous devez d'abord effectuer un appel de rafraîchissement via l'API aux Load Balancers dont vous souhaitez collecter les logs. Ceci est nécessaire afin de s'assurer que le format des logs de l'OVHcloud Load Balancer est à jour. Vous pouvez utiliser l'appel API ci-dessous, où serviceName est le nom interne de votre Load Balancer, que vous pouvez retrouver sur la page de gestion du Load Balancer de votre espace client OVHcloud ou en utilisant l'appel API dédié.
Glossaire
- Logs Data Platform : une plateforme de gestion de logs entièrement gérée et sécurisée par OVHcloud. Pour plus d'informations, consultez la page de présentation de la solution Logs Data Platform.
- Data Stream: une partition logique de logs que vous créez dans un compte LDP et que vous utiliserez lors de l'ingestion, de la visualisation ou de l'interrogation de vos logs. Plusieurs sources peuvent être stockées dans le même flux de données, et c'est l'unité qui peut être utilisée pour définir un pipeline de logs (politique de rétention, archivage, streaming live, etc.), des droits d'accès et des politiques d'alertes.
- Transfert de logs : fonctionnalité intégrée à un produit OVHcloud pour ingérer les logs de ses services dans un Data Stream d’un compte LDP dans le même compte OVHcloud. Cette fonctionnalité doit être activée par le client et par service.
- Abonnement à la redirection de logs : Lors de l'activation de la redirection de logs pour un service OVHcloud donné vers un LDP Data Stream donné, un Abonnement est créé et attaché au Data Stream pour une gestion ultérieure par le client.
Prérequis
- Un compte Logs Data Platform (LDP) avec au moins un Stream actif configuré. Ce guide vous guidera dans toutes les étapes nécessaires : Quick start for Logs Data Platform (EN).
- Si vous ne connaissez pas toutes les possibilités de configuration d'un Stream LDP, il vous suffit d'en créer un nouveau avec les options par défaut (indexation & websocket activés, stockage longue durée désactivé) pour suivre ce guide.
- Un Load Balancer OVHcloud opérationnel.
- Le compte LDP et le compte OVHcloud Load Balancer doivent appartenir au même compte OVHcloud.
Concepts & limites
À ce jour, les journaux des listeners UDP ne sont pas transférés.
Quels sont les logs d’un OVHcloud Load Balancer ?
Les logs transférés sont générés par HAproxy (le composant open source utilisé pour la répartition de charge).
Consignation du contenu pour les écouteurs TCP : TCP, HTTP
| Nom du champ | Description | Type |
|---|---|---|
| service_name | Le nom du Load Balancer qui a reçu la requête/connexion | Chaine (String) |
| date_time | Horodatage auquel la requête/connexion a été effectuée | datetime (avec résolution en millisecondes) ex. 25/Mar/2024:14:07:19.536 |
| zone | La région OVHcloud à laquelle appartient le Load Balancer | Chaine (String) |
| client_ip | Adresse IP du client qui a initié la connexion TCP au Load Balancer | IP |
| client_port_int | Port TCP du client qui a initié la connexion TCP au Load Balancer | Integer |
| frontend_name | Nom du frontend de votre Load Balancer | Chaine (String) |
| frontend_ip | Adresse IP du frontend de votre Load Balancer | IP |
| frontend_port_int | Port TCP du frontend de votre Load Balancer | Integer |
| backend_name | Nom de la source NAT utilisée par le Load Balancer pour se connecter à vos serveurs backend | Chaine (String) |
| backend_source_ip | Adresse IP source utilisée par le Load Balancer pour se connecter à vos serveurs backend | IP |
| backend_source_port_int | Port source utilisé par le Load Balancer pour se connecter à vos serveurs backend | Integer |
| server_ip | Adresse IP du serveur backend connecté à votre Load Balancer | IP |
| server_port_int | Port TCP du serveur backend connecté à votre Load Balancer | Integer |
| termination_state | L'indicateur de fin de session : 2 lettres pour TCP, 4 lettres pour HTTP, tous les détails sont sur la page de documentation HAProxy | Chaîne (par exemple « ---- ») |
| bytes_read_int | Taille (en octets) de la réponse envoyée par le Load Balancer au client | Integer |
| bytes_uploaded_int | Taille (en octets) de la requête envoyée par le client au Load Balancer | Integer |
| time_duration_int | Durée (en millisecondes) de la session TCP au moment où la demande a été effectuée | Integer |
Contenu supplémentaire pour les écouteurs HTTP
| Nom du champ | Description | Type |
|---|---|---|
| catch_request_headers | Les en-têtes de la requête HTTP, par exemple « User-Agent » | Chaine (String) |
| http_request | Ressource de la requête HTTP, par exemple « /index.html » | Chaine (String) |
| http_status_code_int | Le statut HTTP retourné, par exemple « 200 » | Integer |
Instructions
Prenez en compte que l'activation du forwarding est gratuite, mais vous serez facturé pour l'utilisation du service Logs Data Platform selon le tarif standard. Pour la tarification du LDP, consultez cette page.
Activation du forwarding des journaux du Load Balancer via l’espace client OVHcloud
Cette fonctionnalité n'est pas encore disponible dans l'espace client.
Activation de Audit Log Forwarding via API
Vous devrez définir le Stream ciblé de l’un de vos comptes LDP vers lequel vous souhaitez transférer vos logs. L'activation du forwarding va créer un abonnement pour cet ID de flux.
Vous pouvez récupérer les spécifications de l'API dans le portail OVH API.
Étape 1 - Récupérer le Stream (et l'ID) cible
Lister les flux de données de votre compte Logs Data Platform (renseignez votre identifiant LDP sous la forme ldp-xx-xxxx dans le champ « serviceName ») :
Obtenir les détails d'un flux de données :
Étape 2 - Créez votre abonnement
Utilisez l'appel API suivant pour créer un abonnement :
Vous devrez remplacer :
- serviceName : il s'agit du nom interne de votre Load Balancer, que vous pouvez retrouver sur la page de gestion du Load Balancer de votre espace client OVHcloud ou en utilisant l'appel API dédié.
La requête POST a une charge utile qui nécessite :
kind: le type de journal que vous voulez transférer, soit « http » ou « tcp ». Vous pouvez trouver les types disponibles en utilisant l'appel API dédié.streamId: flux de données cible de votre compte LDP vers lequel vous souhaitez que vos logs du service Load Balancer soient transférés.
Vous obtiendrez en réponse un operationId :
Vous pouvez utiliser le operationId pour récupérer le subscriptionId à des fins de gestion ultérieure à l'aide de l'appel d'api suivant :
Une fois l'opération terminée, vous pouvez également récupérer les abonnements à l'aide de l'appel API suivant :
Une fois en possession du subscriptionId, vous pouvez obtenir les détails via l'appel API suivant :
Comment utiliser les logs OVHcloud Load Balancer ?
Maintenant que vos logs sont ingérés et stockés dans votre flux de données Logs Data Platform, vous pouvez interroger vos logs et créer des tableaux de bord pour avoir une représentation graphique de vos logs en utilisant l'interface web de Graylog.
- Dans votre espace client, récupérez le nom d'utilisateur LDP (ex: logs-xxxx) et son mot de passe sur la page d'accueil de votre compte Logs Data Platform. Vous pouvez vous référer au Guide de démarrage rapide pour Logs Data Platform.
- Ouvrir l'interface utilisateur Graylog. Vous pouvez récupérer le lien sur la page d'accueil de votre compte ou en utilisant votre point d'accès en fonction de la région de votre compte (par exemple : la région de Gravelines est
https://gra1.logs.ovh.com/). - Connectez-vous à Graylog en utilisant votre nom d'utilisateur et votre mot de passe Logs Data Platform.
- Parcourez vos logs dans le flux de données de votre compte Logs Data Platform. Vous pouvez consulter la documentation Graylog writing search queries (EN) pour plus de détails sur la syntaxe de recherche.
Reportez-vous à la documentation suivante : Logs Data Platform - Visualizing, querying and exploiting your logs (EN) pour plus de détails sur l'utilisation de vos logs avec Logs Data Platform, y compris sur la façon de :
- mettre en place des alertes
- consulter les logs en temps réel via un WebSocket
- créer une visualisation avec les tableaux de bord OpenSearch
- créer une intégration avec l'API OpenSearch
- se connecter avec Grafana
Comment gérer vos abonnements ?
À tout moment, vous pouvez récupérer les abonnements attachés à votre flux Logs Data Platform et choisir de désactiver la redirection en annulant votre abonnement sur votre flux, de sorte que votre flux Logs Data Platform ne reçoive plus vos journaux d'audit.
Notez que cela ne supprime pas les journaux stockés avant l'annulation de l'abonnement, car les données stockées dans un flux de journal sont immuables, sauf si vous supprimez le flux entier.
Pour supprimer votre abonnement, vous pouvez utiliser l'appel API suivant :
Aller plus loin
Si vous avez besoin d'une formation ou d'assistance technique pour mettre en œuvre nos solutions, contactez votre représentant commercial ou cliquez sur ce lien pour obtenir un devis et demandez à nos experts Professional Services de vous aider sur votre cas d'utilisation spécifique de votre projet.
Échangez avec notre communauté d'utilisateurs.