[Bêta] Connecteur Kafka

Note

Le connecteur Kafka est disponible en bêta ouverte. Si votre compte Samsara est sur la voie de l'Adoptant Précoce ou de la Sortie Continue, vous pouvez choisir de tester le flux Kafka dans Gestion des fonctionnalités.

Certaines fonctions abordées dans cet article peuvent ne pas faire partie de votre plan de licence actuel. Contactez votre représentant des ventes pour savoir comment vous pouvez y accéder.

Diffusez automatiquement les données d'opérations en direct de Samsara dans un cluster Kafka pour motoriser les applications en temps réel et peupler votre entrepôt de données.

Le producteur Kafka de Samsara prend en charge les cas d'utilisation suivants:

Emplacements GPS des véhicules, remorques, équipements et boîtiers de localisation des actifs
Diagnostics du véhicule, y compris l'odomètre, les heures de fonctionnement du moteur, les codes d'erreur, les niveaux de carburant et plus encore
Événements, y compris les incidents d'alerte, les excès de vitesse importants, l'entrée et la sortie du périmètre virtuel, le document soumis, et plus encore

Pour le contenu des données utiles pour chaque entité de données, voir Référence du connecteur Kafka.

Exigences

Kafka : Kafka 0.10.1.0 ou une version ultérieure.
Samsara : Accès au flux de données via votre licence Plateforme

Certaines entités nécessitent des licences en Télématique et en Données de Sécurité pour que les données soient disponibles en flux. Par exemple, une licence AG est nécessaire pour diffuser le GPS de l'équipement en flux.

Considérations de sécurité

Votre équipe informatique peut avoir besoin de l'approbation de votre équipe de sécurité interne pour permettre à un producteur externe comme Samsara d'écrire sur votre cluster Kafka. De plus, soyez conscient de ce qui suit :

Le connecteur Kafka nécessite un point de terminaison public pour tous les courtiers de votre cluster Kafka.
Samsara nécessite l'ensemble minimal de permissions pour produire un sujet Kafka:

Nous recommandons que vous n'accordiez que les permissions minimales pour ÉCRIRE et DÉCRIRE sur le sujet spécifique aux identifiants d'authentification.

Samsara crypte les secrets lorsqu'il est connecté à votre cluster Kafka.
Les demandes du connecteur Kafka de Samsara émanent d'un ensemble statique d'adresses IP.

Si vous souhaitez restreindre l'accès à votre cluster Kaka par IP source, vous devez ajouter les adresses IP de Samsara à votre liste d'autorisation.

Pour obtenir la liste des adresses IP, connectez-vous à votre tableau de bord Samsara et naviguez vers Paramètres ( ) > Liens de rappel.

Déploiement

Samsara a construit le connecteur Kafka et prendra en charge les déploiements au besoin. Suivez les étapes ci-dessous pour commencer. Si vous rencontrez des problèmes, veuillez contacter l'assistance Samsara.

Configurez le cluster Kafka.

Si vous n'avez pas déjà un cluster Kafka, sélectionnez une plateforme cloud de votre choix pour en déployer un. Il existe plusieurs options que vous pouvez utiliser. Référez-vous à notre guide du connecteur de données pour voir une liste d'options et en savoir plus.

Les étapes restantes pour connecter le producteur Kafka de Samsara à votre cluster Kafka sont illustrées à travers la plateforme cloud Confluent.
Créez un sujet dans votre cluster Confluent Kafka pour recevoir des données de Samsara.

Si votre cluster Kafka n'est pas accessible depuis l'extérieur de votre réseau, assurez-vous que vous:
1. Autorisez les connexions entrantes à tous les courtiers pour le connecteur Kafka de Samsara.
  
  Pour obtenir la liste des adresses IP, connectez-vous à votre tableau de bord Samsara et naviguez vers Paramètres ( ) > Liens de rappel.
2. Configurez les auditeurs annoncés pour des adresses ou des noms d'hôte résolvables de l'extérieur. Pour plus d'informations, consultez la documentation Confluent sur les auditeurs Kafka.
Configurez un utilisateur SASL/PLAIN sur le courtier.

Voir les étapes 1 à 3 dans la documentation de configuration à propos des Auditeurs Kafka.

Vous devez configurer SASL SSL, et non SASL en texte brut.
Accordez à l'utilisateur un accès en écriture ACLS et définissez l'accès au nouveau sujet.

Pour votre nom de sujet spécifique, accordez les mêmes Permission, Opération, et Types de modèle comme indiqué, puis cliquer sur Suivant.
Enregistrez la clé et le secret pour une utilisation future dans le tableau de bord Samsara.
À partir du tableau de bord Samsara, configurez le connecteur Kafka.
1. Naviguez vers Paramètres ( ) > Flux de données.
2. Sélectionnez Clusters connectés.
3. Cliquez sur + Créer une connexion.
4. Entrez les informations suivantes générées à partir de votre cluster Kafka:
  - URL : Vous pouvez trouver l'URL dans les Paramètres du cluster sous le serveur Bootstrap. Cet emplacement peut être différent si l'utilisateur n'utilise pas Confluent.
  - Mécanisme SASL : Sélectionnez SASL/PLAIN en fonction de vos paramètres Confluent.
  - Clé : Ce champ est la Clé (Nom d'utilisateur SASL Kafka) que Confluent a généré lorsque vous avez configuré l'accès au sujet comme décrit à l'étape précédente.
  - Secret : Ce champ est le Secret (mot de passe SASL Kafka) que Confluent a généré lorsque vous avez configuré l'accès au sujet comme décrit à l'étape précédente.
  - Nom du cluster : Fournissez un nom pour identifier facilement votre cluster authentifié lors de la configuration des flux de données.
5. Cliquez sur + Enregistrer lorsque vous avez terminé.
  
  Si la configuration est réussie, Samsara affiche une notification Abonnement Kafka créé avec succès. L'initialisation du flux du connecteur prendra quelques minutes pour se terminer.
6. Sélectionnez Flux.
7. Cliquez sur + Créer un flux et entrez les informations suivantes:
  - Cluster connecté : Sélectionnez un cluster Kafka connecté avec la destination de sujet souhaitée.
  - Nom du sujet : Faites correspondre le nom du sujet dans votre cluster connectée pour la destination de ce flux d'abonnement.
  - Entités : Sélectionnez une ou plusieurs entités de données à envoyer en flux vers un cluster connecté. Chaque entité sélectionnée sera un flux unique.
8. Cliquez sur + Créer des flux lorsque vous avez terminé.