Integración con el conector de Kafka

Transmita automáticamente los datos de operaciones en vivo en Samsara a un clúster de Kafka para impulsar aplicaciones en tiempo real y poblar tu almacén de datos.

El productor de Kafka de Samsara admite los siguientes casos de uso:

Ubicaciones GPS de vehículos, remolques, equipo y rastreadores de activos
Diagnóstico del vehículo, incluidos odómetro, horas de uso del motor, códigos de falla, niveles de combustible y más.
Incidentes, incluyendo alertas de incidentes, exceso de velocidad grave, entrada y salida de geocerca, documento presentado, y más.

Para la carga útil del mensaje para cada entidad de datos, consulte Referencia del conector de Kafka.

Requisitos

Kafka: Kafka 0.10.1.0 o una versión posterior.
Samsara: Acceso a la transmisión de datos a través de su licencia de Plataforma

Algunas entidades requieren suscripciones en Telemática y Seguridad para que los datos estén disponibles para la transmisión. Por ejemplo, se requiere una licencia de AG para transmitir el GPS del equipo.

Consideraciones de seguridad

Es posible que su equipo de TI necesite la aprobación de su equipo de Seguridad interno para permitir que un productor externo como Samsara escriba en su clúster de Kafka. Además, tenga en cuenta lo siguiente:

El conector de Kafka requiere un punto de conexión público a todos los intermediarios en su clúster de Kafka.
Samsara requiere el conjunto mínimo de permisos para producir un tema de Kafka:

Recomendamos que solo otorgue los permisos mínimos para escribir (WRITE) y describir (DESCRIBE) para el tema específico a las credenciales de autenticación.

Samsara encripta los secretos cuando se conecta a su clúster de Kafka.
Las solicitudes del conector de Kafka de Samsara se emiten desde un conjunto estático de direcciones IP.

Si desea restringir el acceso a su clúster de Kafka por IP de origen, debe agregar las direcciones IP de Samsara a su lista de direcciones permitidas.

Para obtener la lista de direcciones IP, inicie sesión en su panel de Samsara y navegue a Configuración ( ) > Webhooks.

Implementación

Nextbillion.ai desarrolló la integración y proporcionará apoyo con la implementación según sea necesario. Siga los pasos a continuación para comenzar. En caso de tener algún problema, póngase en contacto con el servicio de soporte de Samsara.

Configure el clúster de Kafka.

Si aún no tiene un clúster de Kafka, seleccione una plataforma en la nube de tu elección para desplegar uno. Hay varias opciones que puede usar. Consulte nuestra guía de conectores de datos para ver una lista de opciones y obtener más información.

Los pasos restantes para conectar el productor Kafka de Samsara a su clúster se realizan a través de la plataforma en la nube Confluent.
Cree un tema en su clúster de Kafka en Confluent para recibir datos de Samsara.

Si no es posible acceder a su clúster de Kafka desde fuera de su red, asegúrese de:
1. Permitir conexiones entrantes a todos los intermediarios para el conector de Kafka de Samsara.
  
  Para obtener la lista de direcciones IP, inicie sesión en su panel de Samsara y navegue a Configuración ( ) > Webhooks.
2. Configure los oyentes anunciados para direcciones o nombres de host que se pueden resolver externamente. Para obtener más información, consulte la documentación de Confluent sobre los oyentes de Kafka.
Configure un usuario SASL/PLAIN en el broker.

Consulte los pasos 1-3 en la documentación de configuración sobre Oyentes de Kafka.

Debe configurar SASL SSL, en lugar de texto en SASL PLAIN.
Otorgue al usuario acceso de escritura ACLS y defina el acceso al nuevo tema.

Para su nombre de Tema específico, otorgue el mismo Permiso, Operación y Tipos de patrón como se muestra, y luego haga clic en Siguiente.
Registre la clave y el secreto para uso futuro en el panel de Samsara.
Desde el panel de Samsara, configure el Conector de Kafka.
1. Navegue a Configuración ( ) > Transmisión de datos.
2. Seleccione Clústers conectados.
3. Haga clic en + Crear conexión.
4. Ingrese la siguiente información generada desde su clúster de Kafka:
  - URL: Puede encontrar la URL en la Configuración del clúster bajo el servidor Bootstrap. Esta ubicación puede ser diferente si el usuario no está utilizando Confluent.
  - Mecanismo SASL: Seleccione SASL/PLAIN según su configuración de Confluent.
  - Clave: Este campo es la Clave (Nombre de usuario SASL de Kafka) que Confluent generó cuando configuró el acceso al tema como se describió en el paso anterior.
  - Secreto: Este campo es el Secreto (Contraseña SASL de Kafka) que Confluent generó cuando configuró el acceso al tema como se describió en el paso anterior.
  - Nombre del clúster: Proporcione un nombre para identificar fácilmente su clúster autenticado al configurar las transmisiones de datos.
5. Haga clic en + Guardar tras terminar.
  
  Si la configuración se hizo correctamente, Samsara muestra una notificación de Suscripción a Kafka creada correctamente. La inicialización de la transmisión del conector tardará unos minutos en completarse.
6. Seleccione Transmisiones.
7. Haga clic en + Crear transmisión e ingrese la siguiente información:
  - Clúster conectado: Seleccione un clúster de Kafka conectado con el destino del tema previsto.
  - Nombre del tema: Vincule el nombre del tema en su clúster conectado para el destino de esta transmisión de suscripción.
  - Entidades: Seleccione una o más entidades de datos para transmitir a un clúster conectado. Cada entidad seleccionada será una transmisión única.
8. Haga clic en + Crear transmisiones cuando haya terminado.