Comprensión de los gráficos de Grafana

Puede utilizar Grafana para analizar el rendimiento de la canalización de Ingest. Los dos gráficos más útiles son Elementos en cola y WaitLink.

Representación visual de las actividades de NiFi

En los conectores de Ingest de NiFi, los grupos de procesos WaitLink se agregan entre los grupos de procesos para garantizar que la etapa anterior se complete antes de que comience la siguiente. De esta manera, las etapas posteriores no utilizarán datos en los que se esté trabajando actualmente en un proceso sin terminar. Además, esto reduce la aparición de diferentes procesos que se ejecutan al mismo tiempo, lo que puede causar picos extremos en las solicitudes de recursos para CPU, red, memoria o E/S de disco.

NiFi utiliza "archivos de flujo" para procesar datos en lotes. El número de documentos incluidos en un archivo de flujo se define mediante la propiedad scroll.bucket.size. Por ejemplo, el valor (scroll.bucket.size)=300 permitiría 300 catentryIds por archivo de flujo si se aplica al segmento de procesamiento Actualizar producto 1i .

Se puede realizar un seguimiento de los valores WaitLink y Bucket.Size en Grafana. Observar las actividades y las cantidades ayuda a determinar el comportamiento del sistema y ayuda a detectar segmentos lentos.

Interpretación de los gráficos y detección de obstáculos

Los gráficos "enlace de espera" y "elementos en cola" que muestran datos para el procesador de Bulk Service son métricas clave para comprender la operación de compilación de Ingest/Index. Los valores del procesador de Bulk Service son importantes ya que indican paquetes enviados al clúster de Elasticsearch. Esto se debe a que todos los retrasos de los archivos de flujo se encuentran solo dentro de Bulk Service y no en otras fases de extracción y transformación de cada etapa.

Ambos gráficos tienen una serie de métricas que se pueden rastrear (pulsando la línea coloreada en el lado derecho del gráfico), pero solo se visualizan de forma predeterminada las métricas más relevantes. Pase el puntero del ratón por encima de la línea del gráfico y vea qué curva pertenece a qué grupo de procesos o enlace de espera. Cuando se hace clic en el nombre del grupo de procesadores o en el enlace de espera, aparece un pequeño recuadro emergente:

El gráfico "enlace en cola" representa el número de archivos de flujo en cola para su procesamiento en un grupo de procesadores determinado. Un fuerte aumento de la curva indica que el procesador anterior (o grupo de procesadores) está procesando los datos más rápidamente, o que al grupo de procesadores le cuesta mantener el mismo nivel de rendimiento general que los grupos de procesadores adyacentes. En la imagen siguiente, puede observar un aumento rápido en el número de elementos en cola alrededor de la marca de tiempo 21.54, lo que indica que el procesador no está alcanzando el ritmo del flujo entrante:

Del mismo modo, la sección de bajada de rampo del gráfico tiene una curva empinada, lo que indica que la CPU pudo completar el procesamiento rápidamente. Cuanto más empinada es la curva, más rápido puede procesar el procesador los archivos de flujo, y cuanto más superficial es la curva, más lenta es la velocidad con la que el procesador puede procesar los datos. En la imagen siguiente se puede ver un caso de procesamiento de flujo de datos lento:

La velocidad de entrada (centrada en la marca de tiempo 22:22) es sustancialmente mayor que la velocidad de salida, siendo la velocidad de entrada relativamente pronunciada en comparación con el ángulo superficial de la curva de salida.

Estas observaciones simples son fáciles de aplicar a gráficos para identificar posibles obstáculos. Sin embargo, las conclusiones no son siempre verdaderas, y los grupos de procesadores a veces están restringidos en su proceso de datos. Para concluir, se necesitan más observaciones para confirmar el obstáculo.

Debajo de los elementos en cola hay gráficos de WaitLink. Los gráficos WaitLink, a diferencia de los elementos en cola, muestran qué etapa o segmento se está procesando en un momento dado. En otras palabras, mientras que el eje X indica el tiempo (correspondiente al gráfico de los elementos de cola), el eje Y - muestra el segmento activo, con valores que oscilan entre 0 y 1:

Si el sistema da soporte a varios idiomas, es posible que vea que aparecen muchos WaitLinks al mismo tiempo. Por lo tanto, es posible que los gráficos que alcanzan el eje Y hasta el valor 2 se muestren para dos idiomas o más.

Los enlaces de espera son útiles para evaluar qué etapa de procesamiento tarda más en completarse. Los segmentos más lentos son los rectángulos más largos, que son los mejores candidatos para la optimización del proceso de introducción.

En el siguiente tema vamos a explorar algunos casos típicos de procesamiento de introducción subóptima y le pediremos que formule una estrategia para mejorar la velocidad de procesamiento.