Panel del total de operaciones

El panel de control muestra el número de operaciones realizadas en el clúster de Elasticsearch, desglosadas por operaciones de indexado, búsqueda, obtención y eliminación.

Tasa total de operaciones

Este panel muestra la velocidad a la que se realizan las operaciones en el clúster de Elasticsearch, desglosadas por operaciones de indexado, búsqueda, obtención y eliminación.
Tiempo total de operaciones

Este panel muestra el tiempo total que ha durado cada operación, desglosadas por operaciones de indexado, búsqueda, obtención y eliminación.

Esto puede ayudarle a identificar las operaciones que tardan más de lo esperado y que pueden requerir una optimización.

Supervisión y análisis de un problema típico

Es posible observar y ajustar las operaciones de Elasticsearch para un único tipo de carga de trabajo o una combinación de varias cargas de trabajo. Ajustar Elasticsearch para un único tipo de carga de trabajo es relativamente fácil y sencillo.

Cuando dispone de una combinación de operaciones, por ejemplo, la compilación del índice y el procesamiento de solicitudes de búsqueda de producción, el éxito del ajuste depende de la comprensión y simulación de la mezcla de la carga de trabajo en el entorno de prueba de rendimiento.

La siguiente sección muestra cómo ajustar de forma sencilla la carga de trabajo de la instancia para crear un índice en Elasticsearch. Antes de ajustar el tráfico activo, probablemente esta sea la prueba de ajuste inicial del equipo.

Operaciones de tipo único de Elasticsearch

Para determinar si Elasticsearch necesita más recursos al compilar un índice, puede utilizar las siguientes directrices basándose en las métricas mencionadas anteriormente:

Uso de CPU alto: Si Elasticsearch utiliza un alto porcentaje de la CPU durante la indexación, puede añadir más recursos de CPU al clúster. También puede comprobar si los procesos de indexación o consultas de bajo rendimiento consumen más recursos en la CPU de los esperados.
Uso de la memoria alto: Si Elasticsearch utiliza una gran cantidad de memoria durante la indexación, puede añadir más recursos de memoria al clúster. También puede comprobar si los procesos de indexación o consultas de bajo rendimiento consumen más recursos de memoria de los esperados. Además, puede supervisar el uso de la memoria de las memorias caché de Elasticsearch, como la memoria caché de datos de campo, y ajustar el tamaño de la memoria caché en consecuencia.
Velocidad de indexación baja: Si la tasa de indexación es más lenta de lo esperado, puede indicar que Elasticsearch necesita más recursos, como CPU o memoria. Puede comprobar las métricas del uso de la CPU y la memoria para comprobar si están cerca del límite. Si es así, es posible que necesite añadir más recursos al clúster. También puede comprobar si hay consultas o procesos de indexación que provoquen cuellos de botella o si hay problemas de E/S de disco o de red.
E/S de disco alta: Si la E/S de disco es alta durante la indexación, puede añadir más recursos de disco al clúster. También puede comprobar si el bajo rendimiento de las consultas o los procesos de indexación están provocando una E/S de disco alta. Además, puede supervisar el uso del espacio del disco y ajustar los valores de configuración de Elasticsearch, como el tamaño de los fragmentos, para optimizar el uso del disco.
Registros de Elasticsearch: Los registros de Elasticsearch pueden proporcionar información valiosa sobre errores, avisos y otros problemas relacionados con la escasez de recursos. Puede comprobar los registros de Elasticsearch para ver si hay mensajes de error relacionados con la escasez de recursos y llevar a cabo las acciones adecuadas para solucionarlos.

Mediante la supervisión de estas métricas y el análisis de los patrones y tendencias a lo largo del tiempo, puede determinar si Elasticsearch necesita más recursos y llevar a cabo las acciones adecuadas para optimizar el rendimiento del clúster durante el proceso de indexación.

En caso de almacenamiento dinámico bajo

Cuando el almacenamiento dinámico de Elasticsearch es bajo, esto puede causar varios problemas, como tiempos de respuesta lentos, aumento de la latencia e incluso bloqueos. Estos comportamientos inestables pueden tener lugar al ejecutar una sola tarea en Elasticsearch o cuando se ejecutan simultáneamente varias tareas concurrentes en Elasticsearch, como en la compilación de índices y en el servicio de solicitudes de búsqueda.

Estos son los comportamientos típicos que Elasticsearch pueden mostrar cuando el almacenamiento dinámico es bajo:

Aumento de la actividad de recogida de basura (GC)

El recopilador de basura de Elasticsearch debe ejecutarse con más frecuencia para reclamar más memoria a medida que se llena el almacenamiento dinámico. Esto puede aumentar el uso de la CPU, provocar pausas de GC más largas y reducir el rendimiento.
Tamaño de memoria caché reducido

Elasticsearch utiliza varias memorias caché para acelerar las búsquedas y las consultas. Cuando el almacenamiento dinámico es bajo, el tamaño de la memoria caché puede reducirse o incluso inhabilitarse, lo que provoca que los tiempos de búsqueda sean más lentos.
E/S de disco aumentado

Si Elasticsearch no puede guardar todos los datos en la memoria, es posible que deba guardar algunos datos en el disco, lo que aumentaría la E/S de disco y ralentizaría el rendimiento.

Es importante tener en cuenta que Elasticsearch proporciona una memoria nativa para varias memorias caché y repositorios de almacenamiento. La configuración recomendada normalmente para el almacenamiento dinámico de Elasticsearch consiste en asignar el 50 % de la memoria del Pod al espacio de almacenamiento dinámico de la JVM. Deje el otro 50 % en la memoria nativa y en la memoria caché de los archivos.

Consideraciones adicionales sobre el consumo de la memoria.

Tamaño masivo: El uso de solicitudes en masa puede mejorar significativamente el rendimiento de indexación al indexar varios documentos a la vez. Sin embargo, el tamaño de las solicitudes en masa también puede afectar al rendimiento. Si el tamaño masivo es demasiado grande, podría agotar los recursos y ralentizar el proceso de indexación. Si el tamaño masivo es demasiado pequeño, será necesario realizar más solicitudes y el rendimiento global será más lento.

No hay un tamaño correcto para la solicitud en masa. Pruebe otorgando diferentes valores al tamaño de solicitudes en masa para encontrar el tamaño óptimo para su carga de trabajo. Esta configuración se puede realizar estableciendo el tamaño del archivo de flujo de NiFi, que, a su vez, reflejará directamente el tamaño de las solicitudes en masa que NiFi llevará a cabo para Elasticsearch.

Es importante tener en cuenta que Elasticsearch limita el tamaño máximo de una solicitud de HTTP a 100 MB de forma predeterminada, por lo que deberá asegurarse de que ninguna solicitud supere dicho tamaño.