Ajuste del rendimiento del servicio de introducción

Ajustar Apache NiFi

Para maximizar el rendimiento, NiFi divide los datos entrantes utilizando un enfoque de clúster de maestro cero. Los datos se dividen en fragmentos y cada nodo en el clúster realiza la misma operación en el fragmento que recibe. ZooKeeper elige un nodo como Coordinador de clúster y todos los demás nodos envían datos de monitorización. El coordinador es responsable de desconectar los nodos que no informan puntualmente, o de conectar nuevos nodos que prueban que tienen la misma configuración que los demás nodos del clúster.

Definir Elasticsearch

Elasticsearch utiliza el mismo método de clúster maestro cero que NiFi. El nodo de coordinación recibe solicitudes de escritura y asigna solicitudes de direccionamiento a otras instancias de clúster (fragmentos). De forma predeterminada, cada fragmento renueva su memoria caché de sistema de archivos una vez por segundo y se compromete cada cinco segundos. La fragmentación mantiene un registro de transacciones y vacía el registro cada treinta minutos.

En la fase de consulta del proceso de búsqueda, el nodo de coordinación toma búsquedas entrantes y las envía a todos los fragmentos. Cada fragmento realiza su propia búsqueda, de forma local. La fragmentación prioriza los resultados y devuelve información sobre los principales 50 documentos al nodo de coordinación. En la fase de captación, el nodo de coordinación determina los diez documentos principales de cada lista de fragmentos y solicita que esos documentos envíen cada fragmento.

La fase de consulta suele tardar bastante más que la fase de captación, ya que, durante la consulta, los fragmentos tienen que correlacionar la búsqueda con una lista potencialmente larga de documentos y determinar una puntuación para cada una. Por el contrario, la captación puede completarse rápidamente porque el servidor de coordinación solicita un subconjunto de los documentos utilizando direcciones directas.

La forma principal de mejorar el rendimiento de Elasticsearch es aumentar el rango de renovación. Cuando lo haga, Elasticsearch creará un nuevo segmento de Lucene y lo fusionará más tarde, aumentando el recuento total de segmentos. Además, evite el intercambio si es posible. Establezca bootstrap.memory_lock=true para facilitarlo.

Ajuste los valores específicos siguientes para mejorar el entorno de trabajo de optimización de Elasticsearch.