Liberar cambios en el servicio Ingest
Puede emitir llamadas SQL para recuperar datos de la base de datos desde dentro de la canalización NiFi. Esta información se convierte del formato tabular "2d" de la base de datos a una cadena unidimensional para Elasticsearch. Normalmente, esta agregación de la lista se lleva a cabo dentro de la base de datos, sin embargo, cada base de datos impone un límite sobre la longitud de la cadena devuelta. Si el SQL intenta serializar una serie más larga, se truncará. Se ha introducido una solución a este problema en la HCL Commerceversión 9.1.7.
Parámetro LISTAGG introducido en la versión 9.1.7
La búsqueda de HCL Commerce proporciona una función a nivel de aplicación para realizar la serialización en lugar de realizar la agregación en la base de datos. Puede controlar este comportamiento utilizando el atributo flow.database.listagg variable/flowfile. El valor predeterminado se establece en True, que mantiene la agregación de cadenas a nivel de base de datos.
Establecer el atributo flow.database.listagg en ReindexLink, NRTLink o DataloadLink define esta propiedad globalmente en todo el flujo de datos. Establecer el atributo flow.database.listagg flowfile según sea necesario en un canal de conector en su lugar delimitará y aislará la agregación de cadenas a nivel de aplicación en la etapa de proceso de canalización dada y es preferible para optimizar el rendimiento de la introducción.
True significa que el sistema se basará en la base de datos para realizar la agregación de listas. Este valor predeterminado es rápido pero impone un límite en el tamaño de las series devueltas, que es diferente para cada una de las bases de datos soportadas. Al establecer el valor en False, se conmuta la agregación de lista a nivel de aplicación, que no tiene límite de tamaño para la consulta devuelta, pero este cambio puede provocar que se multiplique por 2 el tiempo de procesamiento de la introducción. Actualización a la versión 9.1.10
En la versión 9.1.10.0 y posteriores, el servicio Ingest sincroniza automáticamente NiFi con los descriptores de conector personalizados almacenados en Zookeeper. Los descriptores de conector predeterminados de versiones anteriores, que en estas se almacenaban dentro de Zookeeper, ya no son necesarios, excepto los que están personalizados. Para estos, tendrá que mantener su propia copia dentro de Zookeeper.
En versiones anteriores a la 9.1.10.0, siempre que se reinicia el servicio Ingest, todos los descriptores de conectores se suprimen del nodo de Zookeeper /conectores. El servicio Ingest vuelve a crear los conectores dentro de Zookeeper basándose en los descriptores de conector predeterminados. Esto hará que pierda los descriptores de conector personalizados.
Para obtener instrucciones detalladas, consulte Migración de personalizaciones del servicio Ingest.