Configuración de Ingest a través de REST

Puede configurar todos los conectores de Ingest a través de un único punto final de REST. Todos los conectores heredan un conjunto de configuraciones como atributos globales y hacen que estén disponibles como atributos de flowfile NiFi dentro de NiFi. Si tiene acceso a este punto final, puede añadir o eliminar funcionalidades NiFi desde fuera del flujo de proceso NiFi principal.

Funciones de Ingest accesibles

Los valores de atributo globales predeterminados son los siguientes. Puede utilizarlos para activarlos rápidamente e incluir una variedad de funciones de Ingest.

alias.keep.backup

Esta opción se utiliza cuando se crea un alias de índice. Determina el número de copias de índices antiguos que se deben conservar; estas se pueden guardar para recuperarlas en el futuro. El valor predeterminado es 2.

cache.invalidation.duration

Define el número máximo de segundos para que se complete la invalidación de la memoria caché base. El valor predeterminado es de 60 segundos.

cache.invalidation.threshold

Define el número máximo de entradas para realizar la invalidación de caché incremental. Se realizará una invalidación completa de la caché cuando se supere este umbral durante una operación de Ingest. El valor predeterminado es 10000.

flow.basic.nlp.category.search

Define si se incluyen nombres de categorías al realizar una búsqueda de términos. El valor predeterminado está inhabilitado. Nota: Habilitar esta opción puede generar un conjunto de resultados de búsqueda mucho mayor, lo que aumenta el tiempo de respuesta general.

flow.language.fallback

Esta función permite a Ingest indexar el texto del idioma predeterminado de la tienda para cualquier idioma que no tenga una traducción. La habilitación de esta función puede tener un impacto significativo en el tiempo de indexación global. Su valor predeterminado es true.

flow.database.listagg

Esta función permite al tiempo de ejecución de Ingest no utilizar la versión de base de datos de LISTAGG y utilizar la implementación LISTAGG a nivel de aplicación. Aunque la versión de la base de datos es más rápida, tiene una limitación de longitud de 32K. Su valor predeterminado es true. Para obtener más información, consulte LISTAGG() y Serialize.

flow.retry.partial

Esta función permite realizar nuevos intentos solo con las entradas anómalas de una solicitud en masa en lugar de en todo el archivo de flujo. El valor predeterminado es false.

flow.marketplace

Esta función permite a Ingest no incluir funciones de Marketplace en los índices de búsqueda. Su valor predeterminado es false.

flow.wait.strategy

Define la estrategia predeterminada para WaitLink:

Bulk: solo se desbloquea mediante el envío de señal desde Bulk Service
Cualquiera: igual que Bulk, pero también se puede desbloquear por inactividad detectada en SQL o Bulk. Es el valor predeterminado.

matchmaker.proximity

Este número especifica el rango de proximidad que MatchMaker utiliza para aproximarse al realizar búsquedas. El valor predeterminado es 0,2, lo que equivale a +/- 20%. El valor predeterminado es 0.2.

flow.price.copy

Esta opción permite realizar una copia inteligente de los precios del índice de precios en el índice de productos de los tipos de entorno especificados. El valor predeterminado se establece en "auth, live".

flow.inventory.copy

Esta opción permite realizar una copia inteligente de los inventarios del índice de inventario en el índice de productos de los tipos de entorno especificados. El valor predeterminado se establece en "auth, live".

flow.concurrent.postindex

Esta opción define si se debe ejecutar el conector posterior al índice en segundo plano. El valor predeterminado se establece en false.

cluster.index.nodegroup

Esta opción define qué configuración del grupo de nodos de Elasticsearch se está utilizando: individual o dual. El valor predeterminado es single.

cache.invalidation.duration

Define el número máximo de segundos para que se complete la invalidación de la memoria caché base. El valor predeterminado es 60 segundos.

cache.invalidation.threshold

flow.wait.strategy

Define la estrategia predeterminada para WaitLink:

Bulk: solo se desbloquea mediante el envío de señal desde Bulk Service
Cualquiera: igual que Bulk, pero también se puede desbloquear por inactividad detectada en SQL o Bulk. Es el valor predeterminado.

flow.basic.nlp.category.search

Define si se incluyen nombres de categorías al realizar una búsqueda de términos. El valor predeterminado está inhabilitado.

Note: Habilitar esta opción puede generar un conjunto de resultados de búsqueda mucho mayor, lo que aumenta el tiempo de respuesta general.

Puede introducir datos de catálogo de su propia tabla de base de datos para CATENTRY y CATGROUP y utilizarlos como base para todas las operaciones de introducción en sentido descendente. Utilice los siguientes atributos globales para definir esta condición de tabla base personalizada.

Utilice flow.database.schema para definir el nombre de esquema de base de datos personalizado que desea utilizar para la indexación.
Utilice custom.table.catentry para proporcionar una tabla CATENTRY personalizada para refinar el ámbito base de las SQL de entrada de catálogo.
Utilice custom.where.catentry para proporcionar una cláusula Where personalizada de la tabla CATENTRY personalizada.
Utilice custom.table.catgroup para proporcionar una tabla CATGROUP personalizada para refinar el ámbito base de los SQL de grupo de catálogo.
Utilice custom.where.catgroup para proporcionar una cláusula Where personalizada de la tabla CATGROUP personalizada.

Para establecer un valor personalizado en una función de Ingest, puede emitir el siguiente llamada REST

PATCH /search/resources/api/v2/configuration?nodeName=ingest&envType=auth

con el contenido siguiente:

{ "global": { "connector": [ { "name": "attribute", "property": [ { "name": name_of_ingest_feature, "value": value_of_this_property } ] } ] } }

Para inhabilitar la versión de la base de datos predeterminada de la tabla LISTAGG, debe incluir la siguiente carga útil en la solicitud:

{ "global": { "connector": [ { "name": "attribute", "property": [ { "name": "flow.database.listagg", "value": "false" } ] } ] } }