Ampliación de los conectores Ingest
HCL Commerce proporciona conectores de ingesta predeterminados que realizan tareas de ingesta y transformación de datos para preparar los datos del índice de búsqueda. Puede usarlos tal cual o puede personalizar estos conectores de ingesta predeterminados según los requisitos empresariales mediante la API de servicio de ingesta de búsqueda. Este tema describe las personalizaciones que puede realizar y cómo puede gestionarlas y trasladarlas a diferentes versiones.
Personalizaciones
- Personalizar la estructura de los conectores Ingest por defecto (actualización)
-
Realice cambios estructurales en los conectores ingeridos predeterminados. Un cambio estructural se refiere a la adición o eliminación de canalizaciones (grupos de procesos) de los conectores predeterminados. Por ejemplo, agregar canalizaciones de margen de beneficio al conector auth.reindex predeterminado.
Para realizar el cambio estructural:- 1. Obtenga el JSON completo del descriptor del conector específico utilizando el punto final,
GET /connector/{connectorID}
Note: También puede recuperar el descriptor JSON completo del conector específico desde el contenedor de Ingest, profile/apps/search-ingest.ear/search-ingest.war/WEB-INF/classes/deployments - Después de recuperar el JSON completo, copie el descriptor completo en un nuevo archivo y edite la estructura según sus requisitos.
- Utilice la API de actualización con el descriptor del conector completo (ConnectorDescriptorJson) que tiene el cambio estructural.
- 1. Obtenga el JSON completo del descriptor del conector específico utilizando el punto final,
- Personalizar la propiedad y la configuración de los componentes por defecto/existentes (actualización)
- Realice cambios de propiedades y configuración en los grupos de procesos, procesadores, conexiones y servicios responsables. Para realizar estos cambios, coloque el archivo JSON del descriptor de actualización dentro del contenedor en la carpeta (/profile/apps/search-ingest.ear/search-ingest.war/WEB-INF/classes/deployments/customization). En función de esto, la API de servicio de ingesta de búsqueda ejecuta automáticamente la API de actualización con este JSON del descriptor de actualización proporcionado para personalizar las propiedades y la configuración de los conectores de ingesta predeterminados.Note: Para obtener más información sobre cómo crear un JSON de descriptor de actualización, consulte Actualización del grupo de procesos NiFi, del procesador y del servicio del responsable mediante el descriptor del conector Ingest
Gestionar las personalizaciones
- Mejore o actualice el cuerpo JSON en función de las personalizaciones que realice (cambio de estructura o cambio de configuración y propiedad). Note: La API de mejora también puede realizar la funcionalidad de la API de actualización.
- Para actualizar la API, asegúrese de que la canalización y la propiedad existen en el grupo de procesos, el procesador, la conexión y el servicio de controlador.
- Para actualizar la API, asegúrese de que la canalización se agrega al Registro.
Si la API de actualización se ejecutó con datos en cola o con procesos de servicio de Ingesta en marcha y la barra de estado de NiFi UI indica componentes no válidos, el proceso de actualización fallará. La cola debe despejarse localizando los Grupos de Proceso en la tubería que ha puesto en cola los datos del archivo de flujo. Detener los grupos de procesos que tienen datos en cola. Para obtener más información, consulte Detención de un componente.
/connectors/auth.reindex/upgrade
Mover personalizaciones a través de versiones
Implementación de Kubernetes
El script de implementación comprueba la versión de las imágenes NiFi. Si coincide, entonces Nifi PV no se borra. Si no coincide, entonces Nifi PV se borra. Cuando se borra el PV, todas las personalizaciones realizadas en la versión anterior también se borran.
- Cualquier personalización relacionada con la estructura debe realizarse manualmente de nuevo siguiendo el proceso mencionado en la sección Personalizaciones.
- Las personalizaciones relacionadas con la propiedad y la configuración se pueden realizar automáticamente mediante Ingest:
- Inicie el servicio de Docker de Ingest.
- Mueva el JSON del descriptor de actualización dentro del contenedor, /profile/apps/search-ingest.ear/search-ingest.war/WEB-INF/classes/deployments/customization
- Compromete el contenedor para crear una imagen personalizada.
- Utilice el script de implementación normal con una etiqueta de imagen de Ingest personalizada.