Despliegue de un perfil de Ingest

Después de desarrollar y probar un perfil de Ingest en el entorno de desarrollo, puede desplegarlo utilizando el kit de herramientas de NiFi.

Before you begin

Asegúrese de que ha instalado el kit de herramientas de NiFi basado en Eclipse. Puede encontrar este kit de herramientas en el archivo commerce-custom-search-bundles-9.1.10.0.zip. Para obtener más información, consulte Configuración de HCL Commerce Developer Search environment.
Java 8 es necesario para crear los archivos .jar en la guía de aprendizaje.
Aplique la corrección HC-17918 al contenedor de NiFi. Para obtener más información, consulte Correcciones que se incluyen en las versiones de HCL Commerce.
Prepare el kit de herramientas de desarrollo para NiFi siguiendo las instrucciones que figuran en Personalizar procesadores NiFi.
Copie el archivo ingest-api.jar de /opt/nifi/nifi-current/lib en el contenedor de NiFi y colóquelo en el directorio libs en la raíz del proyecto.

About this task

Para obtener una guía de aprendizaje detallada sobre cómo personalizar, probar y desplegar las personalizaciones a través de los perfiles de Ingest, consulte Guía de aprendizaje: Personalización de conectores predeterminados con un perfil de Ingest. En esta guía de aprendizaje se tratan temas como los requisitos previos del entorno de desarrollo, la creación y transferencia de archivos personalizados .jar al entorno.

Procedure

Siga las instrucciones que figuran en Personalizar procesadores NiFi para crear un archivo de NiFi personalizado (NAR) para el proyecto.
Cree su proyecto. En el Explorador de proyectos, pulse el botón derecho del ratón en el nombre del proyecto y seleccione Ejecutar como > Instalación de Maven. Para obtener más información, consulte Personalizar procesadores NiFi.
Transfiera los archivos JAR producidos por la compilación al directorio lib del contenedor de NiFi, utilizando una sintaxis similar a la del ejemplo siguiente.
```
docker cp "/root/myproject.jar" NIFI_CONTAINER_ID:/opt/nifi/nifi-current/lib
```
Cree un perfil de Ingest con el nombre que desee, utilizando el punto final del perfil de servicio de consulta como se indica más abajo.
```
POST http://QUERY_HOST:QUERY_PORT/search/resources/api/v2/documents/profiles/myingestprofile?profileType=Ingest
```
Note: El punto final /profiles contiene un directorio, custom, con otros tres subdirectorios: ingest, nlp y search. Puede colocar perfiles personalizados en el subdirectorio adecuado. Esto permite que las imágenes de consulta de datos personalizadas incluyan sus propias configuraciones personalizadas. Estas se pueden crear utilizando su propia canalización de CI /CD. De este modo, las imágenes se pueden reutilizar en varios entornos, sin necesidad de utilizar configuraciones del ZooKeeper específico del entorno.
Enlace el perfil de Ingest al canal de conector cuyas propiedades va a ampliar. Realice los pasos siguientes. Para obtener instrucciones sobre cómo utilizar un punto final de Ingest para actualizar el enlace de perfil de Ingest como una variable a un canal de conector, consulte Actualización del grupo de procesos NiFi, del procesador y del servicio del responsable mediante el descriptor del conector Ingest.
Reinicie el contenedor de NiFi.
Una vez que la interfaz de usuario de NiFi se esté ejecutando y no haya errores o componentes no válidos, desencadene un índice completo para storeId=31. Esto se puede hacer utilizando el siguiente punto final de Ingest.
```
POST http://INGEST_HOST:INGEST_PORT/connectors/auth.reindex/run?storeId=31
```
Reinicie el contenedor de servicios de consulta.

Results

El perfil de Ingest personalizado está activo y listo para su uso.

What to do next

Puede realizar la codificación y las pruebas de la unidad dentro del kit de herramientas de NiFi basado en Eclipse utilizando datos simulados, mediante la opción de prueba de JUnit proporcionada por Maven. En el archivo commerce-custom-search-marketplace-seller.zip se proporcionan dos ejemplos de pruebas de unidad. Estos archivos son ComposeDatabaseSQLTest.java, y CreateProductDocumentFromDatabaseTest.java.

ChangeSQL es un proveedor de expresiones de perfil de Ingest. Puede utilizar esta referencia de ejemplo para aprender a modificar el SQL utilizado en las etapas predeterminadas de Extracción, Transformación y Carga (ETL). ComposeDatabaseSQLTest es la prueba de JUnit que se puede utilizar para verificar la lógica de código dentro de ChangeSQL.
ChangeDocument es una extensión de postprocesador del perfil de Ingest que muestra cómo puede realizar una manipulación de datos más detallada después de la transformación predeterminada, en una de las etapas de Ingest relacionadas con el producto. CreateProductDocumentFromDatabaseTest es la prueba de JUnit que se puede utilizar para verificar la lógica de código dentro de ChangeDocument.

Una vez que las configuraciones personalizadas y la lógica de extensión Java están preparadas, se pueden exportar a un archivo NAR NiFi personalizado y añadirse al contenedor NiFi. Esto le permite probar la lógica personalizada con el flujo de datos predeterminado en el tiempo de ejecución de NiFi.

Para ejecutar la prueba de JUnit, pulse el botón derecho del ratón en la clase de prueba de JUnit elegida y elija Ejecutar como... o Depurar como... > Prueba de JUnit .