Recopilación de datos MustGather relacionados con la búsqueda basada en Elasticsearch para problemas del servicio Ingest de búsqueda

Prepare la siguiente información MustGather antes de llamar al soporte de HCL para ayudarle con el proceso de resolución de problemas.

About this task

Este MustGather se puede utilizar para investigar la causa de los problemas de Ingest basados en Elasticsearch. Si está intentando responder una de las siguientes preguntas, este es el MustGather que querrá utilizar:

¿Por qué no veo los cambios de mi catálogo en el escaparate después de una recopilación completa del índice de búsqueda?
Se ha iniciado una recopilación completa del índice de búsqueda. ¿Cuál es el estado de esta recopilación?
He ejecutado una recopilación automática del índice completo. ¿Cuáles son los resultados de esta recopilación?

Procedure

Ejecute la siguiente API de REST para iniciar el trabajo de indexación y guardar el valor runId de la respuesta para utilizarlo más adelante:
```
https://{{ingest_hostname_port}}/connectors/{{connectorId}}/run?storeId={{storeId}}&envType={{envType}}
```
Ejecute la siguiente API de REST para obtener el estado actual de la ejecución de Ingest (usando el runId 1):
```
https://{{ingest_hostname_port}}/connectors/{{connectorId}}/runs/{{runId}}/status
```
Note: Si la ejecución de Ingest no se ha completado, ejecute periódicamente la solicitud anterior hasta que indique que se ha completado la ejecución de Ingest.

Recopile las respuestas para las siguientes API de REST:

https://{{ingest_hostname_port}}/connectors/{{connectorId}}/runs/{{runId}}/ https://{{ingest_hostname_port}}/connectors/{{connectorId}}/runs/ https://{{ingest_hostname_port}}/connectors/{{connectorId}}

What to do next

Revisión de los datos

Definición del conector de Ingest: La definición del conector establece la estructura de la canalización de Ingest, haciendo referencia a los grupos de procesos y sus configuraciones variables. Validar la versión actual de la definición del conector es esencial para asegurarse de que está utilizando la versión esperada de una canalización de Ingest.

Historial de ejecuciones del conector de Ingest

En el historial de ejecuciones de Ingest se muestran las últimas ejecuciones en un conector determinado. Esto se puede utilizar para identificar las ejecuciones de Ingest recientes y confirmar si se han realizado otras ejecuciones de Ingest desde que se ha completado una ejecución en particular. Por ejemplo, aquí se muestran las últimas tres ejecuciones para un conector de ejemplo:

{ "items": [ { "run": "i-6ac247a6-556e-471b-8272-eb4cd52c795b", "date": "2023-08-24T05:22:51.680Z" }, { "run": "i-2e5b30ce-8d92-41cc-9d68-9db94300cb68", "date": "2023-08-23T12:25:12.956Z" }, { "run": "i-18aea9f6-83ba-412e-9ef2-9e2e18f790a9", "date": "2023-08-23T12:17:55.759Z" } ], "offset": 0, "size": 3 }

Si desea verificar si las ejecuciones adicionales en la misma canalización de Ingest han tenido los mismos problemas que las ejecuciones de Ingest en cuestión, observe los resultados de cada una de estas ejecuciones.

Registro de ejecuciones de Ingest

El registro de ejecuciones de Ingest contiene información relacionada con una ejecución de Ingest específica. Cualquier mensaje de registro de nivel INFO, WARNING o ERROR notificado durante la ejecución se compilará en el registro de ejecuciones y se resumirá en el grupo de procesos de la etapa terminal. Por ejemplo, al comienzo de la salida de la etapa terminal para esta ejecución de Ingest, se muestran las ubicaciones y la cantidad de mensajes notificados:

{ "items": [ ... { "_index": "log", "_type": "_doc", "_id": "bc6278c7-c8a0-4bbd-80cf-e2947e1f1a9e", "_score": null, "_source": { "date": "2023-07-25T07:17:10.874Z", "severity": "I", "reference": null, "code": "DI0003I", "connector": "auth.reindex.cas", "location": "Terminal Stage", "run": "i-f14729a2-2941-4ef4-95ba-c4159044964e", "type": "summary", "attributes": null, "source": null, "message": { "start": "2023-07-25T07:14:15.147Z", "end": "2023-07-25T07:17:09.621Z", "run": "i-f14729a2-2941-4ef4-95ba-c4159044964e", "locations": { "info": { "Attribute Schema": "1", "Catalog Schema": "1", "Category Schema": "1", "Description Schema": "1", "Inventory Schema": "2", "Page Schema": "1", "Price Schema": "2", "Store Schema": "2", "Store Stage 1 (Store Locations), Find Store Locations": "1", "Workspace Schema": "2" } },

Más abajo, se enumeran los mensajes de registro específicos para proporcionar más contexto sobre el tipo de mensajes notificados por el grupo de procesos:

 "messages": { "Store Schema": [ "DI0002I Successfully initialized auth.store index dynamic settings", "DI0002I Successfully initialized auth.store index dynamic mappings" ], "Catalog Schema": [ "DI0002I Successfully initialized .auth.10501.catalog.202307250714 index schema" ], "Attribute Schema": [ "DI0002I Successfully initialized .auth.10501.attribute.202307250714 index schema" ], "Page Schema": [ "DI0002I Successfully initialized .auth.10501.page.202307250714 index schema" ], "Category Schema": [ "DI0002I Successfully initialized .auth.10501.category.202307250714 index schema" ], "Store Stage 1 (Store Locations), Find Store Locations": [ "DI0002I Successfully initialized .auth.10501.product.202307250714 index schema" ], "Description Schema": [ "DI0002I Successfully initialized .auth.10501.description.202307250714 index schema" ], "Price Schema": [ "DI0002I Successfully initialized auth.price index dynamic settings", "DI0002I Successfully initialized auth.price index dynamic mappings" ], "Inventory Schema": [ "DI0002I Successfully initialized auth.inventory index dynamic settings", "DI0002I Successfully initialized auth.inventory index dynamic mappings" ], "Workspace Schema": [ "DI0002I Successfully initialized auth.workspace index dynamic settings", "DI0002I Successfully initialized auth.workspace index dynamic mappings" ] }, "severities": { "I": 14 },

En la sección elapsed se muestra el tiempo empleado (en milisegundos) en cada etapa del procesamiento:

 "elapsed": { "absolute": { "connector": "174474", "stages": { "Product Stage 1a (Product Document)": "21601" } }, "cumulative": { "summary": { "Catalog Pipeline": "5380", "NLP Pipeline": "40306", "Page Pipeline": "5409", "Product Pipeline": "7667", "Send Categories to Elasticsearch Pipeline": "4263", "Send Products to Elasticsearch Pipeline": "3874", "Send Stores to Elasticsearch Pipeline": "5666" }, "stages": { "Catalog Stage 1b (Filters)": "5380", "NLP Service": "40306", "Page Stage 1 (Page Document)": "5409", "Product Stage 1g (Long Descriptions)": "7667", "Send Categories to Elasticsearch": "4263", "Send Products to Elasticsearch": "3874", "Send Stores to Elasticsearch": "5666" }, "bulk": { "Catalog Stage 1b (Filters)": "3133", "NLP Service": "14473", "Page Stage 1 (Page Document)": "2160", "Product Stage 1g (Long Descriptions)": "3576" }, "retry": { "Catalog Stage 1b (Filters)": "0", "NLP Service": "0", "Page Stage 1 (Page Document)": "0", "Product Stage 1g (Long Descriptions)": "0" } } }

En la sección processed se proporcionan todas las operaciones de creación y actualización de documentos de índice completadas. La métrica size incluye el número total de bytes escritos en Elasticsearch de cada una de las etapas listadas:

 "processed": { "created": { "Attribute Stage 1a (Attribute Document)": "194", "Catalog Stage 1a (Catalog Document)": "3", "Category Stage 1a (Category Document)": "111", "Category Stage 1c (Long Descriptions)": "0", "Page Stage 1 (Page Document)": "32", "Product Stage 1a (Product Document)": "3920", "Product Stage 1g (Long Descriptions)": "3920", "Store Stage 1 (Store Document)": "7" }, "updated": { "Catalog Stage 1b (Filters)": "8", "NLP Service": "3920", "STA Stage 1 (STA)": "0" }, "validated": { "Catalog Stage 1a (Catalog Document)": "100%", "Catalog Stage 1b (Filters)": "100%", "NLP Service": "100%", "Page Stage 1 (Page Document)": "100%", "Product Stage 1g (Long Descriptions)": "100%" }, "failures": { "Catalog Stage 1a (Catalog Document)": "0", "Catalog Stage 1b (Filters)": "0", "NLP Service": "0", "Page Stage 1 (Page Document)": "0", "Product Stage 1g (Long Descriptions)": "0" }, "retries": { "Catalog Stage 1a (Catalog Document)": "0", "Catalog Stage 1b (Filters)": "0", "NLP Service": "0", "Page Stage 1 (Page Document)": "0", "Product Stage 1g (Long Descriptions)": "0" }, "sizes": { "Catalog Stage 1a (Catalog Document)": "1742", "Catalog Stage 1b (Filters)": "4024", "NLP Service": "5213397", "Page Stage 1 (Page Document)": "21697", "Product Stage 1g (Long Descriptions)": "1994263" } }

La sección SQL contiene los tiempos transcurridos para nuestros grupos de procesos, específicamente para consultas SQL si necesita reducir el tiempo dedicado al procesamiento de la base de datos frente a las solicitudes de ElasticSearch:

 "sql": { "execution": { "Store Stage 1 (Store Document)": "43", "Store Stage 1 (Supported Languages)": "16", "Store Stage 1 (Supported Catalogs)": "11", "Store Stage 1 (Configurations)": "27", "Store Stage 1 (Store Locations)": "51", "STA Stage 1 (STA)": "17", "Catalog Stage 1a (Catalog Document)": "18", "Catalog Stage 1b (Filters)": "21", "Category Stage 1a (Category Document)": "61", "Category Stage 1d (Hierarchy)": "29", "Attribute Stage 1a (Attribute Document)": "65", "Category Stage 1b (Facets)": "47", "Attribute Stage 1b (Attribute Values)": "132", "Product Stage 1a (Product Document)": "4740", "Product Stage 1h (Child Items)": "5351", "Product Stage 1i (Parent Category)": "4933", "Product Stage 1b (Enrich Document - Overrides)": "1711", "Product Stage 1b (Enrich Document - Entitlements)": "2490", "Product Stage 1b (Enrich Document - Associations)": "591", "Product Stage 1b (Enrich Document - Attachments)": "3165", "Product Stage 1e (Find Attributes)": "9669", "Price Stage 1b (Bundle Prices)": "252", "Price Stage 1a (Product Prices)": "2863", "Inventory Stage 1 (Product Inventory)": "12881", "Page Stage 1 (Page Document)": "237", "Category Stage 1c (Long Descriptions)": "22", "Product Stage 1g (Long Descriptions)": "296" }, "fetch": { "Store Stage 1 (Store Document)": "2", "STA Stage 1 (STA)": "2", "Catalog Stage 1a (Catalog Document)": "2", "Catalog Stage 1b (Filters)": "1", "Category Stage 1a (Category Document)": "5", "Attribute Stage 1a (Attribute Document)": "20", "Product Stage 1a (Product Document)": "166", "Page Stage 1 (Page Document)": "3", "Category Stage 1c (Long Descriptions)": "2", "Product Stage 1g (Long Descriptions)": "646" } }