Configuración de la invalidación de la memoria caché remota
Mediante Apache Kafka y Apache ZooKeeper, puede ejecutar la invalidación de memoria caché desde HCL CommerceTransaction server o de forma remota desde un servidor Liberty. Puede habilitar y personalizar esta característica al editar los archivos de configuración de HCL Commerce.
Antes de empezar
HCL CommerceLa versión 9 utiliza Apache Kafka y Apache ZooKeeper para sincronizar de forma transparente los datos entre varios servidores. El procedimiento siguiente presupone que tiene instalaciones de trabajo de ambos productos en la red.
Importante: Instale y ejecute Kafka y ZooKeeper como servidores aislados en contenedores de Docker dedicados. Ninguna de las dos aplicaciones está incluida en HCL Commerce. Configure Kafka utilizando variables de almacenamiento o de entorno.
A continuación se muestra un ejemplo para establecer variables de entorno:
Nota:Si desea establecer una comunicación segura con Kafka, puede utilizar el parámetro opcional proporcionado. A continuación se muestra un ejemplo para establecer variables de entorno:
Si la cadena <KafkaServers> empieza por (no-crs), Transaction server no publicará los mensajes de invalidación pensados para que los reciba el Store server.
Nota: Si los contenedores, como DB2 y TS-App, están en zonas horarias separadas al establecer Kafka/ Zookeeper en la versión 9, es posible que las invalidaciones no se produzcan correctamente. En las propiedades de Kafka, asegúrese de lo siguiente: log.message.timestamp.type = LogAppendTime. De forma predeterminada, el valor se establece en log.message.timestamp.type = CreateTime.
La contraseña de autenticación de Kafka debe ser la cadena cifrada utilizando wcs_encrypt password. La cadena cifrada ASCII debe guardarse en el archivo de configuración, junto con la contraseña del Sasl de los servidores Kafka.
Por qué y cuándo se efectúa esta tarea
Complete los procedimientos siguientes para habilitar la invalidación de memoria caché remota:
Si el archivo de directorio o configuración no existe, deberá crearlos.
Cree el directorio.
Navegue hasta la siguiente vía de acceso.
workspace_dir\WC\xml\config\
Cree el directorio de extensión.
com.ibm.commerce.foundation-ext
Cree el archivo de configuración personalizada dentro del directorio de extensión.
Vaya al directorio de extensión, workspace_dir\WC\xml\config\com.ibm.commerce.foundation-ext\.
Cree un archivo vacío wc-component.xml en la carpeta com.ibm.commerce.component_name-ext. Este archivo es el archivo wc-component.xml personalizado.
Añada los elementos XML básicos que son necesarios para el archivo wc-component.xml personalizado.
Abra el archivo vacío personalizado wc-component.xml en un editor XML.
Copie el contenido del archivo de configuración predeterminado en el archivo de configuración personalizado (workspace_dir\WC\xml\config\com.ibm.commerce.foundation\wc-component.xml) o créelo desde cero copiando el código siguiente en el archivo:
Importante: No cambie nunca las propiedades directamente en este archivo porque los cambios se sobrescribirán con futuras actualizaciones de software de HCL.
Copie los elementos XML para las propiedades que desea cambiar del archivo de configuración de componente predeterminado en el archivo wc-component.xml. Inserte los elementos XML copiados después del elemento <_config:extendedconfiguration>.
Aunque esté copiando únicamente determinados elementos, debe mantener la jerarquía XML para aquellos elementos del archivo. Por ejemplo, si desea cambiar la propiedad definida en un elemento <_config:property> específico, debe conservar los elementos padre y predecesor del elemento <_config:property>, pero puede eliminar todos los iguales si no los cambia. Vea el ejemplo que figura al final de este tema.
Si anteriormente no existía, el archivo de configuración personalizado se creará ahora y estará listo para que pueda personalizarlo aún más.
Localice el parámetro wc.store.remote.kafka de la agrupación de configuración de RemoteStoreConfiguration. Añada las direcciones de los clústeres de intermediario de Apache Kafka, como una cadena separada por comas, al atributo value. Establezca los números de puerto según el entorno local. Por ejemplo:
<_config:configgrouping name="RemoteStoreConfiguration">
...
<!-- value to kafka servers connection string -->
<_config:property name="wc.store.remote.kafka" value="kafka-broker1:9092,kafka-broker2:9092,kafka-broker3:9092"/>
...
</_config:configgrouping>
Localice el parámetro wc.store.remote.kafka.topicPrefix en la misma agrupación de configuración. Añada el prefijo de tema para la invalidación de memoria caché. Esta cadena contiene el mismo valor que el prefijo configurado en el servidor de tienda remoto. El valor debe ser el mismo en los servidores de transacción.
<!-- value to kafka servers topic prefix -->
<_config:property name="wc.store.remote.kafka.topicPrefix" value="sampleprefix"/>
Localice el parámetro wc.remote.zookeeper de la agrupación de configuración TransactionKafkaConfiguration. Añada las direcciones de los servidores Apache ZooKeeper, como una cadena separada por comas, al atributo value . Establezca los números de puerto según el entorno local. Por ejemplo:
Edite el archivo de configuración personalizado jndi.xml. Si el archivo no existe, créelo.
Añada la cadena de configuración para los servidores ZooKeeper al atributo jndiName del elemento jndiEntry. El valor es el mismo que la serie de configuración ZooKeeper en Transaction server.
La retención de mensajes predeterminada es de 7 días, lo que es muy excesivo cuando todos los mensajes ya no son necesarios después de que todas las aplicaciones hayan procesado invalidaciones de memoria caché. Un tiempo de retención de 10 minutos es suficiente para la mayoría de configuraciones.
Inhabilitar configuración automática de temas
De forma predeterminada, si se envía un mensaje a un tema que todavía no está configurado, Kafka lo creará automáticamente. Este enfoque hace que configuraciones como retención de mensajes y factor de réplica no se configuren, lo que puede causar problemas de interrupción. Para evitar estos problemas, inhabilite la configuración automática de los temas. Esto fuerza al cliente a configurar temas con los parámetros que ha definido.
Utilizar réplicas
Las réplicas proporcionan una alta disponibilidad. Por ejemplo, con dos intermediarios, la configuración puede ser la siguiente:
Utilice los valores siguientes con los productores:
//acks=all, This means the leader will wait for the full set of in-sync replicas to acknowledge the record.
//This guarantees that the record will not be lost as long as at least one in-sync replica remains alive.
configValues.put(ProducerConfig.ACKS_CONFIG, "all");
// Setting a value greater than zero will cause the client to resend any record whose send fails with a potentially transient error.
configValues.put(ProducerConfig.RETRIES_CONFIG, 0);
//The producer will attempt to batch records together into fewer requests whenever multiple records are being sent to the same partition.
configValues.put(ProducerConfig.BATCH_SIZE_CONFIG, 16384);
//LINGER_MS_CONFIG, This setting gives the upper bound on the delay for batching.
configValues.put(ProducerConfig.LINGER_MS_CONFIG, 1);
//buffer.memory, The total bytes of memory the producer can use to buffer records waiting to be sent to the server.
configValues.put(ProducerConfig.BUFFER_MEMORY_CONFIG, 33554432);
Utilice los valores siguientes con los consumidores:
//ENABLE_AUTO_COMMIT_CONFIG : If true, periodically commit to Kafka the offsets of messages already returned by the consumer.
configValues.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
// AUTO_OFFSET_RESET_CONFIG : earliest: automatically reset the offset to the earliest offset
configValues.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
Para obtener más información, consulte 3.4 Consumer Configs en la documentación de Apache Kafka.
Tenga en cuenta que puesto que cada servidor define su propio grupo de consumidores (configuración de consumidor único) y todos los mensajes se almacenan con una clave estática, se utiliza una única partición. Esto garantiza que los mensajes se reciban en el mismo orden en que se crearon.
Ejemplo
Puede examinar el contenido de los mensajes mediante Kafdrop, o utilizar Kafka-Manager para gestionar el tema y los intermediarios. Los mensajes tienen el formato siguiente, en función de la transacción.
Los mensajes Transaction server y Transaction server tienen el formato siguiente:Los mensajes de transacción a tienda tienen un formato similar:
Qué hacer a continuación
Para mejorar el rendimiento y optimizar los datos del análisis, puede habilitar, inhabilitar y personalizar los valores individuales de la memoria caché. Los siguientes DistributedMaps de servidor de transacción y de tienda son relevantes para Kafka.
Si desea establecer una comunicación segura con Kafka, puede utilizar el parámetro opcional proporcionado. A continuación se muestra un ejemplo para establecer variables de entorno:
