Oracle Database de instancia única en OpenShift Virtualization

En este artículo, se detallan las iniciativas de ingeniería de Red Hat para respaldar la ejecución de Oracle Database 19c de instancia única en Red Hat OpenShift Virtualization. Se proporciona una arquitectura de referencia integral y resultados de validación que abarcan las funciones, el rendimiento, la capacidad de ajuste y la migración activa, junto con enlaces a artefactos de prueba alojados en GitHub.

Demostraremos que OpenShift Virtualization ofrece un rendimiento sólido para las cargas de trabajo de producción exigentes, como las bases de datos de Oracle, y proporciona una alternativa de virtualización viable sin comprometer el rendimiento. Esta publicación del blog está dirigida especialmente a los líderes tecnológicos, los arquitectos, los equipos de ingeniería y los gerentes de proyectos que participan en la evaluación y la adopción de Oracle Database de instancia única en OpenShift Virtualization.

Los principios del diseño de la arquitectura se centran en la asignación de recursos, la partición y la optimización de la capa de abstracción para la informática, la red y el almacenamiento. Las pruebas de rendimiento que utilizan HammerDB con el indicador Transaction Processing Performance Council Benchmark C (TPC-C) demuestran que Oracle DataBase puede ejecutarse con éxito en OpenShift Virtualization con el almacenamiento Non-Volatile Memory Express (NVMe) local y supera a Red Hat OpenShift Data Foundation. En este artículo, también se destacarán la determinación del estado interno de los sistemas y la supervisión con Prometheus y Grafana para la información específica de Oracle y de la infraestructura.

Contexto

Muchos clientes buscan alternativas de virtualización que no afecten el rendimiento. OpenShift Virtualization ofrece un rendimiento sólido para las cargas de trabajo de producción exigentes, que incluyen las bases de datos empresariales.

Uno de los elementos más comunes en la arquitectura de software tradicional es Oracle Database. Para respaldar a los clientes interesados en evaluar y adoptar Oracle Database en OpenShift Virtualization, Red Hat cuenta con recursos de ingeniería exclusivos para ofrecer una experiencia optimizada al operar este sistema en la función.

Asumimos que los lectores conocen Red Hat OpenShift Container Platform. No analizaremos la arquitectura genérica de Oracle Database ni el ajuste de rendimiento. En cambio, explicaremos las opciones de arquitectura para instalar y configurar OpenShift Virtualization y permitir que Oracle Database logre el mejor rendimiento.

La publicación está dirigida a los siguientes especialistas que participan en la evaluación, la validación y la toma de decisiones sobre la adopción de Oracle Database de instancia única en OpenShift Virtualization:

• Ejecutivos de tecnología (p. ej., vicepresidentes y directores de tecnología): son las partes interesadas responsables de optimizar el retorno sobre la inversión (ROI) y el costo total de propiedad (TCO) de las ejecuciones diarias de las cargas de trabajo de Oracle Database en los entornos de nube híbrida o local.
• Arquitectos: los clientes pueden revisar la arquitectura de referencia y los resultados de las pruebas para evaluar si OpenShift Virtualization es una plataforma viable para alojar cargas de trabajo de Oracle Database en la empresa. Detallaremos los requisitos de la arquitectura, y los especialistas podrán ejecutar validaciones independientes.
• Equipos de ingeniería: pueden aprovechar las pruebas de rendimiento que utilizó Red Hat durante esta evaluación, junto con los artefactos reutilizables disponibles en GitHub, para agilizar la configuración y la automatización de las pruebas, lo cual optimiza el proceso de validación.
• Gerentes de proyectos: utilizan las arquitecturas de referencia para identificar los elementos afectados y los equipos responsables. También pueden utilizar las pruebas estandarizadas. 

Descripción general de la arquitectura de OpenShift Virtualization

OpenShift Virtualization es la implementación de Red Hat del proyecto open source KubeVirt. Se basa en la plataforma estándar de OpenShift. Una máquina virtual se ejecuta dentro de un pod en contenedores, y OpenShift Container Platform la gestiona de la misma manera que cualquier pod: una instancia de la máquina tiene acceso a los mismos servicios de plataforma (lo que incluye la seguridad, la red y el almacenamiento) que una aplicación de contenedores normal. La única diferencia es que la máquina virtual se gestiona directamente en el pod, a diferencia de las aplicaciones de cargas de trabajo normales que se ejecutan dentro de los contenedores.

Elementos de la arquitectura:

• Máquina virtual basada en el kernel (KVM): el hipervisor de la máquina virtual en OpenShift es parte del kernel de Linux.
• Instancia de máquina virtual (VMI): QEMU crea cada máquina virtual representada por una VMI con KVM para emular el hardware. También crea un aislamiento en el espacio del usuario.
• KubeVirt: es un complemento de Kubernetes para gestionar las máquinas virtuales como recursos de este sistema para que parezcan un pod.
  • virt-operator: gestiona la instalación y las actualizaciones de los elementos de KubeVirt.
  • virt-controller: se encarga de la gestión del ciclo de vida de las máquinas virtuales (por ejemplo, el reinicio en caso de fallas y el ajuste).
  • virt-handler: es un daemon en un nodo habilitado para KubeVirt que gestiona las máquinas virtuales en los hosts con KVM/QEMU.
  • virt-launcher: hay uno por cada pod de máquina virtual, y actúa como el organizador que gestiona el proceso de la máquina virtual QEMU/KVM dentro del pod.
  • Recursos personalizados: representan la definición de una máquina virtual, la ejecución de una instancia de esta y la programación o las políticas.
• Wrapper de pod: funciona como un wrapper para el proceso de QEMU. La VMI se ejecuta dentro del pod como un sistema operativo guest virtualizado.
• Almacenamiento: OpenShift Virtualization admite varias soluciones de almacenamiento, entre las que se incluyen distintas opciones originales de Kubernetes, como OpenShift Data Foundation y Portworx, y soluciones empresariales más tradicionales, por ejemplo, iSCSI, la red de área de almacenamiento (SAN) de Fibre Channel (FC) y otras. OpenShift Data Foundation, la solución de almacenamiento original de Kubernetes, se basa en el proyecto open source Ceph y ofrece almacenamiento flexible y redundante con una capa de abstracción optimizada para los entornos de Kubernetes. También admite el aprovisionamiento dinámico y las solicitudes de volúmenes permanentes, lo cual simplifica la gestión del almacenamiento.

Para este proyecto de validación de Oracle Database, tendremos en cuenta varias alternativas de almacenamiento. Sin embargo, en este documento, nos centraremos principalmente en OpenShift Data Foundation por su perfecta integración con Kubernetes. A la hora de implementar cargas de trabajo de Oracle Database, es importante evaluar y seleccionar la solución de almacenamiento que mejor se adapte a tus requisitos de rendimiento y necesidades operativas.

Red: las máquinas virtuales acceden a la red a través de Multus, un metaplugin de la interfaz de redes de contenedores (CNI), o la virtualización de entrada y salida (E/S) de raíz única (SR-IOV), con la cual Multus se define en el pod.

Principios de diseño de Oracle Database

Cuando Oracle Database se ejecuta en un sistema operativo virtualizado, la máquina virtual se encarga de garantizar que la base de datos reciba los recursos adecuados del sistema para operar de manera eficiente y mantener la capacidad de recuperación. Dado que los recursos de la infraestructura real son limitados, la arquitectura debe diseñarse con atención para equilibrar la asignación de recursos y adaptarse a las exigencias variables de las diferentes cargas de trabajo.

Un enfoque de arquitectura común para mejorar el rendimiento de Oracle Database en la infraestructura incluye estos principios:

• Ubicación de los recursos: asigna suficientes recursos informáticos, de almacenamiento y de red para eliminar los bloqueos.
• Partición de los recursos: cuando los recursos son limitados, puedes dividir los requisitos e implementar soluciones personalizadas para satisfacer las necesidades específicas.
• Optimización de la capa de abstracción: evita las capas de abstracción innecesarias o de poco valor y ajusta la flexibilidad para mejorar el rendimiento.

Oracle Database depende en gran medida de tres tipos principales de recursos del sistema:

• Informática: incluye unidades centrales de procesamiento virtuales (vCPU), subprocesos de entrada y salida, memoria y la posibilidad de ajustar la capacidad entre los nodos.
• Red: Oracle Database depende mucho del rendimiento de entrada y salida. El acceso de los clientes y el acceso al almacenamiento tienen distintos requisitos de rendimiento y latencia. Es por esto que las arquitecturas de Oracle Database suelen utilizar redes independientes para los diferentes tipos de tráfico.
• Almacenamiento: los registros de rehacer, las tablas de la base de datos y los backups tienen diferentes necesidades de rendimiento de lectura y escritura. Siempre que sea posible, debes colocarlos en un almacenamiento físico separado para garantizar un rendimiento de E/S óptimo.

OpenShift Virtualization ofrece las funciones y la flexibilidad necesarias para respaldar varios enfoques de asignación de recursos según las necesidades de particionamiento de los recursos del sistema.

Arquitectura de referencia

En esta sección, se analizan los aspectos relacionados con la arquitectura y las opciones de solución en el diseño de Oracle Database en OpenShift Virtualization.

Informática

Asegúrate de que Oracle Database tenga suficientes recursos informáticos y que la plataforma de OpenShift Virtualization brinde control directo para poder:

• configurar la asignación de las vCPU y la RAM para el ajuste vertical de los recursos;
• ampliar el clúster de OpenShift Virtualization para lograr un ajuste horizontal;
• controlar la asignación de la cantidad de subprocesos de entrada y salida de las máquinas virtuales para eliminar los bloqueos de E/S en el pod;
• evitar la sobreasignación de recursos para las máquinas virtuales que alojan cargas de trabajo de Oracle Database y asignar más CPU o memoria virtualizadas que recursos físicos en el sistema.

Redes

El tráfico de Oracle Database tiene diferentes requisitos de rendimiento en cuanto a la latencia de la red, el funcionamiento y la confiabilidad. El pod Multus de OpenShift Container Platform es una función para particionar el tráfico de la red y coordinar varios protocolos. Considera las siguientes opciones.

• Implementa diferentes rutas de red para las redes definidas por software (SDN), el almacenamiento y las máquinas virtuales de OpenShift.
• Para las instalaciones de la base de datos de Oracle Real Application Clusters (RAC), separa aún más el tráfico de red para promover la comunicación de interconexión entre instancias de RAC y la comunicación de red "pública".
• En el caso de las cargas de trabajo esenciales que la latencia y el rendimiento afectan, puedes aprovechar la SR-IOV para las interfaces de red virtuales y crear una ruta directa desde la máquina virtual hasta los recursos físicos fundamentales.

Almacenamiento

Como se mencionó anteriormente, OpenShift Virtualization admite una amplia variedad de soluciones de almacenamiento, desde opciones originales de Kubernetes, como OpenShift Data Foundation y Portworx, hasta sistemas empresariales tradicionales, por ejemplo iSCSI y la SAN de FC. Esta flexibilidad permite que los usuarios elijan el almacenamiento que mejor se adapte a sus necesidades operativas y de rendimiento.

Si bien no hay una regla universal para seleccionar la opción de almacenamiento adecuada, se pueden utilizar los siguientes principios como guía:

• equilibrio entre la necesidad de flexibilidad operativa (facilidad de aprovisionamiento e integración a la plataforma) y los requisitos de rendimiento (latencia de E/S y funcionamiento);
• compatibilidad con la opción de escritura múltiple (un volumen compartido entre dos o más máquinas virtuales) que puede ser necesaria para la base de datos de Oracle RAC.

Configuración del hardware

El diseño de las pruebas iniciales de rendimiento se basó en un conjunto de recursos de hardware disponibles en la actualidad. 

Especificaciones del clúster:

• 4 servidores Dell R660
  • 128 subprocesos de CPU (2 sockets de Intel Xeon Gold 6430);
  • 256 GB de memoria;
  • disco principal de 1 TB;
  • 4 unidades de disco NVME de 1,5 TB;
  • 4 tarjetas de interfaz de red (NIC) de Broadcom de 25 Gbps;
  • 2 NIC Intel 810 de 25 Gbps.

Configuración de OpenShift Virtualization

Si bien la configuración predeterminada para el almacenamiento de OpenShift Virtualization y OpenShift Data Foundation ofrece un rendimiento aceptable, se realizaron otros cambios en la configuración para optimizar la plataforma de prueba para las cargas de trabajo con gran demanda de E/S típicas de las bases de datos:

• OpenShift Data Foundation configurada para usar un perfil de rendimiento;
• OpenShift Data Foundation y OpenShift Virtualization configuradas para separar el tráfico de almacenamiento de OpenShift Data Foundation del tráfico general de la SDN de OpenShift Container Platform (Capítulo 8, Network requirements | Planning your deployment | Red Hat OpenShift Data Foundation | 4.18);
• tráfico para las máquinas virtuales (Oracle Database y el conjunto de pruebas HammerDB) separado del almacenamiento de OpenShift Data Foundation y de la SDN de OpenShift Container Platform con interfaces de red físicas independientes e introducción de interfaces de red en las máquinas virtuales afectadas con SR-IOV para reducir la latencia y aumentar el rendimiento (Figura 2).

Especificaciones del clúster:

• Versión de OpenShift: 4.18.9
• OpenShift Virtualization: habilitada a través de OperatorHub
• Nodos:
  • 3 nodos híbridos (de plano de control, de trabajo y de almacenamiento);
  • 1 nodo de trabajo.
• Redes (específicas de las máquinas virtuales de Oracle Database):
  • protocolo de agregación de enlaces (LACP) con 4 NIC de Broadcom de 25 Gbps particionados para separar la SDN de OpenShift, el cliente de almacenamiento de OpenShift Data Foundation y el tráfico de replicación del almacenamiento de OpenShift Data Foundation;
  • 2 NIC Intel x810 de 25 GB para el tráfico de máquinas virtuales con 2 subredes diferentes (pública y privada) configuradas para presentarse a las máquinas virtuales mediante SR-IOV.
• Almacenamiento (específico para las máquinas virtuales de Oracle Database): almacenamiento de OpenShift Data Foundation (respaldado por 4 unidades de NVMe de 1,5 TB), configurado con un perfil de rendimiento y una red de almacenamiento independiente.

Configuración de Oracle Database

La máquina virtual que aloja Oracle Database tiene un tamaño moderado para evitar que se asignen muchos recursos y poder comparar los resultados de las pruebas en diferentes opciones de hardware. Oracle Database no se perfeccionó específicamente para la prueba del indicador TPC-C y, en gran medida, utiliza una configuración predeterminada, con la excepción de algunos cambios de ajuste comunes que se basan en las prácticas recomendadas.

Seleccionamos los parámetros de ajuste según el tamaño de la máquina virtual, los detalles de la carga de trabajo de prueba del indicador y la información de control. Evaluamos la efectividad de cada cambio comparando los resultados de las pruebas con las cifras de referencia. La configuración de Oracle Database podría optimizarse aún más siguiendo las recomendaciones de Database Performance Tuning Guide.

En la figura 3, se muestra que el acceso de los clientes de Oracle Database y HammerDB se encontraba en la misma red. Los volúmenes de datos para las máquinas virtuales están configurados para asignar previamente el espacio en el disco para mejorar las operaciones de escritura. 

Realizamos pruebas específicas por separado para evaluar el impacto del almacenamiento en el rendimiento de la base de datos agregando NVMe con un operador de almacenamiento local.

Especificaciones de la máquina virtual:

• Sistema operativo: Red Hat Enterprise Linux 8.10
• Cantidad de máquinas virtuales: 1
• vCPU: 16
• Memoria: 48 GB
• Almacenamiento: 250 GB (información de la raíz y de la base de datos que reside en el mismo volumen) como dispositivo de bloques de Red Hat OpenShift Data Foundation
• DataVolume: creado con el parámetro "preallocation: true" (aprovisionamiento grueso)
• Redes: conectadas a una subred pública con SR-IOV

Configuración de Oracle Database de instancia única:

Versión de Oracle Database: 19c Enterprise Edition con la actualización de lanzamiento 26 (versión 19.26).

• La base de datos se configura con un sistema de archivos como destino para los archivos de información (volumen raíz con el almacenamiento respaldado por OpenShift Data Foundation) mediante Oracle Managed Files (OMF).
• Para garantizar la compatibilidad de la prueba con las versiones futuras de Oracle Database, la base de datos se creó con la arquitectura Container Database (CDB).
• La asignación de memoria utilizó 32 GB (valor que se calculó con el parámetro totalMemory) como entrada para el asistente de creación de la base de datos (lo que permitió que la instalación de Oracle Database evaluara automáticamente la división SGA/PGA).
• Parámetros de ajustes adicionales:
  • 4 archivos de datos ampliados manualmente a 32 GB;
  • tamaño del registro de rehacer ajustado a 4 GB;
  • 4 grupos de discos de registros de rehacer;
  • FILESYSTEMIO_OPTIONS: SETALL (permite la E/S asíncrona y directa);
  • USE_LARGE_PAGES: AUTO (para optimizar el uso de la CPU para los SGA de gran tamaño).

Nota: Para las pruebas de rendimiento con el almacenamiento respaldado por NVMe, se montó un sistema de archivos independiente con un dispositivo NVMe y se asignó como destino para los archivos de datos.

Determinación del estado interno y supervisión

OpenShift ofrece una plataforma potente e integrada de determinación del estado interno de los sistemas que consolida la supervisión en las capas de la infraestructura y las aplicaciones. Admite la recopilación de indicadores, el registro y la generación de alertas y puede ampliarse para incluir datos de determinación del estado interno de aplicaciones externas, como Oracle Database. Este enfoque unificado reduce la complejidad operativa y posibilita el control integral.

La determinación del estado interno de OpenShift Virtualization se integra a la perfección en la misma plataforma, lo cual te permite supervisar las máquinas virtuales, los recursos del sistema y las cargas de trabajo (es decir, Oracle Database dentro de una única stack de control uniforme).

Oracle Database Observability Exporter, que se implementa en OpenShift, recopila los indicadores de rendimiento y los metadatos de Oracle Database, los cuales se ponen a disposición de Prometheus. Grafana visualiza estos indicadores y proporciona paneles en tiempo real para detectar patrones anormales, recursos bajo presión y problemas de rendimiento en las capas de las máquinas virtuales y Oracle Database.

Para mejorar el análisis de la base de datos, puedes aprovechar HammerDB durante las pruebas de rendimiento para capturar instantáneas y generar informes Automatic Workload Repository (AWR). Cuando se combinan con los indicadores de Prometheus y Grafana, estos informes posibilitan una comprensión más completa y multidimensional del comportamiento de las cargas de trabajo y los posibles bloqueos.

Además, Oracle Database Enterprise Manager es una herramienta complementaria que ofrece diagnósticos detallados y funciones de supervisión especializadas que se adaptan a Oracle Database. Si se utiliza junto con la plataforma de determinación del estado interno unificada de OpenShift, garantiza una cobertura integral para la información operativa específica de Oracle Database y la infraestructura.

En la Figura 5, se muestra un panel de Grafana de ejemplo que se implementó como parte de la configuración de determinación del estado interno y supervisión para la plataforma OpenShift Virtualization.

En la Figura 6, se presenta un panel de Grafana con Oracle Database de ejemplo que se implementó en la plataforma OpenShift Virtualization.

Evaluación del rendimiento del sistema

La prueba de rendimiento se diseñó para medir el funcionamiento de las transacciones de la base de datos y la latencia de las consultas para las cargas de trabajo del procesamiento de transacciones en línea (OLTP). Utilizamos HammerDB, el software open source de pruebas de rendimiento de las bases de datos, para simular las cargas de trabajo de OLTP usando el indicador TPC-C en comparación con Oracle Database de instancia única con los detalles del sistema que se mencionaron antes. En la prueba de TPC-C, se simula un sistema de gestión de pedidos real, con una combinación de un 80 % de operaciones de escritura y un 20 % de operaciones de lectura, lo cual incluye pedidos de clientes frecuentes, pagos, comprobaciones de inventario y entregas por lotes. La ejecución de la prueba implica que HammerDB genere cargas de trabajo de TPC-C en Oracle Database dentro de OpenShift Virtualization.

Resumen de la cobertura de las pruebas

Con el conjunto de pruebas de HammerDB, el perfil de ajuste de ejecución se configuró para simular cargas de trabajo significativas, comenzando con 20 usuarios virtuales hasta llegar a 100 y utilizando 500 almacenes en cada prueba durante 20 minutos. Diseñamos esta configuración para reflejar casos de producción realistas y evaluar el rendimiento del sistema bajo cargas transaccionales ajustadas.

Según la configuración de la arquitectura de referencia, los resultados de las pruebas mostraron indicadores sólidos de nuevos pedidos por minuto (NOPM) y transacciones por minuto (TPM) para el almacenamiento de Oracle Database de instancia única con OpenShift Data Foundation. Sin embargo, Oracle Database de instancia única con almacenamiento NVMe local dio un mejor rendimiento en comparación con la configuración de OpenShift Data Foundation. Si bien la latencia promedio se mantuvo relativamente estable, observamos picos ocasionales.

Reflexiones finales

OpenShift Virtualization es una plataforma viable para implementar las cargas de trabajo de Oracle Database 19c. La configuración sencilla de OpenShift Virtualization simplifica la creación de máquinas virtuales. Teniendo en cuenta estos factores, OpenShift Virtualization representa una buena opción y una alternativa a las ofertas de tecnologías de virtualización de la competencia. La validación de rendimiento actual de Oracle Database 19c demuestra un rendimiento empresarial en la plataforma OpenShift Virtualization.

A través de las pruebas específicas con el almacenamiento NVMe local, evaluamos el impacto de las opciones de almacenamiento de alto rendimiento y encontramos indicaciones sólidas de que la actualización a soluciones como la SAN de FC puede mejorar significativamente el rendimiento general.

Para las cargas de trabajo de alto rendimiento, considera:

• las opciones de almacenamiento de alto rendimiento, como la SAN de FC para archivos de datos de Oracle Database y registros de rehacer para optimizar el rendimiento;
• la segmentación de la red para las máquinas virtuales, las SDN de OpenShift y la red de almacenamiento, de preferencia con dispositivos físicos independientes en los nodos de OpenShift Virtualization;
• SR-IOV, si es compatible con el hardware para optimizar el rendimiento de las interfaces de red virtual de las máquinas virtuales que alojan la carga de trabajo de Oracle Database;
• HugePages con la configuración USE_LARGE_PAGES de Oracle Database según los requisitos de la carga de trabajo, que ajusta el tamaño de la página de la memoria y se recomienda para mejorar el rendimiento, especialmente cuando se trabaja con SGA más grandes que la configuración predeterminada.

Puedes encontrar scripts de prueba de HammerDB en este repositorio de GitHub.

El proyecto oracle-db-appdev-monitoring de GitHub tiene como objetivo proporcionar determinación del estado interno de Oracle Database, de modo que los usuarios puedan comprender el rendimiento y diagnosticar los problemas en las aplicaciones y las bases de datos de forma sencilla. Lee las instrucciones para configurar el proyecto en la plataforma de OpenShift.