← Volver al blog
El máximo de 7 días de kyverno-cleanup-controller: Kobi en la 2.5 decía 85 MiB, la gráfica mostraba 127 MiB y el limit del contenedor es 128 MiB

KubeBolt 2.6: el request desde el uso normal, el limit desde el máximo real

La 2.6 arregla las dos cifras con las que se dimensiona un contenedor: la subida que una gráfica larga no dibujaba y un right-sizing que recomendaba sin datos. Cómo se leen ahora y cómo las uso.

Para dimensionar un contenedor hacen falta dos cifras: cuánto usa normalmente, para el request, y cuánto llega a usar en su peor momento, para el margen del limit. KubeBolt te da las dos. El right-sizing calcula la primera, y la pestaña Monitor de cada carga enseña la segunda.

Hasta la 2.5, cada una fallaba en un caso concreto. La gráfica de 7 días no dibujaba las subidas cortas, y el right-sizing de un clúster recién conectado proponía bajarlo todo casi a cero. Aquí cuento qué pasaba, cómo se leen ahora y cómo las uso para dimensionar. Si solo quieres saber qué trae la 2.6:

  • Las gráficas de CPU y memoria dibujan el valor más alto de cada intervalo a partir del rango de 6 horas, y su «max» es el máximo real.
  • Kobi lee los mismos máximos que la gráfica y te dice a qué hora fue el más alto.
  • El right-sizing no recomienda nada hasta tener dos días de historia.
  • El tráfico de red de cada pod se cuenta una vez. Para que el agente deje de enviar la copia, actualízalo a la 1.4.8.
  • La pestaña Pods pagina de 50 en 50, y la de Bursts muestra el clúster que tienes abierto.

Lo que una gráfica larga no dibujaba

Una gráfica dibuja un punto por intervalo. En el rango de 7 días hay un punto por hora, y hasta la 2.5 ese punto era el valor al final de la hora. Lo que pasara en medio no llegaba a la gráfica.

En el rango de 7 días, cada hora es un punto de la gráfica. Una subida de seis minutos en medio de la hora no llegaba a dibujarse, y el «max» del panel repetía 0,29 GiB.
  1. El agente envía la memoria del pod cada pocos segundos, y en esa hora estuvo seis minutos en 2,9 GiB.
  2. La gráfica de la 2.5 tomaba el último valor de la hora, 0,29 GiB, y el «max» del panel repetía esa cifra.
  3. La de la 2.6 busca minuto a minuto el valor más alto de la hora y dibuja ese.

Pasa en todos los rangos cuyo intervalo es de más de un minuto:

RangoUn punto cadaLo que dibuja desde la 2.6
5 min, 15 min, 1 h15 o 30 sCada muestra, como antes
6 h2 minEl máximo de esos 2 minutos
24 h10 minEl máximo de esos 10 minutos
7 días1 hEl máximo de la hora
14 días2 hEl máximo de esas 2 horas
30 días6 hEl máximo de esas 6 horas

En el rango de 30 días, una subida de seis minutos tenía una posibilidad entre sesenta de caer justo en el instante que se dibujaba. Esto vale para la CPU y la memoria de pods, cargas y nodos. La red no va por máximos: cada punto sigue siendo la tasa de su ventana, así que una ráfaga corta entre dos puntos no se ve.

Como cada punto es un máximo, las cifras de al lado cambian de nombre:

  • max es el máximo real del rango.
  • avg peak y min peak son la media y el mínimo de los máximos de cada intervalo. Salen más altos que el uso normal, y es a propósito.
  • last es el máximo del último intervalo.

Kobi ve el mismo máximo que tú

Kobi tenía el mismo problema, y en su caso era peor. Su herramienta de métricas, get_workload_metrics, devuelve doce puntos por rango, para que el coste de la consulta no crezca con la ventana. A 7 días, cada punto cubre 14 horas.

El 9 de noviembre, en nuestro laboratorio, le preguntamos por el máximo de memoria de 7 días de kyverno-cleanup-controller. Dijo 85 MiB. La gráfica de Monitor marcaba 127, a un MiB de su limit.

Un pod de nuestro laboratorio, el 9 de noviembre. Con la respuesta de la 2.5, un limit calculado desde 85 MiB quedaba por debajo de un máximo real de 127.
  1. La consulta de Kobi buscaba el máximo, pero tomaba una sola muestra en cada intervalo de 14 horas.
  2. Ahora busca el máximo minuto a minuto, como la gráfica, y las dos dan la misma cifra.
  3. La respuesta trae además maxAt, la hora del máximo. Con ella, Kobi te dice cuándo pasó, y tú puedes cruzarlo con un despliegue o con una tarea programada.

Cuando abres Kobi desde una gráfica con el botón Ask Kobi, le llega qué series son máximos por intervalo, junto con una instrucción. En el producto está en inglés, y dice: «No dimensiones las requests a partir de ellos; usa el max para el margen y consulta la serie sin procesar para el uso normal».

El request sale del uso normal, y el margen del limit sale del máximo.

Es la regla que sigue el resto del post.

Dos días antes de la primera recomendación

Mientras probábamos otro arreglo, conectamos un clúster kind nuevo y abrimos Capacity a los pocos minutos. El right-sizing marcaba cada carga como sobredimensionada. A demo-api, un Deployment con 1 core y 1 GiB, le proponía bajar a 10m y 10 Mi, y la tarjeta prometía recuperar 990m y 1014 Mi que no existían. Kobi, con get_right_sizing, decía lo mismo.

Una carga sin ninguna muestra se leía como una carga medida en cero, y una carga en cero con request cumple la regla de sobredimensionada. El aviso de «preliminar» que ya existía tampoco saltaba, porque solo comprobaba si la historia era corta cuando había alguna.

Desde la 2.6, el right-sizing no dice nada hasta tener dos días de historia. El motivo está escrito en el propio código: con menos de dos días, el P95 no ha visto dos veces el momento de más carga del día, y un rato tranquilo se toma por lo normal.

Los textos en inglés son los del producto. Entre las 48 horas y los 7 días, el P95 se calcula sobre la historia que haya, y la tarjeta dice cuántos días son.
  1. Hasta las 48 horas, Capacity muestra un guion y las horas que lleva, y Cost explica que está recogiendo muestras.
  2. A las 48 horas llegan las primeras recomendaciones, con el P95 de esos dos días.
  3. A partir de los 7 días, el P95 cubre la semana entera, que es su ventana máxima.

Hay tres casos más que conviene saber:

  • Una carga que nunca ha tenido muestras se queda sin recomendación, aunque el resto del clúster ya tenga historia. Un clúster conectado sin agente de métricas no recibe ninguna, porque no tiene con qué calcularlas.
  • Una carga que de verdad no hace nada sigue saliendo como sobredimensionada. Medir cero también es un dato.
  • «well sized» solo aparece cuando la evaluación ha terminado. Si el almacén de métricas no responde, la tarjeta dice couldn't read usage history — tries again in 5 min.

Las reglas del right-sizing

El right-sizing no usa un modelo. Son tres reglas fijas, las mismas en las pantallas y en lo que responde Kobi, para que la respuesta no cambie de una vez a otra. Se aplican a la CPU y a la memoria por separado, sobre el P95 de 7 días de cada Deployment, StatefulSet o DaemonSet, con una muestra cada 5 minutos.

EstadoCuándo saltaQué propone
Near limitEl P95 llega al 80 % del limit y se queda a menos de 50m de CPU o 100 Mi de memoria de élLimit = P95 × 1,5
Over-provisionedEl P95 no llega a la mitad del request, y la diferencia pasa de 50m de CPU o 100 Mi de memoriaRequest = P95 × 1,2
No specsNo hay request ni limit, y el P95 pasa de esos mínimosQue los definas

Los mínimos están para no avisar de controladores casi parados, donde un porcentaje no significa nada. Las sugerencias se redondean a 10m y a 10 Mi.

Lo que la tabla no puede darte es el máximo. El P95 deja fuera el 5 % más alto de la semana, que son 8 horas y 24 minutos, y una subida de seis minutos no lo mueve. Por eso el limit de memoria no se decide solo con el P95.

Cómo dimensiono un contenedor con KubeBolt

  1. Espera a que haya historia. Si Capacity dice collecting samples, todavía no hay nada que decidir.
  2. Saca el request del right-sizing. En Cost o en Capacity, la sugerencia es el P95 de la semana con un 20 % de margen.
  3. Saca el limit de memoria del máximo. Abre la pestaña Monitor de la carga en 7 o 30 días y mira el max. Si el limit que piensas poner queda cerca de él, no lo bajes.
  4. Pregúntale a Kobi cuándo fue. Por ejemplo: «¿Cuál fue el máximo de memoria de checkout esta semana, y cuándo?». Con la hora lo cruzas con un despliegue, un cron o una subida de tráfico, y sabes si se va a repetir.
  5. Vigila los OOM después del cambio. En Insights, un OOM que se repite sigue abierto hasta que el contenedor aguanta más que su intervalo de reinicio. Ya no lo verás cerrarse y abrirse entre una muerte y la siguiente.

El resto de la 2.6

La red de cada pod salía el doble. El agente la enviaba por dos caminos y las dos copias se guardaban por separado, así que al sumar por pod o por namespace el tráfico salía el doble, en las gráficas y en las respuestas de Kobi. En Cloud ya se cuenta cada interfaz una vez. Para que el agente deje de enviar la copia, actualízalo a la 1.4.8. Tus series activas bajarán, y lo verás en Administration › Agents & Ingest › Activity. Un pod con hostNetwork comparte la red del nodo, así que ya no envía red propia, y su pestaña Monitor muestra la del nodo.

La pestaña Pods pagina. La de un Deployment, StatefulSet, DaemonSet o Job muestra los pods de 50 en 50, por nombre, y una carga con cientos de pods se abre enseguida.

Bursts muestra el clúster que tienes abierto. Un selector deja ver los de todos tus clústeres. «See the N episodes» abre justo los episodios de la ráfaga, y la cuenta cuadra.

Los clústeres conectados solo para métricas vuelven a funcionar. Abren sus paneles, renombrarlos funciona y borrarlos los quita de la lista.

Autopilot mira el «1/1». Antes de dar un pod por listo comprueba el recuento de contenedores listos, así que un pod en Running que aún no está Ready ya no pasa la verificación.

Las imágenes del chat de Kobi salen como texto. Una respuesta del modelo podía traer una imagen, y el navegador la descargaba al mostrarla. Ahora ves el texto, y la página lleva una política de seguridad para imágenes.

Si instalas KubeBolt tú mismo

  • Actualizar: la 2.6.0 con el agente 1.4.8, sin migración. La 2.6.0 funciona también con el agente 1.4.7, pero la red seguirá llegando dos veces.
  • VictoriaMetrics, a la vista: Administration › System › Health tiene una sección nueva que enseña lo que recibe el almacén de métricas, sus series activas, lo que acepta y lo que descarta.
  • Si gestionas tu propio VictoriaMetrics: añade -maxLabelsPerTimeseries=60 a sus parámetros. Con el valor por defecto descarta las series del agente que llevan más etiquetas, y solo la sección nueva te lo enseña.
  • Al cambiar de versión de chart: no uses --reuse-values. Pasa tu fichero de valores con -f o usa --reset-then-reuse-values.

Lo que cambia al dimensionar

Ninguno de estos arreglos añade una pantalla. Cambian lo que ya mirabas: la gráfica que abres antes de tocar un limit y la recomendación que lees antes de bajar un request. Si alguna vez bajaste un limit mirando una gráfica de 7 días, vuelve a abrirla con la 2.6.