Vientos de cambio

En los últimos 15 años ha surgido una cantidad considerable de nuevas tecnologías de base de datos. Los profesionales de la ingeniería del software, debemos familiarizarnos con ellas, ya que esto nos permitirá hacer una correcta elección ante determinados escenarios, permitiéndonos hacer uso de la herramienta más adecuada para superar nuevos desafíos.

Sigue leyendo

Cloud SQL en Google Cloud Platform

Recientemente he estado considerando la opción de Cloud SQL para SQL Server ofrecida por Google Cloud Platform (GCP). Esta es la plataforma de servicios en la nube ofrecida por el gigante Google. En terminos de servicios cloud, parece que aún no está al nivel de Amazon Web Services (AWS) o Microsoft Azure. Sin embargo, el crecimiento de GCP en los último años dos años ha sido significativo. Sigue leyendo

Creando nuestro laboratorio de Elasticsearch con Hyper-V

Para crear nuestro laboratorio de Elasticsearch en un equipo Windows, con el que poder experimentar más adelante 😊, una buena opción es usando Hyper-V. Este es un software de virtualización que ofrece Microsoft y que se puede instalar en varias versiones de Windows 10 de forma gratuita.

Objetivo

Vamos a crear un cluster con las siguientes características:

  • Nombre del cluster: es-cluster-lab
  • Número de nodos: 3
  • Nombre de los nodos: elasticsearch-lab-{1..3}.localdomain

Sigue leyendo

Query Store: Ejemplos prácticos

En mi primer artículo sobre Query Store, hace ya bastante tiempo, comenté que escribiría otro incluyendo ejemplos de configuraciones, monitorización y consumo de recursos. Bien, ese día ha llegado!

Código de ejemplo de configuración

USE master;
GO

ALTER DATABASE [NombreDeTuDB]
	SET QUERY_STORE = ON
	(
		OPERATION_MODE = READ_WRITE
		, CLEANUP_POLICY = (STALE_QUERY_THRESHOLD_DAYS = 14)
		, DATA_FLUSH_INTERVAL_SECONDS = 600
		, INTERVAL_LENGTH_MINUTES = 10
		, MAX_STORAGE_SIZE_MB = 512
		, QUERY_CAPTURE_MODE = AUTO
		, SIZE_BASED_CLEANUP_MODE = AUTO
		, MAX_PLANS_PER_QUERY = 7
	);

Puedes ver que los parámetros se explican en el citado artículo. Como siempre, te recomiendo probar bien la configuración en entornos de pre-producción, ya que la carga de trabajo de tu Base de Datos influye de forma directa. Dicho esto, este ejemplo de configuración es funcional y no he tenido problemas con ello.

Código de ejemplo para monitorizar el uso de disco de Query Store

Este código lo vamos a desglosar por pasos:
1) Creamos una base de datos (opcional) y una nueva tabla para guardar los datos que vamos a monitorizar:

USE master;
GO

CREATE DATABASE DBA_Admin;
GO

USE DBA_Admin;
GO

CREATE TABLE dbo.QueryStoreSizeHistory (
	current_storage_size_mb	BIGINT NOT NULL
	, max_storage_size_mb	BIGINT NOT NULL
	, date_time				DATETIME2(2) DEFAULT(GETDATE()) NOT NULL
);

2) A continuación podemos crear un SQL Agent Job, que se lance cada N horas, y que  sólo va a ejecutar el siguiente código de T-SQL:

USE DBA_Admin;
GO
INSERT INTO dbo.QueryStoreSizeHistory (
current_storage_size_mb
, max_storage_size_mb
)
SELECT current_storage_size_mb
, max_storage_size_mb
FROM MiDB.sys.database_query_store_options;

Fíjate que la vista del sistema sys.database_query_store_options existe a nivel de la Base de datos donde QS está configurado. Por lo que hace falta usar la referencia en tres partes (NombreDB.NombreEsquema.NombreTabla).

3) Finalmente tras dejar pasar un tiempo, puedes comprobar como se ha ido usando el espacio asignado a Query Store:

SELECT *
	FROM DBA_Admin.dbo.QueryStoreSizeHistory
	ORDER BY date_time;

Mencionar que esta tabla de monitorización no tiene índices de ningún tipo ni PK. Esto es así poque su tamaño no debería superar unos pocos MBytes. Está pensanda para una comprobación inicial sobre cómo de rápido se llena el espacio de QStore. Si quieres mantener esta monitorización de forma indefinida, mi recomendación sería incluir un paso de limpieza/borrado de los registros más antiguos.

Tras un tiempo, con QS en funcionamiento, deberías echar un vistazo a los informes en tu Base de Datos a través de la interfaz de SQL Server Management Studio (SSMS):

2019-04-26_00h56_29

Lo recomendable en este punto, es que lo pruebes y veas por ti mismo lo útil que puede llegar a ser. Puedes usar también los ejemplos que utilicé en mi última presentación sobre Query Store , mira el link en la sección de comentarios.

Aparte de los informes predefinidos de SSMS, te recomiendo echar un vistazo a las consultas del sistema que vienen como parte de Query Store, y que te brinda toda la personalización que se te ocurra en tus comprobaciones. En la documentación de MSSQL puedes encontrar un buen puñado de ejemplos que usan esas vistas del sistema. Resultan especialmente interesantes las consultas bajo la sección Performance Auditing and Troubleshooting.

Y eso es todo por hoy, espero que te haya sido de ayuda. Cualquier pregunta, puedes enviarme un mensaje o dejar un comentario.

¡Hasta el próximo artículo!

Grupo de Usuarios SQL Server Málaga: ¡Tres años ya!

El 9 de Febrero de 2016 un grupo de amigos se reunió para tomar unas cervezas y hablar sobre SQL Server fuera del trabajo… Y surgió una pregunta ¿Por qué no crear una comunidad de usuarios en Málaga?

highres_467945864

Se acaban de cumplir 3 años desde que aquel día, y hemos compartido muchos buenos momentos, aprendido muchísimo, conocido otros grandes profesionales e interesantes empresas. Hemos mantenido un ritmo casi constante de una sesión técnica cada 2 meses, siempre abierta, de forma gratuita y dando la bienvenida a toda persona interesada en nuestros temas.

Sin olvidar que también tenemos un grupo en PASS, una comunidad global (también abierta) de SQL Server, dónde puedes encontrar una cantidad ingente de información de muy buena calidad. A fin y al cabo esa es nuestra principal motivación: Compartir conocimiento.

Así ha sido y así seguirá siendo, y que nuestra comunidad siga creciendo,  y es que a día de hoy superamos los 500 miembros en Meetup… Muchas gracias a todos los que formáis parte de esta familia geek que tenemos en Málaga. Especial mención para Carlos, David y Jesús, y a los amigos que habéis llegado posteriormente.

¡GRACIAS a tod@s!

Una opción a considerar en nuestras tablas: Large Value Types Out Of Row

Hoy vamos a comentar una opción que aunque existe desde hace varios años, es desconocida por muchos: “Large Value Types Out Of Row”.

¿Qué nos ofrece? Imagina una tabla con varias columnas y algunas de ellas de tipo grande (VARCHAR(MAX), NVARCHAR(MAX), XML, TEXT, VARBINARY, etc). La tabla requerirá muchas más páginas (disco) para almacenar la información, que si no tuviera esas columnas. Bien, con esta opción habilitada (y algo de trabajo adicional si la tabla ya tiene datos) podemos hacer que las consultas y operaciones DML con esta tabla sean significativamente más rápidas, además de otros beneficios.

¿Cómo es posible? Tras habilitar esta opción, las columnas de tipo grande pasan a almacenarse en páginas separadas. En una tabla que ya existe con miles de registros, esto puede implicar una liberación de espacio significativa en las páginas que usaba la tabla inicialmente. Dependerá de cuanta información de tipo grande existe. En una consulta que utiliza scans como la del ejemplo más abajo, vamos a ver cómo se reduce el número de páginas cuando se ejecuta la consulta. Esto significa que la consulta va a ser más rápida y consumirá menos recursos: Memoria y CPU.

La opción se habilita a nivel de tabla y la sintaxis es bastante sencilla:

USE AdventureWorks2014; -- Cambiar por tu nombre de BBDD
GO

EXEC sp_tableoption 'Person.Person', 'large value types out of row', 1;
 

En el siguiente ejemplo donde puedes, ejecutando paso a paso, cómo afecta positivamente esta opción al número de lectura lógicas cuando hacemos una consulta en la tabla modificada.

-- Limpiamos la cache para hacer pruebas sin nada precargado en memoria
DBCC DROPCLEANBUFFERS;
DBCC FREEPROCCACHE;
GO
USE AdventureWorks2014;
GO

-- 1) Comprobamos las estadísticas de acceso a disco para la siguiente consulta, esta tabla tiene la opción large_value_types_out_of_row desactivada(valor por defecto)
SET STATISTICS IO, TIME ON;
GO

SELECT FirstName
		, MiddleName
		, LastName
		, ModifiedDate
	FROM Person.Person;

SET STATISTICS IO, TIME OFF;
GO
-- RESULTADO:
--		(19972 rows affected)
--		Table 'Person'. Scan count 1, logical reads 3847, physical reads 3, read-ahead reads 3976, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
--		(1 row affected)
--		SQL Server Execution Times:
--		CPU time = 47 ms,  elapsed time = 1055 ms.

-- 2) Cambiamos la opción large_value_types_out_of_row en la tabla
EXEC sp_tableoption 'Person.Person', 'large value types out of row', 1; -- switch on the feature
GO

-- 3) El cambio de esta opción no toma efecto para los valores existentes hasta el momento en que se actualicen
UPDATE Person.Person
	SET AdditionalContactInfo = AdditionalContactInfo
	WHERE AdditionalContactInfo IS NOT NULL;

UPDATE Person.Person
	SET Demographics = Demographics
	WHERE Demographics IS NOT NULL;

-- Reconstruimos todos los índices para qué las páginas que lo componen se reordenen, ojo esta operación puede ser costosa y generar bloqueos
ALTER INDEX ALL ON Person.Person REBUILD;

-- Limpiamos la cache de nuevo para comparar el efecto de la nueva config.
DBCC DROPCLEANBUFFERS;
DBCC FREEPROCCACHE;

-- 4) Comprobar de nuevo las estadísticas de acceso a disco, como en el paso 1)
SET STATISTICS IO, TIME ON;
GO

SELECT FirstName
		, MiddleName
		, LastName
		, ModifiedDate
		--, AdditionalContactInfo
	FROM Person.Person;

SET STATISTICS IO, TIME OFF;
GO
-- RESULTADO:
--		(19972 rows affected)
--		Table 'Person'. Scan count 1, logical reads 268, physical reads 0, read-ahead reads 220, lob logical reads 0, lob physical reads 0, lob read-ahead reads 0.
--		(1 row affected)
--		SQL Server Execution Times:
--		CPU time = 15 ms,  elapsed time = 241 ms.

Observa que la cantidad de lecturas lógicas pasa de 3800 a menos de 300. Esto es una reducción del 90% para este escenario. En todas las tablas no va a pasar lo mismo, ya que depende principalmente de los datos que haya en la tabla, y de la consulta en sí.

Necesitarás la Base de datos de AdventureWorks2014, puedes descargarla en este enlance. El script anterior también está disponible en GitHub.

Si quieres comprobar cuantas tablas pueden beneficiarse de esta opción en tus bases de datos, puedes usar esta consulta que he subido a la TechNet Gallery. No olvides dar tu valoración! 🙂 Si quieres ver más aquí tienes un link a la documentación oficial.

Si lo piensas, esto es equivalente a hacer un particionado vertical de una tabla, sacando las columnas grandes a una tabla nueva. Lo interesante de la opción “Large Value Types Out Of Row” es que es completamente transparente para la aplicación, y mucho más sencillo de implementar.

Si lo probáis, comentadme que tal os parece y los resultados.

Hasta el próximo artículo!

Un asunto pendiente de MS SQL Server Developer

Para este artículo empezaremos comentando como es un entorno común de trabajo, que de encaje al ciclo de desarrollo de SW elegido en vuestra empresa. Luego veremos que nos ofrece MS SQL Server. Y al final os comento mi opinión.

Si nos paramos a pensar como son los entornos de trabajo de una empresa de desarrollo, muchos de vosotros encajaréis en en lo siguiente:

  • 1 Entorno de desarrollo: Volumen de datos reducido, esquema igual que producción + nuevos cambios. AKA Desarrollo,
  • [0..N] Entornos de pruebas de integración: Volumen de datos reducido, esquema igual al de producción. AKA Integración.
  • [0..M] Entornos de pruebas de carga: Volumen de datos similar a Producción, esquema clon de producción, configuración (servidor e instancia) igual a producción. AKA Load Test
  • [1..P] Entornos de producción: entorno final del producto/aplicación. AKA Producción.

Por [0..N], nos referimos a cero o más. [1..M]: Al menos uno, etc. Basta decir la importancia que tiene la consistencia entre entornos es crucial para que el ciclo de desarrollo del SW funcione correctamente.

Ejemplo 1: la definición de una tabla o el código de un procedimiento almacenado en Desarrollo debe ser igual al del resto de los entornos antes de un nuevo cambio.

Ejemplo 2: La configuración del entorno de Load Test debe ser un clon al de Producción, en todos los sentidos: Esquema de BD, configuración de la instancia de SQL Server, configuración del servidor, etc. De lo contrario las pruebas realizadas aquí no tendrán valor o muy poco, ya que no nos servirá para predecir el comportamiento de Producción en situaciones de alta carga de trabajo.

Ahora que hemos planteado el escenario, veamos que nos ofrece SQL Server para cada entorno, resumido en dos líneas:

  • Entornos de no Producción: MSSQL Developer.
  • Entornos de Producción: MSSQL Standard o Enterprise.

Standard tiene muchas características/opciones y Enterprise las tiene todas. Por citar un ejemplo: El motor de SQL Server en Enterprise, para una consulta X, usará automáticamente una vista indexada, en caso de que exista y ayude a generar un mejor plan de ejecución y por tanto optimize el rendimiento de la consulta. En Standard no es así. Por eso la diferencia de costes de licencias entre una y otra. Aquí puedes ver todas las diferencias entre las ediciones, hay un buen número.

Pos su parte la edición MSSQL Developer funciona con todas las opciones de Enterprise, seguramente con algún matiz pero ahora no entraremos en eso. Lo cual está muy bien para ver qué es lo que ofrece el MSSQL, probar y tratar de convencer a tus jefes de lo bueno que es Enterprise para que lo compren.

Pero… ¿Qué pasa si el entorno de Producción tiene que ser Standard, sí o sí? Developer edition no tiene hasta la fecha ninguna opción para configurarlo como otra edición diferente. WTF!!??

¡Sí amigos! Esto es lo que hay por ahora… pero se puede hacer algo para que lo cambien. Para ello existe un ticket abierto (Editado 1-Mayo-2020: enlace actualizado debido a cambio de sitio de MS para peticiones en SQL Server), si te interesa como a mí ¡Vota!

Hasta el próximo post!