Microsoft Fabric es una solución integral que ah llegado para simplificar el trabajo con datos y analítica en la nube. Se trata de una plataforma basada en Software como servicio (SaaS) que une tanto componentes nuevos como ya conocidos, tales como Power BI, Azure Synapse y Azure Data Factory, pero ahora en un entorno totalmente integrado.

En esta publicación, el objetivo es familiarizarse con los términos más importantes que se utilizan en el entorno de Fabric, ya que comprenderlos es clave para aprovechar todo lo que esta plataforma tiene para ofrecer. Para facilitar este proceso, se ah recopilado una serie de términos que servirá como punto de partida antes de profundizar en su funcionamiento.

Conceptos Generales:

• Capacidad: Se refiere al conjunto de recursos disponibles para ser utilizados en un momento determinado. Esto se mide mediante los SKU, que definen los niveles de memoria y capacidad de cómputo asignados. Por ejemplo, puede variar desde un mínimo de tipo F2, que posee 2 unidades de capacidad y 0.25 v-cores, hasta un SKU de tipo F2048, que cuenta con 2048 unidades de capacidad y 256 v-cores.
• Experiencia: Es un conjunto de funcionalidades diseñadas para una tarea específica. Algunos ejemplos dentro de Fabric son Synapse Data Warehouse, Synapse Ingeniería de Datos, Synapse Ciencia de Datos, Synapse Real-Time Analytics, Data Factory y Power BI.
• Artefactos: Son las funcionalidades que se pueden agregar dentro de una experiencia. Los usuarios pueden crear, editar o eliminar estos elementos, que incluyen, por ejemplo, Canalizaciones (Data Pipelines), Cuadernos (Notebooks), Flujos de datos Gen2 (Dataflows Gen2), Informes (Reports), entre otros.
• Inquilino (Tenant): Es la instancia de Fabric que se asigna a una organización.
• Área de trabajo (Workspace): Es un espacio colaborativo donde se agrupan diferentes elementos que facilitan la colaboración entre equipos. Funciona como un contenedor que reúne varias funcionalidades.
• Dominios: Sirven para agrupar los datos de una organización de manera lógica. Por ejemplo, se pueden organizar por departamentos. Las áreas de trabajo se vinculan a dominios para que sus elementos pertenezcan al mismo. Además, se pueden crear subdominios y asignar roles como Administrador de Dominio y Colaborador de Dominio.

Las Experiencias en Microsoft Fabric

Las experiencias en Fabric desempeñan un papel fundamental, ya que a partir de ellas es posible crear artefactos y organizarlos en las áreas de trabajo. A continuación, se describen las principales experiencias junto con algunos de sus artefactos más destacados:

• Almacén de Lago (Lakehouse): Almacena big data para procesos de limpieza, consultas, reportes y para compartir datos. Permite el almacenamiento de datos estructurados y no estructurados en una misma ubicación.
• Cuaderno (Notebook): Facilita el desarrollo de trabajos Spark y experimentos de Machine Learning. Los lenguajes soportados incluyen PySpark (Python), Spark (Scala), Spark SQL y Spark R.
• Definición de Trabajo Spark (Spark Job Definition): Permite enviar trabajos a clústeres Spark, además de definir, programar y gestionar trabajos para el procesamiento de big data.

• Canalizaciones (Data Pipeline): Orquesta las tareas de ingestión y transformación de datos.
• Flujo de Datos (Dataflow Gen2): Permite preparar, limpiar y transformar datos en un flujo interno o almacenamiento temporal, al cual se puede acceder mediante un conector de tipo Dataflow.

Data Warehouse

Es una experiencia que ofrece un rendimiento y escalabilidad SQL excepcionales. Separa el procesamiento del almacenamiento, lo que permite escalar de manera independiente.

• Bodega de Datos (Warehouse): Proporciona almacenamiento transaccional compatible con DDL y DML. Soporta métodos de ingestión como COPY INTO, Pipelines, Dataflows o consultas como CREATE TABLE AS SELECT, INSERT o SELECT INTO.

Power BI

Plataforma líder de inteligencia de negocios que garantiza un acceso rápido e intuitivo a los datos de Fabric para la toma de decisiones dentro de la organización.

• Reporte (Report): Crea informes interactivos para presentar los datos.
• Reporte Paginado (Paginated Report): Permite el despliegue tabular de datos en un informe, facilitando la impresión y la descarga.
• Tarjeta de Puntuación (Scorecard): Define, rastrea y comparte métricas clave para la organización. También ayuda a establecer objetivos y dar seguimiento al desempeño del negocio.
• Panel de Control (Dashboard): Construye una página que cuenta una historia de datos a través de visualizaciones.
• Almácén de Datos (Datamart) (preview): Solución analítica de autoservicio que permite a los usuarios almacenar y explorar datos cargados en una base de datos completamente gestionada, enfocada en el negocio o en datos departamentales.

Análisis en Tiempo Real (Real Time Analytics)

Se refiere a datos de observación recopilados de diversos orígenes como dispositivos IoT e interacciones humanas. Estos datos pueden ser semiestructurados, como JSON o textos, y suelen llegar en gran volumen.

• KQL Database: Herramienta de integración que permite gestión y análisis de datos para análisis en tiempo real.
• KQL Queryset: Permite ejecutar consultas y vistas sobre bases de datos KQL utilizando Kusto Query Language, y también soporta algunas funciones SQL.
• Eventhouse (preview): Gestiona múltiples bases de datos simultáneamente, compartiendo capacidad y recursos para optimizar el rendimiento y los costos.
• Eventstream: Función centralizada que captura, transforma y enruta eventos en tiempo real hacia diversos destinos sin requerir código. Se integra con Azure Event Hubs, bases de datos KQL y Lakehouses.

Ciencia de Datos (Data Science)

Es una experiencia que permite crear, implementar y poner en marcha modelos de aprendizaje automático. Se integra con Azure Machine Learning para proporcionar un registro de modelos y seguimiento de experimentos de forma integrada. Los científicos de datos pueden enriquecer los datos con predicciones que se agregarán a los informes de Power BI, proporcionando un enfoque que va de la descriptiva a la predictiva.

• Modelo ML (ML Model): Utiliza modelos de Machine Learning para predecir resultados y detectar anomalías en los datos.
• Experimento (Experiment): Permite crear, ejecutar y realizar un seguimiento del desarrollo de múltiples modelos para validar hipótesis.
• Cuaderno (Notebook): Facilita la exploración de datos y la construcción de soluciones de Machine Learning utilizando aplicaciones de Apache Spark.

Data Activator

Es una experiencia sin código que permite realizar acciones automáticamente cuando se detectan patrones o condiciones cambiantes en los datos.

• Reflex (Preview): Monitorea datos en Power BI y Eventstream. Cuando los datos cumplen ciertos umbrales o coinciden con patrones específicos, toma automáticamente acciones como enviar alertas o iniciar flujos de trabajo en Power Automate.

Soluciones de Industria (Industry Solutions)

Fabric ofrece soluciones de datos específicas de sector que proporcionan una plataforma para la administración de datos, análisis y toma de decisiones.

• Sostenibilidad (Sustainability Solutions): Facilitan la ingesta, estandarización y análisis de datos ambientales, sociales y de gobernanza.
• Comercio Minoristas (Retail Solutions): Ayudan a gestionar grandes volúmenes de datos, integrar información de diversas fuentes y proporcionar análisis en tiempo real. Los minoristas pueden utilizar estas soluciones para optimizar inventarios, segmentar clientes, prever ventas, establecer precios dinámicos y detectar fraudes.
• Salud (Healthcare Solutions): Están diseñadas para acelerar el tiempo de creación de valor para los clientes, abordando la necesidad crítica de transformar datos relacionados con la salud de manera eficiente a un formato adecuado para el análisis.

Como se puede ver en la Figura No.1, al ingresar al sitio de Fabric, se pueden apreciar las experiencias descritas de la siguiente forma:

Para elegir entre los diferentes elementos descritos, se selecciona la experiencia que se desea trabajar, la cual ofrece artefactos específicos según el área. También es posible seleccionar un área de trabajo y agregar elementos según sea necesario, como se muestra en la Figura No. 2:

Conclusiones

Se presenta una descripción de los conceptos relacionados con Fabric, que proporciona una base de conocimiento para facilitar a los lectores el inicio de su experiencia con la plataforma. A través de la práctica y la experimentación, los usuarios pueden descubrir las capacidades y beneficios que ofrece este entorno.

Existen diversas formas de organizar los artefactos de las experiencias en Fabric, ya sea creando dominios, subdominios, áreas de trabajo o carpetas. Es fundamental que la empresa defina una estrategia clara para la gobernanza de estos objetos. Asimismo, se recomienda establecer un estándar de nomenclatura para mejorar la organización de los proyectos corporativos.

Finalmente, es crucial resaltar la importancia de la capacitación en el proceso de adopción de nuevas tecnologías como Microsoft Fabric. Esto no solo maximiza su potencial, sino que también permite implementar medidas de seguridad adecuadas en el diseño de la arquitectura.

Bibliografía Consultada:

• Licencias empresariales
• Terminología de Fabric
• Capacidad de licencias empresariales
• Soluciones de datos de la industria
• Introducción al activador de datos
• Descripción general del administrador
• Crear una base de datos
• Conjunto de consultas Kusto