Introducción

Cuando uno de los algoritmos de sintetización de Dedomena termina de entrenar, Nucleus puede evaluar el resultado y producir dos documentos a la vez:

• report.pdf — el informe que lee una persona.

• evaluation.json — el mismo contenido como datos, para consumirlo con código.

Los dos salen del mismo objeto de evaluación, así que no pueden decir cosas distintas. El JSON lleva además todas las figuras que el PDF muestra en parte: una pantalla puede desplazarse, un PDF no.

Para qué sirve el JSON

Es la evaluación en forma de dato, y con eso se pueden hacer cosas que un PDF no permite:

• Comparar sintetizadores entre sí, métrica a métrica, en lugar de a ojo entre dos documentos.

• Decidir sobre el entrenamiento con código. Si la utilidad sale por debajo de un umbral, volver a entrenar con más épocas; si la privacidad sale baja, reentrenar o cambiar de algoritmo. La decisión deja de ser manual.

• Programar reentrenamientos y seguir la evolución de una misma tabla a lo largo del tiempo.

• Integrar el resultado en un panel, un informe propio o una puerta de calidad dentro de una canalización de datos.

El JSON declara su versión en meta.schema_version, hoy 1.4. Conviene fijarla: un campo que se mueve es una versión que puedes rechazar, en lugar de un gráfico que aparece vacío sin avisar o una comparación entre dos ejecuciones que ya no compara lo mismo.

Para calcular las métricas se toma una muestra de datos reales y sintéticos, de forma que el cálculo no se convierta en un cuello de botella.

Scores

Dedomena da tres scores, y un cuarto cuando el conjunto es relacional:

Los cuatro van de 0 a 100 y comparten los mismos cortes:

Una métrica sin medir no es una métrica mala

Cuando algo no se puede calcular sobre unos datos concretos —Cramér's V necesita dos columnas categóricas, las métricas de fecha necesitan una columna de fecha— la métrica se marca no aplicable y su peso se reparte entre las que sí se calcularon. No se rellena con un cero ni con un valor por defecto: en el JSON viaja como applicable: false con la razón, y en el PDF sale en blanco.

Es la diferencia entre «lo medimos y salió mal» y «no se pudo medir», y un número solo nunca la dice.

Privacy

El conjunto de control

Las dos últimas —Singling Out y Linkability— solo se calculan si se aporta un conjunto de control: una partición de los datos reales que el modelo nunca vio durante el entrenamiento.

Hay que reservarlo antes de entrenar. Recortarlo de los datos de entrenamiento después no mide nada: los dos ataques son, por definición, la diferencia entre lo que consigue un atacante sobre quien estaba en el entrenamiento y lo que consigue sobre quien no estaba. Sin esa diferencia no hay riesgo que normalizar.

Sin conjunto de control, esas dos métricas no aparecen en el informe, y su peso se reparte entre las demás. No se estiman a partir de los propios datos de entrenamiento.

Por qué DCR y Authenticity son relativas

Las dos tienen el mismo problema en su forma cruda: su valor nulo depende de la forma de los datos, no de la calidad del sintetizador.

• Un DCR absoluto está en las unidades del espacio codificado. Solo se podía comparar contra otra ejecución del mismo conjunto.

• La autenticidad cruda crece con el ancho de la tabla: un sintético impecable saca alrededor de 0.50 en cinco columnas y 0.78 en treinta.

Así que las dos se dividen por una referencia medida sobre los propios datos reales —lo que los registros reales se parecen entre sí— y eso es lo que se puntúa, se colorea y se imprime. El valor bruto y su referencia siguen ahí, en el detail de la métrica y, para el DCR, marcados sobre su histograma.

Gráficos

• Distance to the closest record — histograma de las distancias, con el percentil informado marcado y, punteada al lado, la misma referencia medida entre los registros reales.

• Nearest neighbour distance ratio — histograma con el percentil 75 marcado.

Quality

Estructura y relaciones

Cobertura del espacio de datos

> Precision y Recall van a propósito sin color. Un generador colapsado —que emite pocas filas, todas muy verosímiles— saca una precisión alta, y una copia literal del dato real saca 1.00 en las dos. Un color ahí engañaría más de lo que informa; se leen junto a Coverage y Density, que sí distinguen esos casos.

Fechas

Solo aparecen cuando el conjunto declara columnas de fecha.

Tablas y gráficos

• Correlaciones — tres mapas de calor: real, sintético y la diferencia. Una celda oscura en el tercero es una relación que el sintético no reprodujo.

• Distancia por columna — una fila por variable, peor primero: Kolmogorov-Smirnov para números, variación total para categorías. Las dos van de 0 (idénticas) a 1 (disjuntas). Bandas: excellent ≤ 0.05 · good ≤ 0.10 · fair ≤ 0.20 · poor ≤ 0.35 · critical > 0.35. Es la tabla que responde qué columna está mal, que es la pregunta de quien tiene que arreglarlo.

• Valores inventados o rangos nunca alcanzados — categorías que no existen en el dato real, números fuera de su rango observado, y diferencias en cuántos nulos tiene cada columna.

• Distribuciones, real contra sintético — rejilla comparando ambas. El PDF muestra 8 columnas y dice de cuántas; el JSON lleva todas.

• Perfiles de calendario — series semanales y mensuales, y los perfiles por día de la semana y por mes.

Free Text

Solo aparece cuando el conjunto declara columnas de texto libre.

Estas columnas se miden aparte y se excluyen del bloque de Quality, y la razón es sustancial: una columna de texto libre es casi única por fila, así que como nivel categórico no tiene distribución. Jensen-Shannon sobre ella compara dos conjuntos de valores únicos y Cramér's V no tiene nada que asociar.

Evaluada como categoría produce números con aspecto de medición que no significan nada.

Sobre la novedad hay una advertencia que el propio informe imprime: el sintetizador base no tiene tipo texto — una columna de texto libre le llega como categórica, así que todo valor que emite es un valor que vio entrenando. Con un modelo de lenguaje registrado, esos valores se reescriben y la novedad mide al modelo. Sin él, la novedad es 0 por construcción, y eso es lo que significa el ámbar: no es un fallo del generador, pero la columna no aporta texto nuevo y no debe publicarse como si lo hiciera.

Referential Integrity (multitabla)

Un conjunto de tablas puede puntuar bien una por una y ser inservible junto: pedidos que apuntan a clientes que no existen, o todos los clientes con exactamente tres pedidos cuando los reales van de ninguno a veinte. Ninguna métrica por tabla lo ve, porque los recuentos no son una columna de ninguna de las dos.

Los huérfanos no son una medida de fidelidad, son de validez: un esquema con huérfanos no carga en la base de datos para la que se hizo. Por eso se informa la peor relación y no el promedio — una relación rota de cuatro promediada es un cuarto de problema, y un cuarto de huérfano sigue siendo una fila que no carga.

Gráficos y tablas

• Diagrama del esquema — una caja por tabla con su número de filas reales, una flecha por clave ajena apuntando del hijo al padre, y la flecha en rojo cuando esa relación tiene huérfanos.

• Cada clave ajena, medida por separado — huérfanos, tasa, distancia de cardinalidad, e hijos por padre real y sintético. Medias iguales con una distancia alta dicen que el total está bien y su reparto no.

Utility

Se entrenan modelos en las cuatro combinaciones y se comparan:

Se informan F1, Recall, Precision, Accuracy y AUC en las cuatro. Si no se declara un objetivo, se elige la columna categórica más predecible a partir de las demás — no la más equilibrada: una columna perfectamente equilibrada es muy a menudo un identificador o una etiqueta aleatoria, es decir lo único que nada predice.

Cuándo Utility dice «no aplicable»

Si un modelo entrenado y probado sobre el dato real apenas supera al azar (AUC por debajo de 0.55), ese conjunto no tiene tarea que medir y el score no se calcula.

No es un fallo: sin señal en el dato real, el cociente TSTR/TRTR es el cociente de dos ruidos y oscila decenas de puntos entre ejecuciones sobre los mismos datos. Declinar es la respuesta honesta, y en el informe se lee n/a.

Cómo leer el informe

El resumen ejecutivo

Las cuatro barras de score, sus frases, y —cuando hay hallazgos— un bloque de atención con lo que merece mirarse.

En un conjunto relacional el resumen añade dos cosas que hacen falta para leerlo bien:

1. Una fila por tabla con sus scores, cada uno coloreado en su propia escala: una tabla puede ser fiel y filtrar a la vez, y la fila muestra las dos cosas.

2. Una advertencia de alcance: todas las cifras del resumen son la media entre tablas, métrica a métrica. Ninguna tabla concreta tiene esos valores. Y si algún score promedia menos tablas que el resto —porque en alguna no se pudo medir— el resumen lo dice.

Cómo se configuró la ejecución

Al final del informe: algoritmo, épocas, tamaño de lote, segundos de entrenamiento y si se usó GPU. Sin eso, el documento describe un resultado sin decir de qué configuración salió, y dos ejecuciones con puntuaciones distintas no se pueden explicar.

Los colores

excellent y good en verde, fair en ámbar, poor y critical en rojo, gris cuando no se pudo medir. En el JSON cada métrica lleva su etiqueta de banda en el campo band, así que una interfaz puede colorear sin interpretar una frase.

El JSON

Los tipos de figura son numeric, categorical, histogram y schema.

Las figuras llevan los números —los tramos de un histograma, las celdas de una matriz, los nodos y aristas de un esquema— y nunca un PNG. Una imagen en base64 permite mostrar una estampa del gráfico y nada más: sin tooltip, sin zoom, sin ordenar, sin adaptarse a modo oscuro. Con las series, la interfaz dibuja con su propia librería y el PDF rasteriza los mismos números, así que los dos no pueden divergir. También hace el JSON comparable: dos ejecuciones se pueden contrastar campo a campo, algo que dos PNG nunca permiten.

En un conjunto relacional, las figuras y los bloques de texto van cualificados por tabla (clientes__dist_saldo, notas.descripcion), porque cuatro tablas con una columna created_at son cuatro columnas distintas y no una repetida cuatro veces.