Package 'lupa'

Description

perfilar(), perfilar_dbi() y perfilar_coleccion() devuelven objetos con formas distintas, y eso convertía la lectura en un acertijo: perfil$general$filas funciona sobre la salida en memoria y devuelve NULL sobre la salida DBI, donde el conteo vive en resumen_tabla$meta$filas. Un NULL silencioso en un guion de medición es la peor forma de fallar: no avisa, y lo que sigue calcula sobre nada.

Usage

hallazgos(x, ...)

columnas(x, ...)

cobertura(x, ...)

n_filas(x, ...)

sql_perfil(x, ...)

Arguments

Details

Estos accesores no agregan información: le ponen un solo nombre a la que ya está. La forma concreta de cada objeto sigue disponible y documentada.

Lo que no hay, no se inventa. Un perfilar_dbi() sin muestra leída no tiene hallazgos por fila, y hallazgos() devuelve una tabla vacía con su aviso, no una tabla que aparente que se midió y no había nada.

Value

hallazgos() devuelve un data.frame con una fila por hallazgo; columnas(), un data.frame con una fila por columna de la tabla perfilada y sus métricas y diagnósticos; cobertura() devuelve la tabla de diagnósticos no evaluados —y, sobre un perfil_dbi, la de métricas SQL, que es la cobertura de ese objeto: sus diagnósticos no evaluados viajan en x$perfil_muestra$cobertura_diagnosticos, con el esquema de perfilar(), y la impresión del perfil los declara—; n_filas() devuelve el conteo de filas del alcance, o un vector con un conteo por tabla para una colección. Devuelve NA con su motivo cuando el objeto no conoce el conteo. El significado de cada campo de columnas() se explica por familias en los detalles de perfilar(). sql_perfil() devuelve la tabla de consultas emitidas; sobre una colección incluye la identidad de la tabla y conserva las consultas aunque no se retengan los perfiles completos.

See Also

perfilar(), perfilar_dbi(), perfilar_coleccion()

Examples

perfil <- perfilar(datos_administrativos, analizar_dependencias = FALSE)
nrow(hallazgos(perfil))
n_filas(perfil)
nrow(cobertura(perfil))

Description

Aplica exactamente una de las cuatro agregaciones del marco: ratio, ratio_umbral, promedio o promedio_ponderado. La transición se valida contra el grafo de transiciones_granularidad().

Usage

agregar(
  medidas,
  destino,
  funcion = c("ratio", "ratio_umbral", "promedio", "promedio_ponderado"),
  umbral = NULL,
  pesos = NULL,
  coleccion = NULL,
  colecciones = NULL,
  organizacion = NULL,
  organizaciones = NULL
)

Arguments

Details

ratio sólo acepta medidas booleanas. ratio_umbral sólo acepta medidas reales. Los promedios aceptan esos dos tipos y ningún otro, y siempre producen resultado real en ⁠[0, 1]⁠. Los tres tipos no acotados —numero_real, entero y duracion— se rechazan nombrando la métrica que los declara: el promedio de una duración en días es un número de días, y publicarlo como resultado real en ⁠[0, 1]⁠ lo presentaría como una proporción. La guarda es por tipo declarado, no por el valor observado: antes una duración de ⁠0,25⁠ y ⁠0,75⁠ días pasaba y la misma métrica con ⁠1,5⁠ días abortaba, así que el mismo modelo cambiaba de conducta según los datos que le tocaran. Para el promedio ponderado, los pesos deben estar en ⁠[0, 1]⁠ y sumar uno dentro de cada objeto de destino. La columna orientacion se conserva sin invertir el resultado: un ratio de una métrica de defecto sigue siendo la proporción de defectos.

Value

Objeto medicion agregado, con una fila por objeto de destino.

Lo que el agregado conserva de la medición

Una agregación hereda lo que sus partes declararon: configuracion_modelo, configuracion_aplicabilidad, cobertura_metricas, marco_calidad y fecha_declarada viajan en el objeto. Lo último no es decorativo: sin fecha_declarada, la guarda que impide comparar dos entregas en orden invertido queda desactivada y comparar_evaluaciones() publicaría el delta con el signo al revés.

alcance_medidas —«midió tres celdas de cuatro»— también viaja, pero reexpresado en la clave del agregado: la tabla que publica medir() está indexada por metrica_instanciada ([email protected]) y el agregado renombra la métrica (agregada:ratio:Formato), así que arrastrarla tal cual dejaba una declaración que no se podía atribuir a ninguna fila. Los conteos se suman por objeto de destino, y sólo cuando todas las partes declaran la misma unidad; si no, la fila declara la mezcla en lugar de publicar un total que no estaría en ninguna unidad. Las partes completas también suman —una columna de 6 de 6 junto a una de 5 de 6 da 11 de 12—, también cuando se agregaron por separado y se unieron con rbind(); y en un destino por fila (instanciaEntidad) cada fila cuenta sus propias celdas: se declaran sólo las incompletas, con su número de fila en el motivo.

Una medida repetida —el mismo id_medida dos veces, como deja una medición unida consigo misma— se rechaza, como en evaluar(). El id_medida de cada fila agregada nombra lo que agrega —destino, función, métrica y objeto, como [email protected]—, así que dos partes agregadas por separado se pueden unir y subir de nivel, y el mismo agregado repetido sigue repitiendo su identificador. Cada nombre lleva escapados los signos que lo separan del siguiente —el punto, la coma—, y desde la colección para arriba el identificador nombra también las partes que reúne: dos conjuntos distintos, o dos colecciones sin nombre, no comparten identificador. Un valor que no se puede agregar se rechaza nombrando la métrica y la causa: un tipo no acotado, una medida ausente o suprimida, o un valor fuera de ⁠[0, 1]⁠. umbral sólo se acepta con ratio_umbral, y el borde se compara con tolerancia de redondeo: 1 - 0.9 alcanza el umbral 0.1.

Las coberturas de frontera (cobertura_coleccion y sus hermanas) no se arrastran: cada agregación calcula la de su propio destino con las partes que entraron a ese número, y hereda las de sus partes en cobertura_de_partes. Dos partes agregadas por separado y unidas con rbind() conservan cada una la suya, en cualquier orden de la unión, y el tablero, el índice, el informe, evaluar() e historico_calidad() las publican todas. Unidas dos corridas distintas, cada cobertura lleva además su id_medicion, y el histórico registra la parte no medida en la corrida a la que le faltó. Una colección lleva en cobertura_metricas sólo la de sus propias tablas.

Los pesos se publican

Cuando hay pesos, el objeto los publica en pesos_declarados, con el nombre de la parte que recibió cada uno, de modo que el número se pueda rehacer con lo que el objeto trae. Y si alguna parte entró con peso cero, se declara en partes_con_peso_cero: entró al número sin aportarle nada, queda contada en la identidad de la fila y leerlo sin saberlo es leer otra cosa. La declaración depende de que haya un peso cero, no del destino: antes sólo existía en los cuatro destinos que tienen cobertura de frontera, y en conjuntoEntidades el mismo peso cero pasaba en silencio.

Cuando el destino es conjuntoEntidades, promedio combina las partes sin pesos porque las medidas de nivel entidad no llevan su cantidad de filas. El resultado lo declara en advertencia_agregacion: es un promedio sin pesos y agregar() no conoce el alcance de cada parte. En coleccion, la frontera se declara y por eso sólo se admite promedio_ponderado: sin pesos no se puede decidir cuanto debe aportar cada tabla de esa coleccion.

No existe una transición hacia factor, dimensión o modelo: esos campos son taxonómicos y esta función no calcula un índice global.

Examples

nucleo <- metricas_nucleo()
especifica <- especializar(nucleo$NoNulo)
instancia <- instanciar(especifica, "personas", "edad")
medidas <- medir(modelo(instancia), data.frame(edad = c(20, NA, 35)))
agregar(medidas, "atributo", "ratio")

Description

Es la puerta de entrada al recorrido de lupa. Construye el perfil, las distribuciones, asociaciones, diagnóstico temporal, clasificación confirmable de variables, propuesta de modelo, medición agregada, tablero, cobertura conceptual y plan de limpieza. No modifica los datos.

Usage

analizar(
  datos,
  nombre = .nombre_de_los_datos(substitute(datos)),
  fecha = Sys.time(),
  argumentos_perfil = list(),
  metadatos_variables = NULL,
  modelo_confirmado = NULL,
  propuesta_confirmada = NULL,
  marco = NULL,
  perfil_evaluacion = NULL,
  id_medicion = NULL,
  medir_propuesta = TRUE,
  conservar_detalle_medicion = FALSE,
  muestra = 1e+05,
  muestra_asociacion = 10000,
  max_valores = 20L,
  probabilidades = c(0, 0.25, 0.5, 0.75, 1),
  umbral_asociacion = 0.3,
  max_columnas_asociacion = 50L,
  max_niveles_asociacion = 50L,
  max_pares_asociacion = 500L,
  metodo_asociacion_numerica = c("pearson", "spearman"),
  calendario = 1:7,
  frecuencia_dias = NULL,
  max_huecos = 20L,
  max_columnas_temporales = 50L,
  conservar_datos = FALSE,
  proteger_datos_personales = TRUE,
  ...
)

Arguments

Details

Por omisión mide todas las sugerencias de la propuesta cuyo estado es "lista", aunque no estuvieran activas, y declara que esa selección fue realizada por lupa sin confirmación. Agrega inmediatamente el detalle y conserva tablero_calidad(); las medidas fila a fila sólo quedan en el resultado si conservar_detalle_medicion = TRUE. La evaluación, cuando se solicita, usa la medición agregada. Los hallazgos casi_clave del perfil se reiteran en advertencias, con su columna, valores en colisión, frecuencias y criterio observado, para que no queden ocultos dentro del recorrido integral.

Value

Objeto S3 analisis con todos los componentes y su cobertura.

Tres diferencias respecto de llamar a las funciones sueltas, y las tres son deliberadas. La evaluación usa la medición agregada, no las medidas por fila: evaluar(medir(...), perfil) aplica la regla a cada medida y puede dar otra cifra que analizar(perfil_evaluacion = perfil) sobre los mismos datos —una proporción de medidas contra una proporción de métricas—, y sobre medidas de 0 o 1 los tres perfiles_madurez() no se distinguen. Para reproducirla con las funciones sueltas, agregar() antes de evaluar(). La entrada puede ser una matriz de dos dimensiones: se la pasa a perfilar() sin convertir, para que sea él quien la convierta y lo declare en meta$entrada_convertida. Y cuando una columna temporal pertenece a una columna protegida, temporal$resumen gana la columna proteccion_temporal con el texto ⁠[rangos y huecos protegidos]⁠: la protección se aplica y se declara en la misma tabla donde faltan los valores. La llamada directa a analizar_tiempo() respeta la misma declaración cuando recibe ese perfil.

See Also

guardar_analisis(), reportar(), cobertura_analisis()

Examples

resultado <- analizar(
  datos_administrativos, analizar_dependencias = FALSE,
  fecha = as.POSIXct("2026-01-15", tz = "UTC")
)
resultado

Description

Para cada columna temporal propone una frecuencia en días. La confianza es el mínimo entre la contigüidad de las fechas sobre la grilla propuesta y la cobertura del período: una coincidencia breve dentro de una serie muy dispersa no puede producir confianza alta. Ambas componentes se devuelven para que la propuesta sea auditable. La propuesta nunca queda confirmada automáticamente. calendario usa días ISO: 1 es lunes y 7 domingo; así una oficina puede declarar 1:5 sin que la ausencia de fines de semana se interprete como hueco. Las fechas-hora se llevan a fecha civil en UTC para que el resultado no dependa de la zona del equipo que ejecuta el análisis.

Usage

analizar_tiempo(
  datos,
  perfil = NULL,
  columnas = NULL,
  calendario = 1:7,
  frecuencia_dias = NULL,
  max_huecos = 20L,
  max_columnas = 50L,
  proteger_datos_personales = TRUE,
  columnas_personales = character()
)

Arguments

Value

Objeto analisis_temporal con resumen, dias_semana, huecos y propuestas. El recorte de huecos queda en resumen; el de columnas, en atributos del objeto. resumen agrega tres campos sobre el alcance del resumen, con el mismo vocabulario que usa perfilar() sobre la misma columna: n_fechas_excluidas_parseo cuenta los valores presentes que ningún formato confirmado pudo convertir y que por eso quedaron fuera; n_fechas_excluidas_granularidad, cuántos de ésos son períodos de mes — 2024-02 y sus formas—, que no se convierten a propósito porque no nombran un día; y estado_resumen vale "calculados_sobre_dias" cuando hubo períodos de mes, "calculados_sobre_fechas_parseadas" cuando sólo hubo valores ilegibles, y "calculados" cuando no quedó nada afuera. Los tres se informan siempre, haya muestreo o no, porque el descarte tampoco depende del muestreo. Un NA no entra en esta cuenta: es una ausencia declarada y se informa como faltante, no como valor que no se pudo leer.

Una columna mixta —días y meses— sí se resume, sobre sus fechas completas. Sólo cuando ningún formato confirmado nombra un día no hay serie diaria que construir; entonces la columna no aparece en resumen, y se declara en los atributos columnas_omitidas y columnas_sin_serie_diaria en vez de desaparecer. Si se recibe un perfil que declara proteccion para una columna temporal, sus rangos y huecos se protegen tambien en esta llamada directa, con el mismo texto que usa analizar(). Sin perfil, la columna temporal que es un dato personal —una fecha de nacimiento— se clasifica aquí por léxico y por forma, como en clasificar_variables(), y sus rangos y huecos se protegen igual; lo que sólo quien conoce los datos sabe personal entra por columnas_personales.

See Also

detectar_formatos_fecha(), analizar()

Examples

fechas <- as.Date("2026-01-01") + c(0:4, 20:24)
analizar_tiempo(data.frame(fecha = fechas))

Description

Devuelve las 49 entradas del catálogo del marco y explicita qué parte está disponible en lupa. Los ratios no se duplican como métricas: aparecen con estado "via_agregacion" y con la llamada que los materializa.

Usage

catalogo_agesic()

Details

estado responde qué disponibilidad tiene cada entrada:

• implementada: existe un motor ejecutable, completo o parcial;

• via_agregacion: se obtiene agregando una métrica base;

• pendiente: es automatizable, pero el motor necesario aún no existe;

• fuera_de_alcance: se decidió no implementarla en el alcance tabular de esta versión, por ejemplo métricas geográficas o de imágenes.

motivo separa la causa o el matiz: semantica_completa, semantica_parcial, agregacion, requiere_referencial, requiere_configuracion, motor_pendiente o decision_alcance. Así una métrica ejecutable que necesita un padrón externo no se confunde con una métrica cuyo motor falta. observacion explica la situación concreta de cada una de las 49 entradas y nunca queda vacía.

Escala se clasifica como implementada con configuración experta mediante escala(), no como referencial. DesactualizacionPorFecha, DesactualizacionPorCambios y las oportunidades de entidad requieren un contrato vigencia(). ErrorEstandar sigue la semántica literal de la tabla 16.5 y devuelve desviación estándar, aunque su nombre pueda sugerir el error estándar de la media.

La implementación de ReglaIntegridadInterEntidad se declara parcial: calcula cobertura PK/FK, pero todavía no materializa la regla booleana de inclusión o expresión condicional con granularidad conjuntoEntidades que define el marco. ⁠OportunidadAtributo*⁠, en cambio, sigue las tablas 16.29 y 16.30 con resultado booleano. Las variantes continuas del curso CPAP se conservan como ⁠GradoOportunidadAtributo*⁠ y no figuran como entradas del catálogo. RatioDensidadPonderada usa ratio_umbral, porque su medida base es real y ratio sólo es válido para medidas booleanas.

implementacion publica una receta, no una expresión que se evalúe sola: en las entradas via_agregacion, m es la medición ya tomada de la métrica base que nombra metrica_lupa y u el umbral que elige quien agrega. Son los dos únicos nombres libres que aparecen, y ninguno se inventa aquí: m sale de medir() y u es una decisión de política —cuánta densidad se considera suficiente— que el paquete no toma por nadie.

Value

Data frame con una fila por entrada y las columnas numero, dimension, factor, metrica_agesic, clase_catalogo, estado, motivo, metrica_lupa, implementacion y observacion. estado y motivo son factores.

References

AGESIC (2020). Marco de trabajo para la Gestión de la Calidad de Datos en Gobierno Digital, versión 1.6, capítulo 16, Presidencia de la República, Uruguay.

See Also

metricas_nucleo(), metricas_referencial(), agregar()

Examples

catalogo <- catalogo_agesic()
subset(catalogo, estado == "via_agregacion")
table(catalogo$estado, catalogo$motivo)

Description

Separa el tipo de almacenamiento, el tipo implícito y la escala de medición. Una propuesta basada sólo en valores nunca queda confirmada: ⁠1, 2, 3⁠ puede ser conteo, código o nivel. Las clases ordered, factor, logical, las clases temporales y el metadato measure sí constituyen declaraciones. measure = "scale" se publica como continua, la lectura que SPSS da a ese nivel. Una unidad declarada —el atributo units— establece una magnitud, pero no si es discreta o continua: confirma continua cuando los valores traen decimales, y con valores enteros la propuesta queda sin confirmar, porque pueden ser una cuenta o una medida redondeada.

Usage

clasificar_variables(
  datos,
  perfil = NULL,
  metadatos = NULL,
  max_niveles = 100L,
  muestra = 1e+05,
  proteger_datos_personales = TRUE,
  columnas_personales = character()
)

Arguments

Details

Con perfil, una columna declarada en su columnas_codigo es un código y no una magnitud: en lugar de discreta o continua con rol medida, sale nominal, con rol categoria y confirmada, porque la declaración es del usuario. metadatos la puede corregir igual.

metadatos permite confirmar o corregir la propuesta con una tabla editable. Debe contener columna y puede incluir escala, rol, confianza, confirmada, unidad y una columna de lista niveles. Las escalas válidas son nominal, ordinal, discreta, continua, binaria, temporal y desconocida.

Los niveles declarados y observados se conservan como columnas de lista. Los niveles ausentes son una observación, no prueba de error. Si la evidencia de dato personal activa la protección, los niveles concretos se protegen, y los valores de esas columnas escritos en los niveles de OTRA columna —una observación que cita la cédula— se tapan con el mismo piso que aplica perfilar(). Sólo las escalas nominal, ordinal y binaria guardan niveles observados; en las demás, n_niveles_observados es NA, porque la cifra no aplica.

Una columna numérica sin ningún valor finito —sólo Inf o -Inf— queda desconocida: Inf no es un entero ni un estado.

Value

Data frame S3 clasificacion_variables, editable y filtrable.

See Also

analizar(), distribucion_valores(), proponer_modelo()

Examples

d <- data.frame(
  prioridad = ordered(c("baja", "alta"), levels = c("baja", "media", "alta")),
  cantidad = c(1L, 2L)
)
clasificar_variables(d)

Description

Devuelve una fila por dimensión y factor del marco_calidad() elegido. Usa marco_agesic() por omisión, pero acepta cualquier taxonomía declarada. Distingue lo efectivamente medido de lo que no fue declarado, lo que no aplica a los tipos presentes y lo que queda fuera del alcance actual. La tabla evita que la ausencia de un hallazgo se interprete como evidencia de calidad.

Usage

cobertura_analisis(perfil, medicion = NULL, modelo = marco_agesic())

Arguments

Details

En el marco incluido, el profiling automático mide densidad y no duplicación. Un marco propio puede marcar otros factores mediante la columna perfil_mide. Los demás sólo pasan a "medida" cuando medicion contiene una métrica del factor; descubrir un patrón o una dependencia no los convierte por sí solo en un requisito confirmado.

Value

Data frame con marco, dimension, factor, estado, motivo y como_resolverlo. marco identifica explícitamente la taxonomía contra la que se calculó la tabla. estado es un factor con niveles "medida", "no_declarada", "no_aplica" y "fuera_de_alcance".

El motivo publica el alcance cuando el perfil resumió sólo parte de las columnas. Si ninguna se pudo resumir, el estado es "no_aplica"; si se resumieron todas, el motivo lo dice; y si se resumieron algunas, el estado sigue siendo "medida" —el factor sí se midió, en las columnas que se pudieron resumir— y el motivo empieza con "Parcial: " y nombra cuántas de cuántas. Esas filas se encuentran con grepl("^Parcial: ", cobertura$motivo). El estado no distingue el caso parcial a propósito: es un factor de cuatro niveles documentados que tablero_calidad() valida, y el grado —1 de 100 no es 99 de 100— no cabe en un nivel. El alcance viaja en el motivo, y tablero_calidad() lo conserva al cruzar la cobertura con su medición.

See Also

marco_calidad(), perfilar(), medir(), vigencia(), escala(), reportar()

Examples

perfil <- perfilar(datos_administrativos, analizar_dependencias = FALSE)
cobertura_analisis(perfil)

Description

Una colección es una base de datos entera: el séptimo nivel de granularidad del marco. lupa no la descubre recorriendo el catálogo — la frontera la declara quien conoce la base, igual que los pesos de indice_calidad() o el marco de cobertura_analisis(). Explorar el catálogo convertiría un error de permisos en un resultado, y en bases reales de más de mil tablas recorrerlas todas no es viable.

Usage

coleccion(conexion, tablas, nombre = NULL)

Arguments

Details

Esta función no consulta nada: sólo declara. Lo que se mide viene después, con perfilar_coleccion().

El esquema es parte de la identidad de la tabla, y el catálogo también cuando existe: catalogo.esquema.tabla es el nombre de tres partes que usan SQL Server y otros motores. Se declara con la columna catalogo, y donde no hay catálogo se omite —o va NA— y la identidad queda igual que siempre. Dos tablas con el mismo nombre y esquema en catálogos distintos son dos tablas distintas, y se cuentan como dos. Una tercera columna tipo permite declarar qué es cada objeto —"tabla", "vista", "temporal"—, porque el conteo bruto de un catálogo mezcla tablas base con vistas, índices y secuencias, y no todas se perfilan igual.

Value

Objeto de clase coleccion_lupa: una lista con nombre, la conexion declarada, tablas -un data frame con una fila por tabla declarada y sus columnas de esquema y nombre-, motor con la clase del controlador DBI, y n_declaradas con la cantidad de tablas. No abre consultas ni lee datos: sólo declara qué tablas forman la colección.

Cómo declarar el nombre

Hay tres formas, y no son equivalentes:

data.frame(esquema =, tabla =)

La forma recomendada para cualquier nombre no trivial. Los nombres viajan literales: puntos, espacios y comillas incluidos. No hay parseo y por lo tanto no hay nada que se pueda parsear mal.

DBI::Id, suelto o en una lista

La forma canónica de DBI. Tampoco se parsea. Se admiten hasta tres componentes —catálogo, esquema y tabla—. Con cuatro o más se rechaza nombrando la causa: por encima del catálogo no hay un nivel que la colección sepa declarar, y devolver ese error como si fuera un problema de permisos mandaría a pedir un acceso que ya se tiene.

Texto "esquema.tabla"

Atajo cómodo para el caso simple. El texto se parte en el punto, respetando el entrecomillado del motor: un nombre entrecomillado con un punto adentro queda entero, como una sola tabla. Un nombre de tres o más partes, un punto al principio o al final, o una comilla sin cerrar se rechazan acá, con el motivo real. No se aceptan para fallar más tarde como si fueran un problema de permisos.

El atajo de texto no puede resolver una ambigüedad genuina: "informe.2024" puede ser la tabla 2024 del esquema informe o una tabla llamada informe.2024. lupa elige la primera lectura y lo deja anotado, de modo que si después no encuentra la tabla dice que el nombre se partió. Para el caso ambiguo use el data frame.

See Also

perfilar_coleccion(), perfilar_dbi(), granularidades()

Examples

if (requireNamespace("RSQLite", quietly = TRUE) &&
    requireNamespace("DBI", quietly = TRUE)) {
  con <- DBI::dbConnect(RSQLite::SQLite(), ":memory:")
  DBI::dbWriteTable(con, "personas", data.frame(id = 1:3, nombre = letters[1:3]))
  coleccion(con, "personas", nombre = "padron")
  # La forma literal, sin parseo, para nombres con puntos:
  coleccion(con, data.frame(esquema = NA, tabla = "personas"))
  DBI::dbDisconnect(con)
}

Description

Compara por intersección los campos registrados de dos perfiles y devuelve una fila por cada par de columna y campo. Los campos que no tienen un eje registrado no se comparan y quedan declarados en campos_no_comparables, y lo mismo pasa con un campo registrado que uno de los dos lados no mide: se declara ahi, con el motivo campo_solo_en_anterior o campo_solo_en_actual en detalle_campos_no_comparables y una fila en cobertura_diagnosticos. Los campos bajo protección tampoco se comparan: se declaran por columna, campo y lado en campos_protegidos.

Usage

comparar_equivalencia(anterior, actual, tolerancia)

Arguments

Details

El registro fijo asigna tolerancia sólo a media, mediana, desvio y longitud_media. Los conteos, proporciones de conteos y extremos por selección se comparan en el eje exacto; las fechas canónicas en fecha y moda y centinela_valor en valor. Los ejes exacto, fecha y valor son binarios por construcción.

El comparador devuelve datos, no decisiones: no alimenta hallazgos, severidades ni puntajes. La tolerancia es del llamador y jamás entra en una regla del paquete; sólo se aplica al eje flotante finito y queda publicada para que el llamador decida cómo usarla.

Si una columna es temporal en exactamente uno de los perfiles, los campos de magnitud numérica se omiten por el cambio de esquema y su motivo queda en detalle_campos_no_comparables como tipo_cambiado:temporal_vs_no_temporal. Así no se comparan duraciones en segundos contra magnitudes numéricas sin unidad común. Cuando ambos lados son temporales, desvio sí se compara en flotante porque ambas puertas lo expresan en segundos.

Si un lado es temporal y el otro no publica su tipo —el frame de perfilar_dbi() no trae ningún campo de tipo—, no se afirma un cambio de tipo: los mismos campos se omiten con el motivo tipo_desconocido:temporal_vs_sin_tipo, porque tampoco se puede garantizar una unidad común. Una fecha guardada como número en el motor tiene su desvio en días de ese lado y en segundos del otro, y compararlos publicaría como diferencia del dato una diferencia de unidad.

Si una columna guarda caracteres en exactamente uno de los perfiles, los campos calculados sobre la representación —longitudes, variantes unicode y números escritos como texto— se omiten y su motivo queda en detalle_campos_no_comparables como tipo_cambiado:texto_vs_no_texto. Esos campos cambian con sólo cambiar el almacenamiento, aunque el dato sea el mismo, de modo que compararlos publicaría el síntoma y callaría la causa. factor cuenta como almacenamiento de caracteres. Este guarda lee el tipo declarado y no el inferido: si el texto contiene números o fechas, la inferencia borra justo la diferencia que hay que ver. Cuando el tipo declarado viene de un vocabulario ajeno al de memoria —un tipo SQL, por ejemplo— no se afirma nada y la comparación sigue como siempre.

Por la misma razón, si una columna lleva zona horaria en exactamente uno de los perfiles, los campos que sólo ese almacenamiento puede medir se omiten con el motivo tipo_cambiado:con_zona_vs_sin_zona. Del otro lado no dan un valor distinto: no dan ninguno, porque no hay zona que comparar contra UTC. Los extremos de fecha sí se siguen comparando: al guardarse como texto la columna pierde la zona y los instantes que denota son realmente otros, que es lo más importante que hay para informar en ese caso.

Value

Un frame de clase equivalencia_perfiles con columna, campo, valor_anterior, valor_actual, diferencia_normalizada, veredicto, motivo, tipo_eje y tolerancia. veredicto es un factor ordenado con niveles ⁠identico < equivalente < materialmente_distinto⁠. Los atributos campos_no_comparables, detalle_campos_no_comparables, columnas_no_comparables, cobertura_diagnosticos, campos_protegidos y resumen declaran, respectivamente, los campos omitidos, los motivos estructurales de esos campos, las columnas presentes en un solo lado o con tipos incompatibles, los diagnósticos que no se pudieron evaluar, los campos omitidos por protección y el conteo de cada veredicto. Un campo sin valor medible en ambos lados, o con valor en un solo lado, queda en la tabla con veredicto no_comparable y no suma como acuerdo. campos_protegidos es un data frame con las columnas columna, campo y lado; este último toma los valores anterior y actual.

See Also

comparar_perfiles(), perfilar(), perfilar_dbi()

Examples

anterior <- data.frame(
  columna = "monto", media = 10, minimo = 1, moda = "a",
  stringsAsFactors = FALSE
)
actual <- data.frame(
  columna = "monto", media = 10.00000000001, minimo = 2, moda = "b",
  stringsAsFactors = FALSE
)
comparar_equivalencia(anterior, actual, tolerancia = 1e-9)

Description

Calcula el cambio de EvaluacionPerfil entre dos corridas. Cada objeto debe contener una sola id_medicion; no persiste los resultados. Para una serie de N corridas use historico_calidad() y detectar_deriva_calidad().

Usage

comparar_evaluaciones(anterior, actual)

Arguments

Value

Data frame con resultados anterior y actual, delta y comparacion. El delta es el que publica detectar_deriva_calidad() sobre el histórico de las dos evaluaciones, con la misma regla: queda en NA cuando las corridas miden tablas distintas, cambia el marco o los tipos de resultado, cambia la parte medida de la frontera o un resultado no se evaluó, y comparacion dice por qué con la palabra de la deriva. El orden lo dan los argumentos, no la fecha: anterior es siempre el primero.

Examples

# Ver ejemplos de evaluar().

Description

Compara entregas sin exigir que tengan las mismas columnas. Devuelve cambios de esquema, tipos, faltantes, cardinalidad, rango, patrones y hallazgos como un objeto de datos filtrable.

Usage

comparar_perfiles(anterior, actual, umbral_cambio = 0.05, umbral_error = 0.2)

Arguments

Details

Los patrones se comparan sobre el resumen acotado que conserva cada perfil, no sobre los valores originales ni una distribución completa. Si las dos corridas usaron configuraciones de patrones diferentes, se informa un error de comparabilidad y esa parte de la comparación se omite.

Los nombres de columnas y las configuraciones que contienen texto del usuario se comparan por sus bytes, no por la marca de codificación ni por la intercalación del locale.

Eso alcanza mientras los bytes lleguen intactos, y hay un caso en que no llegan y no depende de este paquete: el formato RDS 3 —el de saveRDS() por omisión— anota la codificación nativa de quien escribe, y al leer traduce desde ella el texto que no declara la suya. Un perfil guardado bajo LC_CTYPE=C y releído bajo otro locale puede volver con el texto cambiado; en Windows el cambio es silencioso, porque ahí la conversión no falla.

Cuando eso pasa, el perfil releído está alterado, y conviene saber qué alcanza a ver esta función. Compara las propiedades medidas de cada columna, los hallazgos, el alcance del resumen y las configuraciones declaradas —no los valores uno por uno—: la columna aspecto del resultado nombra, fila por fila, qué se comparó, y es la enumeración viva. Un cambio de texto que no altera ninguna propiedad medida no aparece: por ejemplo, si la moda de una columna pasa de "Basico" a "Casico" —mismo largo, misma forma de patrón, mismos conteos—, la comparación devuelve cero filas. Por eso el remedio ante una relectura sospechosa no es confiar en la comparación para detectarla.

El remedio es una línea, saveRDS(perfil, archivo, version = 2), porque ese formato no anota codificación nativa y por lo tanto no traduce nada. La persistencia propia del paquete —guardar_historico() y guardar_analisis()— ya lo usa. Las claves internas que agrupan hallazgos también se normalizan por bytes; por eso dos perfiles idénticos no emiten avisos espurios bajo C.

Que la moda no se compare es una decisión, no un pendiente: la moda es un valor, no una propiedad medida, y cambia con cualquier corrimiento normal de los datos, así que compararla llenaría la deriva de filas que no son deterioro. Quien necesite detectar una relectura corrompida tiene el remedio de una línea que está dos párrafos más abajo, que la evita en lugar de detectarla.

Entre las propiedades comparadas está la unidad en la que la columna publica sus cifras, con la misma severidad que un cambio de tipo: dos entregas con los mismos valores y la unidad cambiada de m a km son un cambio real —la cifra dejó de significar lo mismo— y antes devolvían cero filas. Un perfil guardado antes de que ese campo existiera no hace mentir la comparación: esa parte se declara no comparable, como el resto de los campos ausentes.

El rango se compara por los valores de sus extremos, no por su texto impreso: un cambio chico sale como fila ok y uno que alcanza umbral_cambio —medido contra el ancho del rango anterior— como sospechoso, sin que options(scipen) ni digits muevan el veredicto. Cuando el perfil conserva los extremos exactos de un entero que no entra en un doble —un integer64 por encima de 2^53, o un entero escrito como texto—, esos extremos se comparan con aritmética exacta. Los números se publican con la escritura más corta que vuelve al valor, así que dos extremos distintos nunca se imprimen iguales; la marca decimal sigue a OutDec, y con coma decimal los extremos se separan con punto y coma (⁠[1,5; 3]⁠).

Una columna protegida no publica su rango, y la comparación tampoco lo compara: lo declara en el atributo campos_protegidos, con la misma regla que comparar_equivalencia(). Si la protección de una columna cambia entre las corridas con la misma política —por ejemplo, porque la proporción de documentos válidos cruzó el umbral de verificación—, el cambio se informa con una fila propia, aspecto = "proteccion" y severidad sospechoso, en lugar de un cambio de rango que no ocurrió en los datos. Si lo que cambió es la política entera, ya lo dice la fila configuracion_proteccion y no se repite por columna.

Además de los patrones que aparecen y desaparecen, se informa el cambio de proporción de un patrón que sigue en el resumen cuando alcanza umbral_cambio: sospechoso, o error desde umbral_error, en las dos direcciones. Que los cambios menores no generen fila es una decisión, a diferencia de los faltantes: serían una fila por patrón en cada entrega. Si el resumen de un lado estaba lleno —la columna tenía más formas que max_patrones—, un patrón que falta en él pudo quedar por debajo del corte, y no se afirma que apareció o desapareció: la fila dice no_comparable, con severidad ok, salvo que el cambio que sí se puede garantizar —contra la menor proporción que guardaba ese resumen— alcance el umbral; entonces dice modificado y delta es esa cota.

La cardinalidad no tiene una dirección buena: que caiga la tasa de valores distintos de un identificador es un deterioro, y que suba la de una columna de categorías también. Por decisión, un cambio significativo de cardinalidad es sospechoso en los dos sentidos. Los faltantes sí la tienen: que bajen es una mejora y queda ok.

Las columnas que aparecen o desaparecen generan cambios estructurales de severidad error, pero no impiden comparar las columnas compartidas. Un hallazgo de una columna retirada no se presenta como resuelto.

Un hallazgo que ya no aparece se informa como resuelto sólo si el diagnóstico volvió a evaluarse. Si el perfil nuevo lo declinó —y lo dice en su cobertura_diagnosticos—, el cambio se informa como no_evaluado con severidad sospechoso, porque no se sabe si el hallazgo sigue: dejar de mirar no es lo mismo que arreglar. Lo mismo si el perfil nuevo apagó el diagnóstico con su argumento o retiró la declaración que lo habilita, cosa que se lee en meta: casi_duplicados_vocabulario = FALSE, ausencia_estructural = FALSE, variantes_equifrecuentes_vocabulario = FALSE, una clave retirada o declarada sobre otras columnas, una columna retirada de columnas_sin_ceros, columnas_no_negativas, columnas_personales o aplicabilidad, y duplicados_aproximados apagado o corrido sobre otras columnas —lo que corrió queda en perfil$duplicados_aproximados; si corrió sobre las mismas columnas con otros parámetros, la fila configuracion_duplicados_aproximados lo declara—; la descripción nombra el argumento. Al revés, un hallazgo que aparece porque el perfil nuevo encendió o declaró lo que lo habilita sigue saliendo aparecido, y su descripción dice que el anterior no lo evaluaba. Un hallazgo de varias columnas —un par de columnas duplicado, una relación entre columnas— se compara como cualquier otro: sólo no se presenta como resuelto si alguna de sus columnas desapareció. Cada argumento de perfilar() tiene su lugar en la comparación: habilita un diagnóstico, es una vara —su cambio se declara en la fila configuracion_umbrales, que desde esta versión incluye los umbrales de las relaciones de orden y aritméticas entre columnas, los del vocabulario y datos_personales_permitidos, validadores_personales, umbral_documento_verificado y muestra_validadores—, tiene su propia fila de configuración, acota el trabajo y lo declara en cobertura_diagnosticos, o no cambia los hallazgos. Una vara que uno de los dos perfiles no registra —un perfil de una versión anterior— no se compara.

Los hallazgos que cuentan filas de la tabla y no pertenecen a una columna concreta tampoco se declaran resueltos si aparecieron o desaparecieron columnas entre las corridas: cambio el universo que define esas filas. En ese caso se publica no_comparable, con severidad error, y se nombran las columnas cambiadas. Con las mismas columnas, el veredicto resuelto se conserva.

Value

Data frame deriva_perfil. severidad usa el factor ordenado ⁠ok < sospechoso < error⁠; los cambios menores permanecen como filas ok para que la serie sea exportable sin ocultar diferencias. El atributo campos_protegidos declara lo que no se comparó porque la protección de datos personales lo tapa: un data frame con columna, campo y lado —anterior o actual—, la misma forma que usa comparar_equivalencia(). Hoy el único campo que puede figurar es rango. Está siempre, vacío si no hay nada que declarar, y rbind() une los de todas las derivas.

See Also

perfilar(), detectar_deriva_calidad(), reportar(), comparar_equivalencia()

Examples

anterior <- perfilar(data.frame(codigo = c("AA1", "AA2")),
                     fecha = as.POSIXct("2026-01-01", tz = "UTC"))
actual <- perfilar(data.frame(codigo = c("AA1", "B-2"), nueva = 1:2),
                   fecha = as.POSIXct("2026-02-01", tz = "UTC"))
comparar_perfiles(anterior, actual)

Description

vigencia() reúne el contrato temporal que las métricas de actualidad y oportunidad no pueden inferir de los datos: columna de actualización, fecha de acceso, último cambio conocido, fecha límite, intervalo y frecuencia esperada. Cada métrica valida los campos que necesita y se abstiene si faltan: declara en cobertura_metricas cuál falta y cómo declararlo, en lugar de abortar la medición de las demás métricas.

Usage

vigencia(
  columna_actualizacion,
  fecha_acceso = Sys.time(),
  fecha_ultimo_cambio = NULL,
  fecha_limite = NULL,
  inicio_intervalo = NULL,
  fin_intervalo = NULL,
  frecuencia_cambio = NULL
)

escala(error, tipo = c("absoluto", "relativo"))

Arguments

Details

Las dos puntas de cada comparación tienen que ser de la misma clase. Un Date se ancla a la medianoche UTC y un POSIXct vale por su instante, así que mezclarlos puede hacer contar como tarde una actualización del día del límite, y si el POSIXct se leyó sin huso el resultado depende de la sesión. Cuando una métrica compara clases distintas lo avisa. Como fecha_acceso vale Sys.time() por omisión, con una columna Date conviene declararlo también como Date: fecha_acceso = Sys.Date().

escala() declara el error de un instrumento o de otra escala experta. Con error absoluto, Escala calcula 1 - error / abs(valor) y acota el resultado a ⁠[0, 1]⁠; con error relativo calcula 1 - error. No se aprende el error de la distribución observada.

Value

vigencia() devuelve un objeto vigencia_datos; escala() devuelve un objeto escala_medicion. Ambos son contratos de configuración y no examinan datos.

See Also

metricas_nucleo(), especializar(), cobertura_analisis()

Examples

contrato <- vigencia(
  "actualizado", fecha_limite = as.Date("2026-02-01"),
  frecuencia_cambio = 30, fecha_acceso = as.Date("2026-02-15")
)
instrumento <- escala(error = 0.5, tipo = "absoluto")

Description

Conjunto enteramente sintético para demostrar el motor de profiling. Incluye cédulas con formatos heterogéneos, fechas mezcladas, faltantes disfrazados, una columna constante, valores extremos, una fila duplicada y registros con el mismo identificador pero contenidos distintos. No representa personas ni registros de ningún organismo.

Usage

datos_administrativos

Format

Un data frame con 13 filas y 10 variables:

id_persona

Identificador interno, con una repetición contradictoria.

cedula

Documento sintético con formatos correctos e incorrectos.

fecha_nacimiento

Fechas en varios formatos y un faltante disfrazado.

sexo

Categoría sintética con un faltante disfrazado.

ingreso

Importes con sentinelas numéricos y un valor extremo.

departamento

Categoría administrativa.

pais

Columna constante.

correo

Direcciones sintéticas y un patrón anómalo.

id_copia

Copia redundante del identificador interno.

id_tramite

Identificador sintético de alta unicidad.

Source

Generación sintética incluida con el paquete.

See Also

perfilar(), planificar_limpieza()

Examples

data(datos_administrativos)
perfil <- perfilar(datos_administrativos, analizar_dependencias = FALSE)
perfil$columnas[, c("columna", "tipo_inferido", "prop_faltantes_totales")]

Description

Conjunto enteramente sintético, sin vocabulario ni convenciones de un país, para demostrar el recorrido general de lupa. Siembra los mismos tipos de problemas que el ejemplo administrativo: formatos heterogéneos, fechas mezcladas, ausentes disfrazados, espacios y mayúsculas inconsistentes, valores extremos, una columna constante, una columna duplicada, una fila duplicada y un identificador repetido con datos contradictorios. No representa personas, operaciones ni registros reales.

Usage

datos_operativos

Format

Un data frame con 13 filas y 10 variables:

id_registro

Identificador interno, con una repetición contradictoria.

codigo_usuario

Código sintético con formatos heterogéneos y un ausente disfrazado.

fecha_evento

Fechas en varios formatos y un ausente disfrazado.

canal

Categoría con variantes de capitalización, espacios y ausentes disfrazados.

monto

Importes con sentinelas, cero, un negativo y un valor extremo.

zona

Categoría operativa ficticia.

sistema

Columna constante.

contacto

Direcciones sintéticas y un patrón anómalo.

id_copia

Copia redundante del identificador interno.

id_evento

Identificador sintético de alta unicidad.

Source

Generación sintética incluida en data-raw/datos_operativos.R.

See Also

datos_administrativos, analizar(), perfilar()

Examples

data(datos_operativos)
analisis <- analizar(datos_operativos, analizar_dependencias = FALSE)
analisis$perfil$hallazgos[, c("columna", "tipo_hallazgo", "severidad")]

Description

Generaliza un vector de texto mediante la convención del Pattern Finder de DataCleaner: 9 representa un dígito, a una letra minúscula y A una letra mayúscula. Los símbolos y espacios se conservan literalmente. Las tres clases valen en cualquier escritura: un dígito arábigo-índico es 9 y una é es a, de modo que el patrón no publica letras del valor; una letra sin mayúscula ni minúscula —árabe, CJK— cuenta como a.

Usage

descubrir_patrones(
  x,
  distinguir_mayusculas = TRUE,
  expandir = FALSE,
  max_patrones = 20,
  na.rm = TRUE,
  muestra = 1e+05,
  umbral_raro = 0.05,
  proteger_datos_personales = TRUE
)

Arguments

Details

El cálculo aplica reemplazos vectorizados sobre el vector completo. Si el vector supera muestra, usa una muestra sistemática reproducible y registra esa decisión en los atributos del resultado.

Value

Un data frame de clase patrones con patrón, frecuencia, proporción y ejemplos. Los ejemplos no se publican cuando la forma de los valores alcanza por sí sola para clasificarlos como dato personal —un correo, por ejemplo, aunque los correos no sean la mayoría del vector—: salen como ⁠[valor protegido]⁠, los de todos los patrones. Acá llega un vector suelto, sin nombre de columna, así que la vía por nombre no está disponible; un número de ocho dígitos sí se publica, porque su forma sola no alcanza para afirmar que es un documento. Los atributos total, analizados, filas_analizadas y muestreado describen el posible muestreo; filas_analizadas es un alias explícito de analizados para mantener el alcance visible junto a otros diagnósticos. n_evaluados es el denominador de proporcion: los valores analizados, sin los ausentes cuando na.rm = TRUE. resumen_patrones conserva sólo el patrón dominante y hasta seis patrones raros para presentacion; nunca guarda la distribucion completa. patrones_raros_trazabilidad conserva solo los nombres de los patrones raros, hasta 5.000, para que la trazabilidad pueda enumerar filas sin retener frecuencias ni ejemplos. Las proporciones siempre estan en ⁠[0, 1]⁠. n_patrones_distintos registra el total antes de truncar la tabla para informar omisiones sin retenerla. n_patrones_raros y n_patrones_raros_trazabilidad registran cuantos patrones raros habia antes de sus respectivos limites. n_filas_patrones_no_dominantes_excluidos registra cuantas filas pertenecen a patrones no dominantes cuya proporcion no es rara y que por eso quedan fuera del hallazgo.

See Also

perfilar(), inferir_tipo(), detectar_formatos_fecha()

Examples

descubrir_patrones(
  c("2020-01-31", "2021-12-01", "31/01/2020"),
  expandir = TRUE
)

Description

Calcula Pearson —o Spearman, si se pide— entre numéricas, V de Cramér entre categóricas y eta cuadrado entre una categórica y una numérica. Las medidas se informan en ⁠[0, 1]⁠: la correlación usa su valor absoluto. La tabla declara el método, su supuesto, el soporte y el posible muestreo; no presenta significancia estadística.

Usage

detectar_asociaciones(
  datos,
  dependencias = NULL,
  umbral = 0.3,
  muestra = 10000,
  max_columnas = 50L,
  max_niveles = 50L,
  max_pares = 500L,
  metodo_numerico = c("pearson", "spearman")
)

Arguments

Details

metodo_numerico = "spearman" mide asociación monótona sobre los rangos y no supone linealidad, así que reconoce una relación creciente aunque sea curva. Pearson sigue siendo el valor por omisión porque es lo que la mayoría espera de una correlación, y el método elegido viaja en la columna metodo de la salida para que ninguna lectura dependa de recordar cuál se pidió.

Se descartan constantes, fechas, listas, columnas compuestas —matrices o arreglos de más de una dimensión—, categóricas de cardinalidad alta y columnas posteriores a max_columnas antes de construir pares. Las dependencias funcionales exactas recibidas en dependencias no se repiten como asociaciones.

Un par en el que una columna toma un solo valor en las filas completas no se puede medir —ni Cramér ni eta cuadrado están definidos con una sola categoría—, aunque la columna no sea constante en la tabla entera: va a pares_omitidos_medicion y no se publica como asociación cero.

Value

Data frame S3 asociaciones_columnas. Sus atributos declaran filas, columnas y pares examinados, omisiones por dependencia y truncamiento. pares_omitidos_medicion conserva los pares que no se pudieron medir, junto con el motivo y la cantidad de filas completas disponible. Su atributo cobertura_diagnosticos tiene una fila por par omitido. Cuando analizar() integra el resultado, esas filas se agregan a la cobertura del perfil.

See Also

detectar_dependencias(), analizar()

Examples

d <- data.frame(x = 1:20, y = 2 * (1:20), grupo = rep(c("A", "B"), 10))
detectar_asociaciones(d, umbral = 0)

Description

Busca primero claves simples y luego combinaciones mínimas de dos o tres columnas. No prueba una combinación si ya contiene una clave candidata más pequeña. Una clave exige ausencia de NA y unicidad en todas las filas. Además informa columnas simples casi-clave cuando tienen al menos 100 filas, al menos el 90 % de sus valores son distintos y un único valor concentra al menos la mitad de los duplicados excedentes. La concentración evita confundir texto libre de alta cardinalidad, con muchas colisiones dispersas, con una clave dañada. Las variables con rol propuesto fecha, incluidas fecha-hora, no se consideran casi-claves. Los faltantes disfrazados —"SIN DATO", -999— no cuentan como colisiones: se reconocen con la misma máscara que perfilar(), con su política por omisión o con la del perfil que se pase, y la casi-clave se mide sin ellos —sus distintos, exactos y normalizados, y sus colisiones—. Una clave sana con treinta documentos en "SIN DATO" no es una clave rota: le faltan treinta documentos. n_filas sigue siendo el de la tabla. La unicidad normalizada compara cada valor de texto por su clave de bytes, la misma con que perfilar() cuenta n_distintos_normalizados: un valor con marca bytes entra con cada byte alto escrito ⁠\xHH⁠ y no se pliega con el mismo texto marcado UTF-8; latin1 y UTF-8 del mismo texto entran igual. Los vectores double sólo son candidatos si ninguno de sus valores finitos tiene parte fraccionaria. Esto conserva identificadores enteros importados desde archivos de texto y excluye importes, coordenadas y otras medidas. Los vectores integer64 se tratan como enteros semánticos.

Usage

detectar_claves(datos, max_combinacion = 3, normalizar = NULL, perfil = NULL)

Arguments

Details

Dos claves simples se marcan como redundantes cuando sus contenidos son idénticos —incluidas clase, atributos, ausencias y representación exacta—, aunque tengan nombres distintos. Las columnas compuestas —matrices o arreglos de más de una dimensión— y las de lista no se interpretan como claves. Los pares también quedan en el atributo claves_redundantes.

Una columna cuyo nombre se repite en la tabla no se analiza: una clave se publica por el nombre de sus columnas, y ese nombre no diría cuál de las dos identifica. Se avisa, y los nombres quedan en el atributo columnas_nombre_repetido.

Value

Data frame de claves candidatas y casi-claves con las columnas combinadas, cantidad de columnas, marcas de redundancia, casi_clave, unicidad_exacta y unicidad_normalizada. Las columnas de colisiones publican sus valores, frecuencias y la concentración observada. Las claves exactas conservan casi_clave = FALSE; una fila con casi_clave = TRUE es un diagnóstico que requiere corregir o confirmar, no una clave válida.

See Also

detectar_dependencias(), detectar_relaciones()

Examples

detectar_claves(data.frame(id = 1:4, grupo = c("a", "a", "b", "b")))

Description

Busca pares ordenados determinante -> dependiente. El cumplimiento es la proporción de filas que coincide con el valor modal del dependiente para cada valor del determinante; por eso una dependencia aproximada señala directamente las filas minoritarias que pueden ser errores de carga.

Usage

detectar_dependencias(
  datos,
  umbral = 0.995,
  muestra = 1e+05,
  max_columnas = 100L,
  umbral_casi_constante = 0.95,
  umbral_casi_clave = 0.8,
  incluir_claves = FALSE,
  min_observaciones = 10L,
  max_ejemplos = 5L,
  max_comparaciones = 200000L,
  max_trabajo = 1e+08,
  proteger_datos_personales = TRUE,
  columnas_personales = character()
)

Arguments

Details

Para evitar resultados vacíos o triviales, se omiten por defecto las claves únicas, los determinantes cuya tasa de valores distintos alcanza umbral_casi_clave, los determinantes cuya moda alcanza umbral_casi_constante y los dependientes constantes. El valor predeterminado de umbral = 0.995 exige que como máximo 5 de cada 1.000 filas contradigan la relación. Los ausentes de cualquiera de las dos columnas no integran el cálculo. El descarte ocurre antes de construir agrupaciones. El valor predeterminado umbral_casi_clave = 0.8 excluye determinantes con menos de 1,25 filas por valor distinto en promedio: aun si cumplen, suelen describir una casi-clave y no una regla reutilizable. Las columnas compuestas —matrices o arreglos de más de una dimensión— no se toman como determinantes ni dependientes: no son valores escalares por fila.

El costo crece aproximadamente como columnas^2 * filas. max_columnas conserva las primeras columnas analizables, max_comparaciones limita el número de pares columna a columna y muestra aplica una única muestra sistemática a toda la tabla, de modo que las relaciones entre filas no se rompen. max_trabajo acota el producto entre pares posibles y filas analizadas. Es un presupuesto estimado, no una medición de segundos: permite que el tope efectivo de pares baje cuando la tabla tiene muchas filas. Los atributos del resultado declaran todos los recortes.

Una muestra conserva cada fila entera, pero no la cantidad de filas por valor: sobre datos agrupados en filas consecutivas, la muestra sistemática toma una fila de cada grupo y el determinante parece una clave. Por eso los descartes por casi-clave y casi-constante se verifican sobre la columna completa; si sólo la muestra los produjo, el motivo es casi_clave_solo_en_muestra o casi_constante_solo_en_muestra, la columna sigue fuera —evaluarla sobre esa muestra daría dependencias exactas sin evidencia— y perfilar() lo declara en cobertura_diagnosticos.

Value

Data frame de clase dependencias_funcionales, ordenado por cumplimiento y soporte. evidencia cita contradicciones concretas, y no publica los valores de una columna clasificada como dato personal: la evidencia de un par que nombra una columna personal sale entera como ⁠[evidencia protegida]⁠ —lo mismo que en el perfil— y, en las demás, lo que repite un valor de una columna personal de la tabla —una observación que cita la cédula— se tapa con el mismo piso que aplica perfilar(). Los atributos muestreado, filas_analizadas, columnas_analizadas, columnas_omitidas, columnas_descartadas y truncado documentan el alcance efectivo. n_pares_posibles, n_pares_comparados, n_pares_sin_comparar y max_comparaciones documentan el presupuesto de comparaciones. trabajo_estimado, trabajo_comparado, trabajo_sin_comparar, unidad_trabajo y max_trabajo documentan el presupuesto por filas. columnas_descartadas es un data frame que explica por qué una columna no se usó como determinante. Una columna cuyo nombre se repite en la tabla no entra en ninguna dependencia, de ningún lado, y se descarta con el motivo nombre_repetido: la fila diría k -> k sin decir cuál columna es cuál.

See Also

detectar_claves(), proponer_modelo(), perfilar()

Examples

datos <- data.frame(
  codigo = rep(1:3, each = 4),
  descripcion = rep(c("A", "B", "C"), each = 4),
  valor = seq_len(12)
)
detectar_dependencias(datos, min_observaciones = 4)

Description

Compara corridas consecutivas, ordenadas por fecha dentro de cada perfil o regla, y marca cambios significativos en la escala ⁠[0, 1]⁠. Los empates de fecha se resuelven por los bytes de id_medicion, de modo que la misma secuencia persiste igual bajo cualquier locale.

Usage

detectar_deriva_calidad(historico, nivel = c("perfil", "regla"), umbral = 0.05)

Arguments

Value

Data frame deriva_calidad con una fila por par de corridas consecutivas. Una mejora significativa conserva severidad ok; un deterioro de al menos un umbral es sospechoso y uno de al menos dos umbrales es error. identidad_tabla separa series de tablas distintas y aspecto marca el resultado o un cambio de configuracion; cambio usa no_comparable cuando una configuracion del modelo impide comparar las corridas —cambió el marco o los tipos de resultado, y entonces la fila de resultado no se publica—. Cualquier otro cambio de modelo se declara en su fila configuracion_modelo sin esa etiqueta: la comparación se mantiene, y la fila de resultado del mismo par conserva su veredicto. Limitación conocida: una corrida guardada por una versión anterior del paquete cuya configuración lleva un número que con 15 cifras no vuelve a su valor —maximo = 1/3, 0.1 + 0.2, un umbral calculado con quantile()— o un instante con fracción de segundo declara una vez esa fila, con severidad error, contra la primera corrida nueva: la versión anterior escribía el número con 15 cifras (0.333333333333333) y el instante cortado al segundo, y la actual con las cifras que los devuelven a su valor (0.3333333333333333). La fila de resultado de ese par conserva su veredicto, y desde ahí la serie aparea.

Un par que no se puede comparar no recibe veredicto. Si alguna de las dos corridas no evaluó su resultado, delta, cambio_absoluto, significativo, direccion y severidad quedan en NA —no en estable ni en ok— y descripcion nombra de qué lado falta el resultado. Filtrar por severidad != "ok" deja fuera esas filas a propósito: no son filas sanas, son filas sin medición, y se encuentran con is.na(significativo). La comparación es entre corridas consecutivas: una corrida sin evaluar en medio de la serie deja sin veredicto sus dos pares y la deriva no compara por encima de ella. Para comparar las corridas de los dos lados, quitar la del medio del histórico —h[h$id_medicion != "B", ]—. Lo mismo cuando a una de las dos corridas le falta su configuración —una tabla armada a mano, o un CSV exportado sin las columnas identidad_tabla y ⁠configuracion_*⁠—: sin ella no se sabe si las dos miden la misma tabla con el mismo marco, así que cambio es no_comparable, el veredicto queda en NA y el atributo cobertura_diagnosticos lo declara.

Un cambio de frontera tampoco se compara. Si las dos corridas no dejan afuera las mismas partes declaradas —el nivel parte_no_medida del histórico: una tabla de la colección que entró o salió del número—, sus números no cubren lo mismo: la fila de resultado no se publica y una fila aspecto = "cobertura_frontera", cambio = "no_comparable", lo declara, con las partes sin medir de cada lado en evidencia. Dos corridas a las que les falta la misma parte sí se comparan.

Examples

# El ejemplo de historico_calidad() muestra cómo construir las corridas.

Description

Recorre las señales declaradas con senal_redundante() e informa las filas donde las columnas que deberían codificar el mismo hecho no concuerdan dentro de la ventana declarada.

Usage

detectar_discordancias(
  datos,
  senales,
  max_ejemplos = 5L,
  proteger_datos_personales = TRUE,
  columnas_personales = character()
)

Arguments

Details

El valor de este diagnóstico es que ninguna columna por separado lo muestra: los tres años de una fila pueden ser todos plausibles y aun así contradecirse entre sí.

Una fila donde alguna de las columnas comparadas está ausente no se cuenta como discordante ni como concordante: se excluye del universo evaluado, y n_evaluadas lo declara. Ausencia no es desacuerdo.

Una columna de la señal que no tiene un valor comparable por fila —una compuesta (matriz, tabla anidada, valores que no se escriben como texto), una lista de objetos o de geometrías, o una magnitud con unidad (units), cuyo número sin la unidad no es su valor— no entra: la fila de la señal sale con n_evaluadas = 0, n_discordantes = NA y la evidencia dice qué columna y por qué. Con una transformacion que la lleve a un valor por fila —por ejemplo units::drop_units() después de llevarla a una unidad—, se compara.

Una fila con el mismo valor en todas las columnas concuerda, también si ese valor es infinito: Inf contra Inf es coincidencia exacta.

Una fila citada no muestra iguales dos valores que el veredicto separó. Si la escritura corriente los junta —dos dobles que coinciden en 15 cifras, dos instantes del mismo segundo, dos textos que se ven iguales con distintos puntos de código—, esa fila los cita con la escritura que los distingue: el doble con las cifras que lo devuelven a su valor, el instante con su fracción y el texto con cada carácter fuera del ASCII imprimible escrito ⁠<U+XXXX>⁠, con una nota que lo dice.

Value

Data frame con una fila por señal: senal, columnas, n_filas, n_evaluadas, n_discordantes, proporcion, ventana y evidencia.

evidencia cita filas concretas, y no publica los valores de una columna clasificada como dato personal —salvo que se pida lo contrario con proteger_datos_personales = FALSE—: esos salen como ⁠[valor protegido]⁠. El número de fila y el nombre de la columna se conservan, que es lo que hace falta para ir a corregirla. Las columnas que no son personales se citan enteras, salvo lo que en ellas repite un valor de una columna personal de la tabla —una observación que cita la cédula—: eso se tapa con el mismo piso que aplica perfilar(), aunque la columna personal no esté en la señal.

See Also

senal_redundante(), detectar_dependencias(), detectar_relaciones()

Examples

d <- data.frame(
  anio_fiscal = c(2023L, 2023L, 2022L),
  anio_archivo = c(2023L, 2023L, 2023L)
)
detectar_discordancias(d, senal_redundante(c("anio_fiscal", "anio_archivo")))

Description

Compara filas seleccionadas de una tabla con stringdist y devuelve pares cuya distancia esta bajo el umbral. El resultado describe similitud, distancia, medida y alcance; nunca afirma que dos filas representen la misma entidad. Por omision se combinan como maximo dos columnas de texto o factores, despues de excluir nombres que parecen identificadores (id, codigo, uuid, entre otros). Si quedan mas de dos columnas, la funcion pide indicar columnas explicitamente en vez de mezclar campos que pueden diluir la similitud. La medida predeterminada es Jaro–Winkler ("jw"), con p = 0.1: Winkler favorece coincidencias con el mismo prefijo y, por eso, premia una errata al final mas que una al comienzo. El umbral predeterminado es 0.10. Estos dos valores cambian respecto de versiones anteriores y pueden cambiar los pares informados; el umbral se eligio como una precision prudente, no como una calibracion fina. Ambos argumentos se pueden cambiar.

Usage

detectar_duplicados_aproximados(
  datos,
  columnas = NULL,
  metodo = "jw",
  umbral = 0.1,
  p = 0.1,
  muestra = Inf,
  max_pares = 50000000L,
  max_resultados = 100L,
  normalizar = NULL,
  perfil = NULL,
  proteger_datos_personales = TRUE,
  bloque = 1000L,
  estrategia = "auto",
  lsh_bandas = 12L,
  lsh_filas = 3L,
  lsh_q = 3L,
  lsh_max_cubeta = 1000L,
  lsh_muestra_estimacion = 400000L,
  presupuesto_pares = Inf,
  bloquear_por = NULL,
  lotes = FALSE,
  tamano_lote = 1000L,
  directorio_lotes = NULL,
  nucleos = getOption("lupa.nucleos", 2L),
  max_largo_valor = .MAX_LARGO_VALOR_CASI_DUPLICADOS
)

Arguments

escapar <- function(v) {
  gsub("|", "\\|", gsub("\\", "\\\\", v, fixed = TRUE), fixed = TRUE)
}
fila <- function(i) paste(escapar(datos$c1[i]), escapar(datos$c2[i]), sep = " | ")
stringdist::stringdist(fila(1), fila(2), method = "jw", p = 0.1)

Details

tipo_par = "exacto" indica que los textos guardados son iguales en las columnas comparadas; una celda ausente (NA) y una cadena vacía cuentan como el mismo texto vacío, que es como entran a la comparación, así que esa diferencia no se atribuye a la normalización. Dos dobles son iguales si lo son sus valores, no su escritura con 15 cifras. tipo_par = "exacto_normalizado" indica que coinciden despues de la normalizacion declarada, aunque los textos guardados difieran. Los restantes son "aproximado". La columna logica igualo_normalizar es TRUE unicamente para el segundo caso. La clasificacion no depende de que una medida de distancia devuelva cero: por ejemplo, soundex puede dar distancia cero para textos distintos. Ningun par demuestra identidad.

Como la normalizacion por omision iguala mayusculas, espacios, acentos y comillas, el objeto conserva esta distincion tanto en pares como en los hallazgos. duplicados_exactos_normalizados es un tipo de hallazgo propio: no afirma que los valores guardados sean iguales y tampoco oculta la causa de la coincidencia bajo duplicados_aproximados.

Una fila cuyos valores en las columnas comparadas son todos ausentes, cadena vacía o solo blancos —espacios, tabulaciones, saltos de línea; lo que perfilar() cuenta en n_blancos— no entra en la comparación, con o sin normalización: no hay texto que medir, y dos filas vacías no son un duplicado sino dos ausencias. alcance$n_filas_validas cuenta las que sí entraron —contra n_filas_total— y, si no quedan dos, razon lo dice. Una cadena vacía sí es una clave válida en bloquear_por: ahí no se compara su texto, se agrupa por él.

En alcance, n_pares_exactos cuenta solo textos guardados iguales, n_pares_exactos_normalizados cuenta coincidencias producidas por la normalizacion y n_pares_aproximados cuenta los pares restantes. Son conteos disjuntos y explican n_pares_hallados.

La comparacion usa teselas de bloque filas: cada matriz temporal se descarta antes de continuar, por lo que la memoria no crece con el tamaño de la tabla. El recorrido es exacto para las filas seleccionadas. muestra y max_pares recortan el camino exacto; en el camino LSH, muestra = Inf conserva todas las filas y max_pares no se aplica a las comparaciones. En ese camino alcance$limite_pares es NA, mientras limite_pares_configurado conserva el valor pedido como referencia y limite_pares_aplica permite distinguir ambos casos sin inferirlo. El objeto informa cuantos pares eran posibles, cuantos se compararon, el modo, el tamaño de las teselas o los parámetros LSH y los que quedaron fuera. Solo se muestran max_resultados coincidencias; el truncamiento tambien queda declarado.

El recorte conserva los pares mas cercanos y, entre los empatados en distancia, desempata por el rango canonico del valor con una clave simetrica. Es la misma regla que gobierna el recorte del vocabulario, y existe por lo mismo: desempatar por posicion de fila hacia que cuales pares sobrevivieran dependiera de como viniera ordenado el archivo. Medido sobre 60 pares empatados con el corte en 30, cinco ordenes distintos devolvian 30 grupos cada uno sin compartir ninguno; ahora devuelven los mismos.

Lo que ningun orden evita es que un corte dentro de un empate deje afuera pares igual de cercanos, asi que se declara. alcance publica distancia_corte —la distancia donde cayo el corte—, n_en_distancia_corte —cuantos de los conservados la comparten— y corte_en_empate, que no es truncado con otro nombre: vale FALSE cuando el corte cae en una distancia unica. Si vale TRUE, subir max_resultados por encima del empate devuelve todos los pares de esa distancia.

Queda un limite que ningun orden puede sacar: si varias filas tienen el mismo valor en la columna comparada, sus pares empatan tambien en el rango, y ahi el desempate cae en la posicion. Medido: con cuatro filas y solo dos valores distintos, el conjunto de pares de valores es identico en los cinco ordenes, pero cuales instancias de fila los representan cambia. Es irreducible: dos filas con el mismo valor son indistinguibles en esa columna, y su unica identidad es la posicion, que es justamente lo que varia al reordenar. Si importa que instancia se informa, hace falta una clave que las distinga.

En el camino LSH el conjunto de candidatos depende del orden de las filas, porque el vocabulario de q-gramas se numera por orden de primera aparicion y esa numeracion alimenta las firmas. Eso ocurre dentro de la garantia declarada en ⁠lsh_garantia_jaccard_*⁠: medido sobre 1.200 filas, de los pares que cambian al barajar ninguno supera un Jaccard de q-gramas de 0,8, donde el recall declarado es 0,9998. Conviene saberlo antes de comparar dos corridas sobre el mismo contenido exportado en distinto orden.

stringdist es una dependencia opcional. Si no esta instalado, la funcion devuelve un objeto con disponible = FALSE, una tabla vacia y el motivo explicito; no falla ni presenta silencio como si se hubieran comparado todos los pares. En ese caso —y cuando la comparación no corre por un valor que supera max_largo_valor, por dos columnas con el mismo nombre o por no haber columnas comparables— los conteos de alcance que salen de comparar filas (n_filas_validas, n_pares_hallados, n_pares_exactos, n_pares_exactos_normalizados y n_pares_aproximados) son NA, no cero: nadie los midió. Si las filas se recorrieron y no quedaron dos válidas, cero pares sí es lo medido.

Las comparaciones que delegan en stringdist usan nucleos hilos como máximo. El valor por omisión es getOption("lupa.nucleos", 2L), se limita a los núcleos disponibles y se publica como alcance$nucleos_usados. Cambiar la cantidad de hilos no cambia los pares ni los hallazgos, aunque sí puede cambiar el tiempo de ejecución. p es el factor de prefijo de Jaro–Winkler y admite valores entre 0 y 0.25; sólo tiene efecto cuando metodo = "jw". Para los demás métodos se valida pero stringdist no lo utiliza. El aviso interactivo señala esta perilla: subir nucleos puede acortar la etapa de comparación, pero la ganancia depende de la máquina y de los datos.

Para tablas que superan el tope exhaustivo, estrategia = "auto" usa MinHash con bandas LSH sobre todas las filas cuando muestra = Inf. La salida declara las bandas, las filas por banda, las cubetas descartadas y la probabilidad teorica de colision. Esa probabilidad se refiere al Jaccard de los q-gramas, no a la medida final (metodo). estrategia = "lsh" fuerza este camino; "teselas" y "muestra" conservan el camino exacto o muestreado de las versiones anteriores. Las cubetas que superan lsh_max_cubeta se procesan igualmente por lotes; el parámetro identifica cubetas potencialmente costosas, pero no descarta sus pares. El alcance separa lsh_teselas_cubetas_grandes (matrices del primer tramo) de lsh_lotes_cubetas_grandes (lotes de filas de las bandas posteriores), pues no son la misma unidad. Los pares aceptados por ambos recorridos entran al resumen de Jaccard. Si alguna implementación futura descarta una cubeta, la garantía se devuelve como NA y lsh_garantia_estado lo deja explícito. La familia MinHash usa una permutación aleatoria inyectiva del vocabulario, con una semilla interna fija, y restaura el estado global del generador de R; por eso es determinista sin depender de set.seed() ni de RNGkind(). La tabla de consulta de cada hash evita repetir trabajo para cada celda de la matriz de q-gramas y hace que el resultado no dependa de cómo se numeraron esos q-gramas. Antes de recorrer las bandas se toma una muestra interna y se publica una estimación reproducible de candidatos. El cronómetro de la medida se ejecuta durante al menos 50 ms y queda en resultado$estimacion, separado de alcance y marcado como no determinista. Es un piso de la medida aislada y no estima la firma, las cubetas ni el troceo; sólo se muestra como aviso en una sesión interactiva. Fuera de una sesión interactiva se señala una condición silenciosa de clase lupa_tiempo_lsh, sólo en el camino LSH: no se imprime en stdout ni stderr. Se puede capturar con withCallingHandlers(resultado <- detectar_duplicados_aproximados(...), lupa_tiempo_lsh = function(c) { ... }). Como hereda de message, un tryCatch(..., message = ...) puede interrumpir la corrida y devolver el valor del manejador; para observar sin interrumpir use withCallingHandlers y, si corresponde, invokeRestart("muffleMessage"). presupuesto_pares permite rechazar el recorrido antes de iniciarlo; sólo se pregunta en una sesión interactiva. El diagnóstico de Jaccard puede quedar limitado a los primeros pares del recorrido determinista; lsh_jaccard_alcance lo dice literalmente y no presenta ese prefijo como una muestra representativa. Con bloquear_por, alcance separa los pares estructuralmente fuera del bloqueo de una estimación de los candidatos que se habrían informado y que quedaron fuera según una muestra determinista. La segunda cantidad es una estimación, no una cuenta exacta.

Value

Lista de clase duplicados_aproximados con pares, hallazgos, alcance, columnas, metodo, umbral, disponible, razon y estimacion. alcance es reproducible; en el camino LSH, estimacion$tiempo_determinista es FALSE y reúne la velocidad, duración y tiempo de referencia medidos en esa corrida. El campo estimacion$tiempo_estimado_etapa indica que ese piso cubre sólo la comparación stringdist, no la firma, las cubetas ni el troceo. En el camino exacto o cuando no se puede comparar, estimacion es NULL. Si lotes = TRUE, se agrega lotes con el directorio, los archivos RDS, sus tamaños, el estado de completitud y reanudable = FALSE. El loteo cruza todos los grupos, por lo que no pierde pares; su resultado de pares, hallazgos y alcance es el mismo que el recorrido exacto sin lotes. Cada fila de hallazgos declara n_evaluados, n_afectados y unidad_conteo; los conteos desconocidos son NA, nunca cero.

References

Broder, A. Z. (1997) doi:10.1109/SEQUEN.1997.666900. On the resemblance and containment of documents. En Compression and Complexity of Sequences, 21–29. Leskovec, J., Rajaraman, A. y Ullman, J. D. (2020) doi:10.1017/9781108684163. Mining of Massive Datasets (3.ª ed.), capítulo 3.

See Also

perfilar(), reportar(), planificar_limpieza()

Examples

datos <- data.frame(
  nombre = c("Ana Perez", "Ana Peres", "Luis Diaz"),
  domicilio = c("Calle 1", "Calle 1", "Calle 9")
)
pares <- detectar_duplicados_aproximados(datos)
if (!pares$disponible) pares$razon

Description

Reconoce formatos de fecha y fecha-hora sin escoger arbitrariamente entre día/mes y mes/día. Cuando todos los valores con barra, guion o punto son ambiguos, devuelve todas sus lecturas posibles con estado "candidato": día/mes y mes/día y, con guion y dos dígitos en cada parte (01-02-03), también año/mes/día. Esas lecturas son una sola representación. El atributo formatos_mixtos indica si hay evidencia de dos o más representaciones en la columna. El nombre May es a la vez el mes completo en inglés y la abreviatura de mayo: se cuenta como ⁠%B⁠ o ⁠%b⁠ según cómo escriba el mes el resto de la columna, y no como una representación aparte. Se aceptan días y meses con uno o dos dígitos. Los años de dos dígitos se detectan, pero siempre quedan como candidatos y se señalan en la columna anio_dos_digitos: el siglo no se interpreta en silencio. También reconoce meses escritos en español rioplatense (setiembre y set) y en inglés, con la estructura completa de una fecha o como mes y año. La tabla interna de nombres no usa LC_TIME, por lo que el resultado es independiente del locale del proceso; los nombres de mes dentro de una oración no se reconocen. Un mes escrito desambigua día/mes, pero un año de dos dígitos sigue siendo candidato. Los formatos escritos de mes y año, igual que las fechas compactas, exigen un año entre 1800 y 2100. El formato compacto ⁠%Y%m%d⁠ exige un año entre 1800 y 2100 para evitar que identificadores de ocho dígitos se clasifiquen parcialmente como fechas. Una hora con segundo 60 no se acepta: R la leería como el minuto siguiente. Tampoco la hora 24:00: R la leería como la medianoche del día siguiente, y el perfil publicaría una fecha que nadie escribió.

Usage

detectar_formatos_fecha(x, muestra = 1e+05)

Arguments

Value

Data frame con formato, frecuencia, proporción, estado, granularidad ("dia" o "mes") y conteos de casos inequívocos y ambiguos. Los atributos informan el muestreo, la cantidad de valores compatibles y la presencia de formatos mixtos.

See Also

inferir_tipo(), perfilar()

Examples

detectar_formatos_fecha(c("2020-01-31", "31/01/2020"))
detectar_formatos_fecha(c("01/02/2020", "02/03/2020"))

Description

Examina los pares de columnas declarados y describe su cardinalidad a partir de la unicidad completa de cada lado. La cobertura tabla1_en_tabla2 es la proporción de valores no ausentes de la primera columna que existe en la segunda; la cobertura inversa se informa de forma simétrica. Así se puede escoger la dirección PK/FK sin imponerla de antemano.

Usage

detectar_relaciones(
  tabla1,
  tabla2,
  muestra = 1e+05,
  columnas_candidatas = NULL,
  umbral_cobertura = 0.9,
  podar = FALSE,
  tope_memoria_mb = Inf,
  .rangos = NULL
)

Arguments

Details

Los valores se comparan por su identidad. Los números, por su valor; los instantes y las fechas también, con su fracción: dos instantes del mismo segundo no coinciden, y un instante sin fracción se escribe al segundo —⁠2020-01-01 10:00:00⁠— para que un texto con esa escritura lo encuentre. Un texto con bytes que no son UTF-8 válido se compara por sus bytes, como %in%: no es un ausente, y dos valores así distintos no coinciden.

columnas_candidatas permite evitar la exploración de columnas que el usuario sabe que no pueden participar. El costo crece con el producto de anchos: dos tablas de treinta columnas son novecientas combinaciones por par de tablas, y declarar cuáles pueden participar es lo que lo vuelve manejable.

Hay dos clases de poda y el paquete no las trata igual. Dos columnas de la misma familia con rangos numéricos disjuntos, medidos sobre la columna completa o sobre el universo DBI, no comparten ningún valor, y eso se sabe sin comparar: la fila sale como siempre —sin_coincidencias, con cobertura cero— y la comparación se ahorra. Esa poda está siempre activa porque no cambia lo que el objeto informa.

Las otras dos sí lo cambiarían. Familias distintas parece decisivo y no lo es: una columna de texto puede guardar "2020-01-05" y coincidir con una de fecha. Y una cardinalidad imposible no dice que no haya coincidencias, dice que no alcanzan umbral_cobertura, que es otra cosa. La cota es por filas, como la cobertura: con k valores distintos en tabla1, las filas cubiertas de tabla2 no superan las de sus k valores más frecuentes. Por eso van detrás de podar = TRUE, y cuando se aplican el par no desaparece: sale con cardinalidad = "sin_comparar", coberturas NA y su motivo en motivo_poda. Un par que no se evaluó no es un par sin relación.

Dos pares no se comparan nunca, con podar o sin él, porque la comparación no daría una respuesta sino una falsa. Si una tabla tiene dos columnas con el mismo nombre, el nombre no dice cuál de las dos es: sus pares salen sin_comparar con motivo_poda = "nombre_repetido". Y una fecha contra una fecha-hora no comparte escritura —2020-01-01 contra ⁠2020-01-01 00:00:00⁠—, así que ningún valor coincidiría aunque fueran los mismos días: el par sale con motivo_poda = "fecha_contra_instante". Convertir una de las dos a la clase de la otra, con tz explícito, y volver a comparar. Tampoco entra una columna que no tiene un valor comparable por fila: una compuesta —matriz, tabla anidada, valores que no se escriben como texto, como una vctrs_rcrd—, una lista de objetos —de vectores, de geometrías, de NULL— o una magnitud con unidad (units), cuyo número sin la unidad no es su valor. Sus pares salen sin_comparar con motivo_poda = "columna_no_comparable", y el detalle en podas dice cuál de las tres es; la función sigue con las demás columnas.

Todas las podas, de las dos clases, quedan además en el atributo podas con su motivo y su detalle.

Cuando una tabla supera muestra, la función estima cada cobertura con una muestra sistemática del lado que se verifica y conserva completo el conjunto de referencia. La cardinalidad y la cantidad de valores comunes siempre se calculan con ambas columnas completas.

Value

Data frame con columna_tabla1, columna_tabla2, cardinalidad —1:1, 1:m, m:1, m:m, sin_coincidencias o sin_comparar—, n_valores_comunes, coberturas de integridad referencial en ambas direcciones y motivo_poda, que sólo tiene valor en los pares no comparados. Los atributos filas_totales, filas_analizadas y muestreado documentan el muestreo; podas, n_pares_totales, n_pares_comparados y n_pares_podados documentan qué se comparó y qué no.

See Also

detectar_claves(), referencial(), proponer_modelo()

Examples

personas <- data.frame(id = 1:3)
tramites <- data.frame(persona_id = c(1, 1, 3, 4))
detectar_relaciones(personas, tramites)

Description

Resume frecuencias sin conservar una tabla completa de alta cardinalidad. Cada columna se limita a max_valores; alcance declara cuántos valores se analizaron, cuántos distintos se observaron y si hubo muestreo o truncamiento. Los cuantiles se calculan sólo para números ordinarios finitos.

Usage

distribucion_valores(
  datos,
  perfil = NULL,
  max_valores = 20L,
  probabilidades = c(0, 0.25, 0.5, 0.75, 1),
  muestra = 1e+05,
  proteger_datos_personales = TRUE,
  columnas_personales = character(),
  .universo = NULL
)

Arguments

Details

Las proporciones de frecuencias se calculan sobre los valores que se pudieron analizar, no sobre la columna entera, y alcance dice cuántos fueron: n_total contra n_analizados. Cuando alguno no se pudo comparar —bytes inválidos, sobre todo— el estado de esa columna es calculada_parcial en vez de calculada, para que un resultado parcial no se lea como completo. Un NA no cuenta como descarte: es una ausencia declarada, no un valor que no se pudo analizar. Los otros estados posibles son sin_valores, sin_valores_analizables y tipo_no_comparable. La entrada es la de perfilar(): un POSIXlt se cuenta por su instante, como el POSIXct equivalente, y el nivel NA de un factor es un faltante.

Cuando una columna tiene evidencia suficiente para activar la protección de datos personales, sus frecuencias y niveles se conservan pero el valor concreto se reemplaza. Los cuantiles mantienen sus filas y probabilidades, pero valor queda en NA y estado informa "valor_protegido": un cuantil, especialmente en tablas pequeñas, puede coincidir exactamente con una observación. Esta protección es independiente de la usada al construir el perfil.

Hay clases que R declara numéricas y cuyo cuantil interpolado no se puede calcular, porque su aritmética rechaza el producto por una fracción —lubridate::Period es una—. Esas columnas no interrumpen el análisis: conservan sus filas con valor en NA y el estado "no_interpolable:<clase>", que nombra la clase que no se pudo interpolar. La condición se mide intentando el cálculo, no enumerando clases, así que una clase nueva con la misma limitación queda cubierta sin tocar el código.

Las frecuencias se cuentan por valor, no por su escritura: dos dobles que coinciden en sus primeras 15 cifras —0.1 + 0.2 y 0.3, 1e15 y 1e15 + 1— son dos filas, como los cuenta perfilar(), y cada una se escribe con las cifras que la devuelven a su valor. Un instante se escribe en UTC y con el rótulo UTC, como los resúmenes de perfilar(): la etiqueta no depende de la zona de la sesión. A igual frecuencia, las filas se ordenan por valor —el texto por sus bytes, los números como números—, el mismo desempate que la moda de perfilar(): así, el recorte de max_valores no depende del orden de las filas de la tabla.

Value

Objeto distribuciones_perfil, una lista con data frames frecuencias, cuantiles y alcance. Todas las proporciones están en ⁠[0, 1]⁠.

See Also

perfilar(), analizar(), clasificar_variables()

Examples

d <- data.frame(grupo = c("A", "A", "B"), valor = c(1, 2, 10))
distribucion_valores(d)

Description

Muestra las candidatas de sugerir_clave() numeradas, con el motivo de cada una, y devuelve la que se elija para pasarla al argumento clave de perfilar(). La última opción permite escribir un nombre que no esté en la lista, o varios separados por coma para una clave compuesta.

Usage

elegir_clave(datos, maximo = 5L, umbral_casi = 0.95)

Arguments

Details

En una sesión no interactiva no pregunta: devuelve NULL y avisa qué habría ofrecido. Un guion que corre solo no puede quedarse esperando una respuesta, y elegir por su cuenta sería exactamente lo que esta función existe para no hacer.

Value

El nombre —o los nombres— de la clave elegida, o NULL si no se eligió ninguna o la sesión no es interactiva.

See Also

sugerir_clave(), y el argumento clave de perfilar().

Examples

personas <- data.frame(id_persona = 1:3, edad = c(30, 41, 25))
# En una sesion interactiva pregunta; aqui devuelve NULL y dice que ofreceria.
elegir_clave(personas)

Description

Los siete estadísticos que medicion_desde_estimaciones() sabe llevar al contrato de medir(), con la métrica a la que corresponden, su tipo, su unidad y su orientación: si un valor alto es conformidad o defecto. Sin la orientación el número no se puede evaluar, porque un coeficiente de variación de ⁠0,30⁠ y un tamaño de muestra de ⁠0,30⁠ no se leen igual.

Usage

estadisticos_estimacion()

Value

Data frame con estadistico, metrica, tipo_resultado, orientacion y unidad.

See Also

medicion_desde_estimaciones(), evaluar()

Examples

estadisticos_estimacion()

Description

Construye las firmas y calcula el pronóstico de candidatos sin recorrer las cubetas ni comparar los pares. Es una operación deliberada: la medición del reloj queda en el resultado de esta función y no es necesaria para obtener alcance reproducible en detectar_duplicados_aproximados().

Usage

estimar_costo(
  datos,
  columnas = NULL,
  metodo = "jw",
  umbral = 0.1,
  p = 0.1,
  muestra = Inf,
  max_pares = 50000000L,
  max_resultados = 100L,
  normalizar = NULL,
  perfil = NULL,
  proteger_datos_personales = TRUE,
  bloque = 1000L,
  estrategia = "auto",
  lsh_bandas = 12L,
  lsh_filas = 3L,
  lsh_q = 3L,
  lsh_max_cubeta = 1000L,
  lsh_muestra_estimacion = 400000L,
  presupuesto_pares = Inf,
  bloquear_por = NULL,
  lotes = FALSE,
  tamano_lote = 1000L,
  directorio_lotes = NULL,
  nucleos = getOption("lupa.nucleos", 2L),
  max_largo_valor = .MAX_LARGO_VALOR_CASI_DUPLICADOS
)

Arguments

escapar <- function(v) {
  gsub("|", "\\|", gsub("\\", "\\\\", v, fixed = TRUE), fixed = TRUE)
}
fila <- function(i) paste(escapar(datos$c1[i]), escapar(datos$c2[i]), sep = " | ")
stringdist::stringdist(fila(1), fila(2), method = "jw", p = 0.1)

Details

En el camino LSH, candidatos_previstos es una estimación reproducible a partir de una muestra de firmas. tiempo_estimado_segundos es un piso de la medida aislada y no incluye firmas, cubetas ni troceo; sus campos de reloj tienen tiempo_determinista = FALSE. Con bloquear_por, los pares entre bloques no entran en el pronóstico y la pérdida estructural y estimada queda en alcance. En el camino exacto, candidatos_previstos es la cantidad de pares que se compararán, sujeta a muestra, max_pares y bloquear_por.

La función no escribe archivos ni modifica el estado del generador de R.

Value

Lista de clase estimacion_costo_lupa con los campos de la estimación, alcance, disponible y razon. En el camino exacto, alcance declara además la corrida que se está estimando: modo_comparacion es el mismo que publicará detectar_duplicados_aproximados() con esos argumentos —exhaustiva_por_bloques o muestreada_por_bloques—, y filas_previstas, filas_totales y estrategia_prevista dicen sobre cuántas filas se va a comparar y con qué selección. Una estimación que anunciara un recorrido exhaustivo sobre una corrida que va a muestrear no serviría para decidir.

See Also

detectar_duplicados_aproximados()

Examples

datos <- data.frame(
  nombre = c("Ana Perez", "Ana Peres", "Luis Diaz"),
  grupo = c("A", "A", "B")
)
if (requireNamespace("stringdist", quietly = TRUE)) {
  costo <- estimar_costo(datos, columnas = "nombre", estrategia = "lsh")
  costo$candidatos_previstos
}

Description

Cuenta cuántas comparaciones de columnas implicaría buscar claves foráneas entre los pares indicados, antes de hacerlas. El número que importa no es la cantidad de tablas sino la de pares de columnas: dos tablas de cincuenta columnas son dos mil quinientas comparaciones.

Usage

estimar_costo_coleccion(coleccion, pares = NULL, columnas_candidatas = NULL)

Arguments

Details

Sin pares estima sobre todos los pares dirigidos de la colección, que es justamente lo que suele mostrar por qué hay que declararlos. Ese caso no materializa los pares: la suma de c_i * c_j sobre los pares dirigidos es sum(c)^2 - sum(c^2), así que el trabajo es lineal en el número de tablas y no cuadrático. Estimar el costo no puede costar más que medirlo.

Sólo se consulta el ancho de las tablas que los pares nombran, por metadatos (DBI::dbListFields()), no leyendo datos.

Una tabla cuyo esquema no se puede leer no se suma como cero. Queda declarada en tablas_sin_esquema y los pares que la involucran se cuentan en n_pares_sin_estimar: el número devuelto cubre n_pares_estimados, no todos los pares.

Value

Lista con n_tablas, n_pares_dirigidos, n_pares_declarados, n_pares_estimados, n_pares_sin_estimar, n_comparaciones_columnas, n_tablas_sin_esquema, tablas_sin_esquema y alcance. También publica columnas_candidatas y el alcance real de las comparaciones.

See Also

relaciones_coleccion(), coleccion()

Examples

if (requireNamespace("RSQLite", quietly = TRUE) &&
    requireNamespace("DBI", quietly = TRUE)) {
  con <- DBI::dbConnect(RSQLite::SQLite(), ":memory:")
  DBI::dbWriteTable(con, "personas", data.frame(id = 1:3, nombre = letters[1:3]))
  DBI::dbWriteTable(con, "visitas", data.frame(persona_id = 1:3, dia = 1:3))
  estimar_costo_coleccion(
    coleccion(con, c("personas", "visitas")),
    columnas_candidatas = list(personas = "id", visitas = "persona_id")
  )
  DBI::dbDisconnect(con)
}

Description

Ejecuta la cadena formal: condición por medida, proporción de medidas que cumplen cada regla y media aritmética simple, no ponderada, de las reglas del perfil. Los resultados por regla se conservan en reglas; el resumen de perfiles no sustituye esa distribución.

Usage

evaluar(medicion, perfil)

Arguments

Value

Objeto evaluacion_calidad con tres data frames filtrables: medidas, reglas y perfiles. Si alguna regla declara un desenlace, contiene además desenlaces, un plan que identifica las medidas incumplidas, el valor medido, el motivo y la regla que lo produjo. Cuando una métrica no pudo medirse, conserva cobertura_metricas y deja en NA el resumen afectado, en lugar de tratar la ausencia como éxito; también sobre un agregado, donde la regla nombra la métrica agregada —agregada:ratio:NoNulo— y la parte sin medir es una de sus instancias. La evaluación de un agregado conserva además la cobertura de su frontera —las tablas o colecciones declaradas que no entraron al número—, la imprime y la lleva a su informe y a historico_calidad(). Y cuando una regla declara una métrica que la medición no trae —ninguna medida de ella—, el veredicto cubre menos de lo que la regla dice: eso se avisa al evaluar y queda en el atributo cobertura_reglas, con la corrida, la métrica, el motivo y cómo resolverlo: se mira corrida por corrida, así que una corrida evaluada junto a otras avisa lo mismo que evaluada sola. Si ninguna de las métricas declaradas por una regla tiene medidas, evaluar() se niega y nombra las solicitadas y las disponibles. Conserva además, en atributos, la configuración del modelo, la aplicabilidad y el perfil de evaluación que produjo el resultado.

Examples

nucleo <- metricas_nucleo()
especifica <- especializar(nucleo$NoNulo)
instancia <- instanciar(especifica, "personas", "edad")
medidas <- medir(modelo(instancia), data.frame(edad = c(20, NA, 35)))
regla <- regla_evaluacion("Al menos 90%", function(x) x > 0.9)
evaluar(medidas, perfil_evaluacion("Avanzado", regla))

Description

granularidades() declara los diez niveles del marco, y los diez se miden. La columna implementada significa que se puede instanciar una metrica y medir ese nivel. La columna agregable es distinta: indica que el grafo ofrece al menos una transicion de agregacion hacia o desde el nivel. Por eso conjuntoAtributos puede estar implementado para medir una metrica y a la vez no ser agregable con las transiciones disponibles; motivo_agregacion deja esa razon escrita. Los cuatro de arriba —colección, conjunto de colecciones, organización y conjunto de organizaciones— sólo cuando el usuario declara la frontera: qué tablas componen una colección, qué bases un conjunto, qué colecciones una organización, qué organizaciones un conjunto. lupa no infiere ninguna de las cuatro, porque ninguna está en los datos.

Usage

granularidades()

transiciones_granularidad()

Details

Que estén implementadas no obliga a usarlas. Un análisis que no tiene una organización detrás se detiene donde corresponda; los niveles superiores existen para quien los necesita.

transiciones_granularidad() devuelve el grafo dirigido de agregaciones. La transición instanciaAtributo a instanciaEntidad se incorpora porque el propio marco la usa aunque no aparezca en su tabla no exhaustiva.

Value

Data frames con niveles o aristas del grafo de granularidad.

See Also

modelo(), medir(), evaluar()

Examples

granularidades()
transiciones_granularidad()

Description

Persiste el data frame versionado mediante RDS de base R. La escritura no reemplaza un archivo existente salvo consentimiento explícito.

Usage

guardar_historico(historico, archivo, sobrescribir = FALSE)

leer_historico(archivo)

Arguments

Value

guardar_historico() devuelve invisiblemente la ruta normalizada; leer_historico() devuelve un historico_calidad validado.

See Also

guardar_historico(), detectar_deriva_calidad()

historico_calidad(), comparar_evaluaciones()

Examples

archivo <- tempfile(fileext = ".rds")
guardar_historico(historico_calidad(), archivo)
leer_historico(archivo)
unlink(archivo)

Description

Recorre los grupos pendientes y aquellos que contienen alternativas destructivas. Muestra evidencia calculada sobre datos, las estrategias y sus justificaciones, y devuelve el plan editado sin aplicarlo. En una sesión no interactiva retorna inmediatamente el plan sin cambios, salvo que se proporcione un selector explícito.

Usage

guiar_limpieza(
  plan,
  datos,
  selector = NULL,
  diccionarios = list(),
  max_ejemplos = 5L
)

Arguments

Details

No se representa "no hacer nada" como una acción ficticia. Elegirlo cambia decision_grupo a "omitida"; por contraste, un grupo aún no revisado conserva "pendiente". Cuando conservar los datos es la recomendación, esa opción también se muestra con la marca "(Recomendado)" y su justificación. Los diccionarios de capitalización se suministran como una lista con nombre de vectores con nombre.

Value

El mismo plan_limpieza recibido, con la columna de decisión sincronizada según lo elegido, y sin ejecutar ninguna acción sobre los datos: cambia qué acciones quedan marcadas para aplicar(), no la tabla. En una sesión no interactiva y sin selector, devuelve el plan sin cambios: también un plan ya editado, cuyo decision_grupo se conserva tal como lo recibió. La sincronización de decisiones corre en el camino interactivo y en aplicar(), no en la puerta de salida.

See Also

planificar_limpieza(), aplicar()

Examples

datos <- data.frame(zona = c("Norte", "NORTE", "sur"))
plan <- planificar_limpieza(perfilar(datos), datos)
guiado <- guiar_limpieza(plan, datos)
identical(plan, guiado) # TRUE en una sesión no interactiva

Description

Crea un data frame plano y versionado con corridas producidas por medir() o evaluar(). acumular_historico() agrega objetos al mismo esquema y es idempotente cuando recibe otra vez registros idénticos, incluso si el RDS se guardó o se vuelve a leer bajo otro locale.

Usage

historico_calidad(..., detalle = c("resumen", "completo"))

acumular_historico(historico, ..., detalle = c("resumen", "completo"))

Arguments

Details

El detalle predeterminado evita repetir una fila por celda y regla cuando el objetivo es monitorear la serie de evaluaciones. El objeto no guarda modelos, closures, datos originales ni perfiles de profiling. Esto mantiene la tabla exportable directamente con write.csv() o una herramienta de base de datos. Al volver a leerla, cada columna recupera el tipo del esquema —read.csv() lee como lógica una columna de texto que viene entera en NA— y las fechas de texto se leen en UTC, con su hora y con su desplazamiento cuando lo traen —⁠2026-01-31 10:00:00-03:00⁠ son las 13:00 UTC; también Z, +0100 o -03, como los escribe una columna timestamptz de una base—. Un texto que no se puede leer entero se rechaza: no se lee a medias.

[, subset() y dplyr::filter() conservan la configuración de las corridas que quedan; rbind() de dos históricos los acumula, como acumular_historico().

El esquema largo mapea las cuatro tablas de la sección 9.5 del marco mediante nivel. Las columnas que no corresponden a un nivel quedan como NA.

Value

Data frame S3 historico_calidad. La columna version_esquema y el atributo del mismo nombre permiten migraciones futuras. nivel corresponde a medida, evaluacion_medida, evaluacion_regla o evaluacion_perfil; una métrica sin valores se conserva como metrica_no_evaluada con su motivo, siempre que la medición tenga al menos una medida; y una parte declarada en una frontera —una tabla de la colección, una colección de la organización— que no entró al número, como parte_no_medida, con la frontera en id_registro, la parte en entidad y el motivo en objeto_medible —también cuando un objeto reúne varias corridas con rbind(): cada parte va a la corrida a la que le faltó—. Una medida que una regla declaró desenlace = "suprimir" no publica su valor tampoco aquí: su fila deja resultado en NA y marca objeto_medible con ⁠[valor suprimido]⁠, en los dos niveles donde esa medida aparece —medida y evaluacion_medida, en este último bajo cualquier perfil o regla que la evalúe, no solo el que la suprimió—, porque esta tabla está pensada para exportarse. Con el detalle resumido, las medidas suprimidas entran igual, enmascaradas en el nivel evaluacion_medida: así una medición acumulada después —también sobre un histórico guardado o leído de un CSV— queda tapada en las mismas medidas, sea cual sea el orden en que llegan los objetos. Una medición enteramente vacía —ninguna métrica pudo aplicarse— no se acumula: se rechaza citando el motivo que medir() declaró en cobertura_metricas, porque no hay corrida que registrar. El atributo configuracion_evaluacion conserva, en una tabla plana separada, el modelo, su marco y sus tipos, la aplicabilidad, el perfil, la identidad de tabla y la fecha de cada corrida. Acumular una corrida con un id_medicion ya presente exige que todo eso coincida, la fecha incluida: dos entregas distintas son dos corridas, y el error nombra en qué difieren. Esa misma configuración viaja en las filas evaluacion_perfil, en las columnas identidad_tabla, configuracion_modelo, configuracion_marco, configuracion_tipos_resultado, configuracion_aplicabilidad y configuracion_perfil —en NA en los demás niveles—, porque el atributo no sobrevive a write.csv(): un histórico releído de un CSV la recupera de ahí. Son columnas agregadas al esquema 1: un histórico anterior que no las trae se lee igual, con ellas en NA.

References

AGESIC (2020). Marco de trabajo para la Gestión de la Calidad de Datos en Gobierno Digital, versión 1.6, sección 9.5, Presidencia de la República, Uruguay.

See Also

medir(), evaluar(), detectar_deriva_calidad(), reportar()

historico_calidad(), leer_historico()

Examples

nucleo <- metricas_nucleo()
instancia <- instanciar(especializar(nucleo$NoNulo), "personas", "edad")
medidas <- medir(
  modelo(instancia), data.frame(edad = c(20, NA)),
  id_medicion = "enero", fecha = as.POSIXct("2026-01-31", tz = "UTC")
)
evaluacion <- evaluar(
  medidas,
  perfil_evaluacion("Basico", regla_evaluacion("Presente", function(x) x > 0))
)
historico_calidad(medidas, evaluacion)

Description

Sin pesos, devuelve tablero_calidad() y nunca un puntaje. Con pesos nombrados por dimensión, transforma las métricas de defecto como 1 - valor, excluye las de orientación no_aplica y conserva cada paso.

Usage

indice_calidad(medidas, pesos, pesos_internos = NULL, ...)

Arguments

Details

Cuando una dimensión contiene varios componentes, pesos_internos debe declarar una ponderación completa que sume uno dentro de esa dimensión. No existe un promedio interno por omisión. El resultado conserva el tablero, ambas capas de pesos, las inversiones, las exclusiones, los universos y la cobertura del marco.

Una métrica sin dimensión no entra al índice: se excluye con su motivo, como las de orientación no_aplica. Un peso para una dimensión cuyas métricas se excluyeron se rechaza diciéndolo.

advertencia_universos se calcula de los universos que el propio objeto publica, no es un texto fijo. Con un solo universo lo nombra y dice que las unidades son comparables; con varios dice cuántos son y nombra, por universo, qué componentes caen en cada uno; sin componentes no afirma nada sobre universos. Antes era una sola frase idéntica en toda corrida, que afirmaba «salen de universos distintos» incluso cuando los tres componentes publicaban universo = "celdas" —una afirmación que el mismo objeto desmentía en su columna universo— y que no nombraba nunca ningún componente, que es justamente lo que prometía declarar.

Value

Sin pesos, un tablero_calidad. Con pesos, un objeto S3 indice_calidad que nunca se imprime como un número aislado.

See Also

tablero_calidad()

Examples

nucleo <- metricas_nucleo()
instancias <- list(
  instanciar(especializar(nucleo$NoNulo), "padron", "codigo"),
  instanciar(especializar(nucleo$EntidadDuplicada), "padron")
)
medidas <- medir(modelo(instancias), data.frame(codigo = c("A", "B", "B")))
indice_calidad(medidas)
# Pesos propios de este ejemplo, no del paquete:
indice_calidad(
  medidas,
  pesos = c(Completitud = 0.6, Unicidad = 0.4)
)

Description

Para columnas de texto distingue valores lógicos, enteros, dobles, fechas, fechas-hora, horas, identificadores y texto. Además de la etiqueta devuelve la proporción de valores compatibles, siempre en la escala ⁠[0, 1]⁠. Los textos compuestos únicamente por 0 y 1 se consideran enteros; para inferir un lógico debe aparecer al menos un literal alfabético como sí, no, true o false. Una letra suelta (T, F, S, N) cuenta como literal sólo si aparece también su opuesto —T con F o false, S con N o no, y al revés—: sola es un código, y una columna de F y M no es lógica. Los literales se reconocen sin distinguir mayúsculas —SÍ es sí— con el pliegue de caja de normalizacion(), que no depende del locale. Un separador seguido de exactamente tres dígitos (1.500, ⁠1,500⁠) cuenta como número sólo si la columna aporta evidencia de una sola convención decimal, con punto o con coma por igual.

Usage

inferir_tipo(x, umbral = 0.8, muestra = 1e+05)

Arguments

Value

Lista de clase inferencia_tipo con tipo, proporcion, conteos, candidatos evaluados y, cuando corresponde, formatos de fecha. n_analizados y muestreado declaran cuántos valores sostienen la proporción. El resultado público no conserva cachés internos del perfilado.

See Also

detectar_formatos_fecha(), descubrir_patrones(), perfilar()

Examples

inferir_tipo(c("1", "2", "3"))
inferir_tipo(c("2020-01-01", "31/12/2020"))

Description

Un marco_calidad enumera las dimensiones y factores contra los que se interpreta la cobertura de un análisis. No contiene métricas instanciadas: esa función sigue correspondiendo a modelo(). Tampoco es un catálogo de métricas; catalogo_agesic() conserva esa correspondencia específica.

Usage

marco_calidad(nombre, factores)

marco_agesic()

marco_iso25012()

marco_cepal()

Arguments

Details

marco_agesic() devuelve la taxonomía incluida de fábrica. Un marco propio puede construirse con un data frame o con una lista cuyos nombres son dimensiones y cuyos valores son factores. La forma lista aplica a todas las filas los valores predeterminados descritos abajo; en particular, perfil_mide = FALSE.

marco_iso25012() adapta las dos perspectivas de ISO/IEC 25012:2008 a la estructura dimensión-factor. Usa tres grupos disjuntos como dimensiones: características inherentes, características inherentes y dependientes del sistema, y características dependientes del sistema. Este agrupamiento es una representación operativa para lupa, no afirma que la norma defina una jerarquía dimensión-factor. Los nombres de las quince características y su clasificación siguen la norma; las descripciones son redacción propia. Las quince filas declaran perfil_mide = FALSE: a diferencia de la política incluida para dos factores de AGESIC, el profiling genérico no demuestra por sí solo que una característica ISO satisfaga el uso declarado.

marco_cepal() representa los cuatro niveles y los diecinueve principios del marco nacional de aseguramiento de la calidad de las Naciones Unidas, adoptados y adaptados para América Latina y el Caribe por la CEA/CEPAL. La columna principio conserva la numeración de la fuente. Los nombres de los niveles y principios son textuales; las descripciones y las instrucciones como_resolverlo de este paquete son redacción propia. Los principios 1 a 13 quedan fuera del alcance de una tabla: se refieren al sistema, al entorno institucional o al proceso estadístico. Los principios 14 a 19 describen productos estadísticos y quedan disponibles, aunque ninguno se considera medido por el profiling genérico.

Value

marco_calidad(), marco_agesic(), marco_iso25012() y marco_cepal() devuelven un objeto S3 marco_calidad. as.data.frame() devuelve su tabla de factores.

References

ISO/IEC (2008). ISO/IEC 25012:2008 Software engineering — Software product Quality Requirements and Evaluation (SQuaRE) — Data quality model. https://www.iso.org/standard/35736.html.

Naciones Unidas (2019). Manual del marco nacional de aseguramiento de calidad en las estadísticas oficiales. Estudios en Métodos, serie M, N° 100 (ST/ESA/STAT/SER.M/100), Nueva York.

Grupo de Trabajo de la Conferencia Estadística de las Américas (CEA), coordinado por Colombia (DANE) y México (INEGI), Secretaría Técnica: División de Estadísticas de la CEPAL (2022). Guía para la implementación del marco de aseguramiento de la calidad para procesos y productos estadísticos. LC/CEA.11/19. Comisión Económica para América Latina y el Caribe (CEPAL), Naciones Unidas, Santiago.

See Also

catalogo_agesic(), modelo(), cobertura_analisis()

Examples

propio <- marco_calidad("Marco operativo", list(
  Trazabilidad = c("Origen documentado", "Linaje reproducible"),
  Pertinencia = "Adecuaci\u00f3n al uso"
))
propio
as.data.frame(propio)
marco_agesic()
iso <- marco_iso25012()
table(as.data.frame(iso)$dimension)
marco_cepal()

Description

lupa no estima: eso necesita un diseño muestral, estimación de varianza y otra disciplina. Lo que sabe hacer es evaluar contra un marco declarado. Esta función recibe estimaciones calculadas por otra herramienta —survey, el paquete calidad del INE de Chile, o cualquier otra— y las convierte en una medición que evaluar() entiende.

Usage

medicion_desde_estimaciones(
  estimaciones,
  entidad,
  fuente,
  atributo = NULL,
  columnas = NULL,
  fecha = Sys.time()
)

Arguments

Details

Cada estadístico se convierte en una medida canónica propia, con su métrica, su tipo y su orientación, porque los siete tienen unidades y dominios distintos: un coeficiente de variación y un tamaño de muestra no se evalúan con la misma regla. Los reconocidos están en estadisticos_estimacion().

Cada medida declara su procedencia en fuente, de modo que nadie lea el resultado como si lupa lo hubiera calculado. Los estadísticos que la tabla no traiga simplemente no producen medidas: no se rellenan con ceros ni se estiman.

Una columna vacía tampoco produce medidas. Un estadístico cuya columna está presente pero no trae ningún valor utilizable no es una estimación: no se publica con resultado = NA, porque eso sería informar como medido lo que nadie midió —y además deja la medición inservible, porque evaluar() la rechaza entera—. Esos estadísticos se declaran en el atributo estadisticos_sin_valores, separados de estadisticos_ausentes: no es lo mismo no mandar la columna que mandarla sin datos, y la acción de quien la preparó es distinta en cada caso. Dentro de una columna que sí trae datos, la celda vacía se descarta por la misma razón, y el resto de las estimaciones se publica.

Una celda que no es una estimación también se descarta, y se declara. Un texto que no es un número, o un número fuera del dominio de su estadístico —un infinito, en cualquiera; un tamaño de muestra que no es un entero no negativo; un error estándar, un coeficiente de variación, unos grados de libertad, un efecto de diseño o un tamaño efectivo negativos— no se publica: se avisa y queda en el atributo celdas_descartadas, con la métrica, la celda, el valor recibido y el motivo (no_numerica o fuera_de_dominio). Una columna factor se lee por el texto de sus niveles, no por sus códigos.

Value

Data frame de clase medicion_calidad y medicion con el contrato de medir(), más las columnas fuente y unidad: se acumula con historico_calidad() y se une con rbind() como cualquier medición. Su id_medida nombra la métrica y la celda estimada —objeto_medible— y no el número de fila, así que dos tabulados de la misma entidad y la misma fecha se pueden unir y evaluar juntos; la misma celda medida dos veces sí repite su identificador, y evaluar() lo rechaza.

See Also

estadisticos_estimacion(), evaluar(), marco_cepal()

Examples

estimaciones <- data.frame(
  celda = c("Montevideo", "Interior"),
  stat = c(0.42, 0.38),
  cv = c(0.08, 0.34),
  n = c(1200L, 90L)
)
medicion_desde_estimaciones(
  estimaciones, entidad = "ech2024", atributo = "celda",
  fuente = "survey 4.4, diseno complejo declarado por el equipo"
)

Description

Ejecuta todas las métricas instanciadas de un modelo_calidad. Cada fila es una medida reutilizable y conserva el identificador y la fecha de la corrida.

Usage

medir(
  modelo,
  datos,
  id_medicion = NULL,
  fecha = Sys.time(),
  aplicabilidad = NULL,
  proteger_datos_personales = TRUE,
  columnas_personales = character(),
  validadores_personales = NULL
)

Arguments

Value

Data frame S3 de clase medicion, con una fila por objeto medido. Los booleanos se almacenan como 0 y 1 en la columna común resultado. orientacion conserva si un valor alto expresa conformidad, si un valor alto expresa defecto o si esa lectura no aplica. Algunas métricas que trabajan con un vocabulario o un alcance parcial agregan un atributo alcance_metricas con sus conteos y límites. Si una métrica no puede medirse, no crea filas ni ceros: deja el motivo y cómo resolverlo en el atributo cobertura_metricas, con un estado que distingue tres causas: sin_valores cuando su universo no tiene valores, contrato_incompleto cuando su contrato no trae un campo que necesita, y no_medible cuando su método falló sobre estos datos —una columna sin dos valores para ErrorEstandar, un atributo que la tabla no trae, una regla que devuelve NA—, devolvió una salida que no cumple el contrato de metodo, o no devolvió ninguna medida sobre un universo que sí tiene valores. Cuando el método falló, el motivo conserva su mensaje, con los valores de las columnas personales enmascarados si proteger_datos_personales = TRUE, y medir() avisa: la falla ya no se lleva la medición de las demás métricas, pero tampoco queda muda. Y cuando sí pudo medirse pero sobre menos elementos de los que hay en su universo aplicable —una métrica por celda no mide la celda vacía, que no produce medida ni cuenta como incumplimiento—, el atributo alcance_medidas publica cuántos midió de cuántos, con su unidad: sin ese número, el agregado de tres celdas de cuatro no se distingue del de cuatro. Viaja al tablero, se imprime con la medición y se publica en el informe. También conserva configuracion_modelo y configuracion_aplicabilidad, descripciones de la política usada para que una deriva posterior pueda distinguir modelo de datos. Si el modelo declara un marco, la medición conserva tambien marco_calidad; la configuracion del modelo registra su nombre, sus pares dimension-factor y el tipo_resultado de cada metrica.

Esa descripcion es insensible al orden de la declaracion: declarar las mismas metricas, o los mismos pares del marco, en otro orden no cambia el modelo, porque un modelo es un conjunto de instrumentos y un marco un conjunto de pares. El orden de los atributos de una instancia sí es parte del modelo, porque el metodo recibe las columnas en ese orden. Y el metodo de medicion entra en la descripcion solo si lo declaro quien llama: el metodo por omision de una metrica es del paquete y su identidad ya viaja en el nombre de la metrica, de modo que un cambio interno de lupa no se lee como un cambio del modelo del usuario.

Examples

nucleo <- metricas_nucleo()
especifica <- especializar(nucleo$NoNulo, nombre_especifico = "NoNuloEdad")
instancia <- instanciar(especifica, "personas", "edad")
medir(modelo(instancia), data.frame(edad = c(20, NA, 35)))

Description

Devuelve las tres métricas base que pueden medirse con el contrato de referencial(). CorrectitudSemFuerte verifica que la identificación exista; CorrectitudSemDebil comprueba el par identificación–valor; RatioCobertura mide qué proporción del universo completo de claves aparece en la entidad. Los ratios de correctitud se obtienen mediante agregar() con "ratio". Las tres métricas aceptan normalizar, proximidad, metodo, p, umbral, max_pares y nucleos. normalizar = NULL hereda el perfil declarado por referencial(). La normalización sólo cambia la representación usada para emparejar: no modifica los datos. La proximidad es evidencia para los valores ausentes y nunca cambia su veredicto; si el paquete opcional stringdist no está instalado, se declara que no se calculó. Se calcula una sola vez por valor fallido distinto y la evidencia se reparte a las filas repetidas. El alcance conserva por separado n_fallos (filas), n_valores_fallidos_distintos, n_valores_fallidos_comparados y los pares comparados; así el límite no depende del orden ni de la frecuencia de las filas.

Usage

metricas_referencial()

Details

Los números se emparejan por su valor. El mismo número guardado como entero en una tabla y como doble en la otra coincide —100000L y 1e5—, y dos dobles distintos no coinciden aunque se escriban igual con 15 cifras —0.1 + 0.2 y 0.3—. Lo mismo vale para metricas_nucleo() cuando compara filas por sus atributos, como en EntidadDuplicada. Los instantes y las fechas se emparejan también por su valor, con su fracción: dos instantes del mismo segundo no coinciden.

Un texto con bytes que no son UTF-8 válido —lo que deja un archivo latin1 leído sin declarar su codificación— se empareja por sus bytes, como %in%: dos valores así distintos no coinciden entre sí. La proximidad no los compara, porque una distancia de texto no se mide sobre bytes que no son texto, y su motivo declara cuántos quedaron afuera.

Los valores ausentes no generan medidas de correctitud: corresponden a la dimensión Completitud. La cobertura ignora claves ausentes en el objetivo y no permite que duplicados inflen el resultado. El universo se cuenta con la misma identidad con que se empareja: dos claves del padrón que la normalización funde —A y a— son una sola clave del universo, y n_referencial cuenta las claves de ese universo. Sobre un referencial sin claves, RatioCobertura no se mide: la cobertura de un universo vacío no es una proporción, y la métrica queda sin_valores con ese motivo, igual que cuando la entidad no tiene filas o ningún valor en los atributos ligados: lo que no se pudo medir no se publica como una cobertura cero.

Value

Lista con tres objetos metrica_generica —CorrectitudSemFuerte, CorrectitudSemDebil y RatioCobertura—, listos para instanciar contra un referencial. Son definiciones: no miden hasta que se las instancia.

See Also

referencial(), metricas_nucleo(), agregar()

Examples

ref <- referencial(
  data.frame(id = 1:3, nombre = c("Ana", "Bruno", "Carla")),
  "id", "nombre", completo = TRUE, alcance = "padr\u00f3n de ejemplo"
)
m <- metricas_referencial()
fuerte <- instanciar(especializar(m$CorrectitudSemFuerte),
  "personas", "id", referencial = ref)
medir(modelo(fuerte), data.frame(id = c(1, 4)))

Description

metrica() declara una métrica genérica y devuelve una fábrica de closures. especializar() fija sus propiedades de configuración; la closure específica resultante puede instanciarse sobre distintas columnas o tablas. instanciar() liga la métrica a objetos concretos y materializa el método de medición. modelo() reúne métricas instanciadas sin calcular un índice global.

Usage

metrica(
  nombre,
  semantica,
  granularidad,
  tipo_resultado,
  propiedades = character(),
  dimension = NA_character_,
  factor = NA_character_,
  metodo = NULL,
  validar_propiedades = NULL,
  orientacion = if (tipo_resultado %in% c("booleano", "real")) "conformidad" else
    "no_aplica"
)

especializar(metrica, nombre_especifico = NULL, ...)

instanciar(
  metrica_especifica,
  entidad,
  atributos = character(),
  nombre_instancia = NULL,
  metodo = NULL,
  referencial = NULL
)

propiedades_metrica(x)

modelo(..., marco = NULL)

metricas_nucleo()

Arguments

Details

metricas_nucleo() devuelve veintidós métricas automatizables una vez declaradas sus propiedades; escala() y vigencia() hacen explícitos los insumos expertos que algunas necesitan. metricas_referencial() aporta por separado las tres métricas que consumen un padrón tabular. Consulte catalogo_agesic() para la correspondencia completa.

En ReglaIntegridadInterEntidad, entidad y atributos se ligan como c(referencia, dependiente) y c(clave_primaria, clave_foranea). Esta implementación calcula cobertura PK/FK como resultado real y sólo cubre una parte de la genérica del marco, que declara granularidad conjuntoEntidades, resultado booleano y admite además una expresión condicional. catalogo_agesic() deja visible esa cobertura parcial. Pese a su nombre, ErrorEstandar sigue literalmente la semántica de la tabla 16.5 del marco y devuelve la desviación estándar muestral sin normalizar; exige al menos dos valores numéricos válidos y ninguno infinito —con uno, la métrica se declara no medible, como Escala—. Por eso declara tipo_resultado = "numero_real" y no admite agregar().

Formato acepta exactamente una de las propiedades expresion_regular, diccionario o validador. Esta última permite conectar validadores externos sin incorporarlos como dependencias. Tanto Formato como ValoresPosiblesPorExtension omiten los valores NA: un ausente no genera una medida en esas métricas y, por lo tanto, tampoco integra el denominador de sus agregaciones. La completitud se mide por separado con NoNulo; así un mismo ausente no se penaliza en dos factores. NoNulo acepta el vector opcional valores_nulos para aplicar de forma deliberada el diccionario de nulos que contempla el marco; sin configurarlo, sólo considera los NA reales. Con opcional = TRUE mide sobre las celdas presentes: la ausencia no es defecto y sólo cuentan como faltantes los valores_nulos. Es como proponer_modelo() propone la NoNulo de una columna declarada en columnas_opcionales de perfilar(), para medir sobre el mismo universo que el perfil: con un NA y tres -999 en cuarenta celdas, 36/39 = 0,923 y no 36/40. ValoresPosiblesPorComprension sigue la misma convención y acepta un predicado o un rango definido por minimo, maximo e inclusivo.

Las métricas de duplicación marcan todas las apariciones que participan en un grupo repetido, no sólo la segunda y siguientes. AtributoDuplicado omite ausentes. ConjuntoAtributosDuplicado compara las columnas ligadas y EntidadDuplicada compara la fila completa cuando se instancia sin atributos. Si se ligan atributos de clave, sigue la semántica del marco: marca filas con la misma clave cuyos demás valores son iguales o ausentes en alguna de las dos. En las comparaciones exactas, los NA forman parte de la combinación comparada.

EntidadContradictoria compara los valores distintos de un atributo con la misma normalización y medida de similitud que detectar_duplicados_aproximados(). Marca las filas cuyo valor tiene un vecino por debajo de umbral, pero no modifica datos ni propone una limpieza. Su alcance se conserva en el atributo alcance_metricas del resultado de medir(): informa los valores distintos comparados, los pares evaluados y los que quedaron bajo el umbral. max_valores permite acotar el vocabulario; cuando se alcanza, el alcance declara el prefijo evaluado y los valores que quedaron fuera.

DesactualizacionPorFormato devuelve TRUE cuando el valor no cumple el formato vigente. Conforme a las tablas 16.29 y 16.30 del marco, OportunidadAtributoPorFecha indica si la fecha es anterior o igual a fecha_limite, y OportunidadAtributoPorIntervalo si pertenece al intervalo cerrado ⁠[inicio_vigencia, fin_vigencia]⁠; ambas son booleanas.

GradoOportunidadAtributoPorFecha y GradoOportunidadAtributoPorIntervalo son extensiones propias basadas en el curso CPAP, no entradas adicionales del catálogo AGESIC. Conservan la fórmula continua max(0, min(1, 1 - (t1 - t2) / (t3 - t2))) para expresar cuánto margen de utilidad queda. Exigen que t3 sea posterior a t2; un intervalo de duración cero se rechaza porque no define el cociente. Todas estas métricas omiten los valores NA: su ausencia corresponde a completitud y no genera una segunda medida de incumplimiento.

Toda métrica que compara la columna con un valor temporal declarado avisa cuando las dos puntas no son de la misma clase. Un Date se ancla a la medianoche UTC y un POSIXct vale por su instante, así que mezclarlos cambia el número sin que se vea: la fila que cae exactamente en un límite cambia de veredicto con el huso de la sesión, y en las comparaciones por conjunto —valores_nulos de NoNulo, diccionario de Formato, el dominio de ValoresPosiblesPorExtension, el rango de ValoresPosiblesPorComprension y la clave de un referencial()— ningún valor coincide con ninguno: la métrica publicaría un incumplimiento que no existe, o —peor, en NoNulo— una completitud perfecta sobre una columna llena de ausencias disfrazadas. Declarar las dos puntas en la misma clase deja el número estable.

Desviación documentada del marco: en DensidadPonderada, un atributo más crítico recibe un coeficiente mayor y, si falta, produce una penalización mayor. El texto del marco indica acercar a cero el coeficiente de mayor gravedad, lo que penalizaría menos el ausente crítico y contradice el sentido de la ponderación. Los coeficientes deben estar en ⁠[0, 1]⁠ y sumar 1.

tipo_resultado es el contrato canónico que consultan las agregaciones. Las unidades no forman parte de este núcleo porque el marco presenta ambas nociones de forma inconsistente y sólo el tipo permite validar las fórmulas. El argumento referencial se conserva sin transformación dentro de la instancia; metricas_referencial() declara y valida el contrato específico de correctitud semántica y cobertura.

Value

metrica() y especializar() devuelven closures S3; instanciar() devuelve una metrica_instanciada; modelo() devuelve un modelo_calidad; metricas_nucleo() devuelve una lista de métricas genéricas. propiedades_metrica() devuelve un data frame con las propiedades declaradas y si ya fueron configuradas.

Contrato de metodo

El método tiene la firma ⁠function(tablas, instancia)⁠. tablas es una lista con nombre de data frames, incluso cuando medir() recibió una sola tabla. instancia expone entidad, atributos, configuracion, referencial y declaracion; el método decide cómo interpretar esos vínculos.

Debe devolver un data frame con exactamente una observación por objeto medido y, como mínimo, estas columnas:

• resultado: valor medido. Debe respetar tipo_resultado: lógicos sin NA para "booleano"; números finitos en ⁠[0, 1]⁠ para "real"; números finitos para "numero_real"; enteros o duraciones no negativos para los tipos homónimos;

• entidad: nombre de la tabla a la que corresponde la medida;

• atributo: nombre de la columna o NA_character_ cuando no corresponde;

• fila: posición de la fila o NA_integer_ para resultados agregados;

• objeto: etiqueta legible y estable del objeto medido.

medir() hace cumplir el contrato: una salida sin esas columnas, con un resultado fuera de su tipo, con más de una observación para el mismo objeto, con una entidad que no está ligada a la instancia, con un atributo que no es una columna de las tablas que recibió el método —o varias unidas con +—, con una fila que no es una posición entera o que falta en una métrica por celda o por fila, o con una fila fuera del universo que la métrica declara con su propiedad aplicable —una métrica con aplicable mide sólo ese universo, y alcance_medidas cuenta sobre él—, deja la métrica no_medible en cobertura_metricas, igual que un método que aborta: medir() avisa y las demás métricas se miden igual.

fila es la posición en la tabla que recibe el método. Con aplicabilidad, medir() le pasa la tabla recortada al universo aplicable, y traduce las fila de un método propio a la posición en la tabla original; la etiqueta objeto queda como la escribió el método.

Las columnas adicionales se descartan. Un metodo pasado a instanciar() reemplaza el predeterminado sólo para esa instancia. El ejemplo ejecutable muestra la cadena genérica → específica → instanciada completa.

Contrato de propiedades

propiedades declara los nombres que puede recibir especializar(). Sin validar_propiedades, todas son obligatorias. Con un validador propio, éste recibe la lista configuracion, debe rechazar combinaciones inválidas y puede devolver sólo el subconjunto activo o añadir valores predeterminados, pero no propiedades ajenas a la declaración. propiedades_metrica() permite consultar los nombres aceptados sin inspeccionar atributos internos de las closures.

References

AGESIC (2020). Marco de trabajo para la Gestión de la Calidad de Datos en Gobierno Digital, versión 1.6, Presidencia de la República, Uruguay.

Curso CPAP, material Evaluación de Calidad: fórmula continua de oportunidad implementada bajo los nombres ⁠GradoOportunidadAtributo*⁠.

See Also

referencial(), agregar(), medir(), proponer_modelo()

Examples

nucleo <- metricas_nucleo()
no_nulo <- especializar(
  nucleo$NoNulo, nombre_especifico = "NoNuloEdad"
)
instancia <- instanciar(no_nulo, entidad = "personas", atributos = "edad")
modelo_calidad <- modelo(instancia)
medir(modelo_calidad, data.frame(edad = c(20, NA, 35)))

# Las fábricas también se pueden encadenar: genérica() -> específica().
instancia_directa <- nucleo$NoNulo()(
  entidad = "personas", atributos = "edad"
)
propiedades_metrica(nucleo$Formato)

# Métrica propia: las dos llamadas encadenadas son especializar e instanciar.
metodo_origen <- function(tablas, instancia) {
  x <- tablas[[instancia$entidad]][[instancia$atributos]]
  filas <- seq_along(x)
  data.frame(
    resultado = !is.na(x) & nzchar(x),
    entidad = instancia$entidad,
    atributo = instancia$atributos,
    fila = filas,
    objeto = paste0(instancia$entidad, "$", instancia$atributos,
                    "[", filas, "]")
  )
}
OrigenDeclarado <- metrica(
  "OrigenDeclarado", "Indica si se declar\u00f3 el origen del registro.",
  "instanciaAtributo", "booleano", orientacion = "conformidad",
  dimension = "Trazabilidad", factor = "Origen documentado",
  metodo = metodo_origen
)
origen <- OrigenDeclarado()(
  entidad = "entrega", atributos = "origen"
)
medir(
  modelo(origen),
  data.frame(origen = c("sistema_a", "", NA), stringsAsFactors = FALSE)
)

# Especialización oficial de teléfono fijo según el formato vigente del PNN.
telefono_pnn <- especializar(
  nucleo$DesactualizacionPorFormato,
  nombre_especifico = "TelefonoFijoPNN",
  expresion_regular = "^[0-9]{8}$"
)

# La métrica oficial es booleana y recibe la fecha límite Tf.
a_tiempo <- especializar(
  nucleo$OportunidadAtributoPorFecha,
  nombre_especifico = "EntregaATiempo",
  fecha_limite = as.Date("2026-06-30")
)
medir(
  modelo(instanciar(a_tiempo, "entregas", "fecha")),
  data.frame(fecha = as.Date(c("2026-06-29", "2026-07-01")))
)

# La extensión continua conserva cuánto margen de utilidad queda.
grado <- especializar(
  nucleo$GradoOportunidadAtributoPorFecha,
  fecha_solicitud = as.Date("2026-06-01"),
  fecha_fin_utilidad = as.Date("2026-07-01")
)

# Formato(NumeroDocumento, DNIC) se obtiene conectando el validador incluido:
cedula_dnic <- especializar(
  nucleo$Formato, nombre_especifico = "NumeroDocumentoDNIC",
  validador = validar_ci_uy
)

Description

Convierte las filas con incluir == TRUE en métricas instanciadas y las reúne mediante modelo(). No vuelve a examinar los datos ni ejecuta una medición.

Usage

modelo_desde_propuesta(propuesta)

Arguments

Value

Objeto modelo_calidad con las métricas que la propuesta declaró, ya instanciadas y reunidas por modelo(), listo para medir(). No vuelve a examinar los datos ni ejecuta ninguna medición.

See Also

proponer_modelo(), modelo(), medir()

Examples

datos <- data.frame(x = c(1, NA, 3))
propuesta <- proponer_modelo(perfilar(datos), datos)
modelo_propuesto <- modelo_desde_propuesta(propuesta)
medir(modelo_propuesto, datos)

Description

La normalizacion afecta unicamente la representacion usada para comparar; nunca modifica los datos de entrada. La descomposicion canonica y el orden de sus marcas son siempre activos para que NFC y NFD sean equivalentes en el subconjunto latino cubierto por lupa: las letras latinas precompuestas, las marcas combinantes de U+0300 a U+0332 ordenadas por su clase combinante canónica, y los signos Kelvin y Ångström, que Unicode declara iguales a la K y a la Å. Las tablas se generan desde Unicode (data-raw/normalizacion_unicode.R). Los pasos optativos de ligaduras y ancho completo tambien se aplican por punto de codigo, despues de declarar como UTF-8 los bytes validos, por lo que no dependen de LC_CTYPE. Bajar a minusculas tampoco depende del locale: usa un mapa explicito para el latin acentuado, el griego, el cirilico, el armenio y el ancho completo, y lo que queda fuera de ese mapa se conserva. Para comparar, la sigma final griega se iguala a la sigma, como en el plegado de caja de Unicode: una palabra griega en mayúsculas y la misma en minúsculas, escrita con su sigma final, son el mismo valor.

Usage

normalizacion(
  minusculas = TRUE,
  espacios = TRUE,
  acentos = TRUE,
  comillas = TRUE,
  puntuacion = FALSE,
  ligaduras = FALSE,
  ancho = FALSE,
  proteger = c("ñ", "ü", intToUtf8(c(103L, 771L)))
)

Arguments

Details

El paso espacios lleva primero al espacio común la tabulación, el salto de línea, el retorno de carro, el avance de página, la tabulación vertical y los espacios Unicode, y borra los controles de transporte; al final colapsa y recorta los blancos. Como va antes que comillas, una comilla junto a una tabulación o un salto de línea se trata igual que junto a un espacio.

El paso comillas quita una comilla de apertura cuando abre una palabra —la precede un blanco o el inicio y la sigue una letra— y una de cierre o un apóstrofo cuando la cierra —la precede una letra y la sigue un blanco o el final—; los apóstrofos tipográficos que quedan se escriben ⁠'⁠. La comilla simple ASCII cierra pero no abre, porque también es el apóstrofo de una elisión: 'Piedras' se compara como ⁠'piedras⁠, mientras que la misma palabra entre comillas simples tipográficas se compara como piedras.

Value

Objeto de clase normalizacion_lupa: una lista con un elemento logico por paso -minusculas, espacios, acentos, comillas, puntuacion, ligaduras, ancho- y el vector proteger con los grafemas cuyas marcas se conservan. Es una declaracion de como comparar: no toca los datos, y la descomposicion canonica se aplica siempre.

Examples

# El perfil por omisión: minúsculas, espacios, acentos y comillas.
normalizacion()

# Comparar sin quitar acentos, para que "papa" y "papá" no se fusionen. La
# eñe y la diéresis ya están protegidas en el perfil por omisión: "pena" y
# "peña" no se fusionan nunca.
perfil <- normalizacion(acentos = FALSE)
perfil$acentos

# La normalización sólo afecta la representación usada para COMPARAR; no
# modifica los datos ni los conteos. Estas tres formas siguen siendo tres
# valores distintos, y así se informan: lo que la normalización habilita es
# que se reconozcan como variantes de la misma cosa al buscar duplicados.
datos <- data.frame(ciudad = c("Montevideo", "MONTEVIDEO", "montevideo"))
salida <- perfilar(datos, normalizar = normalizacion())
salida$columnas$n_distintos  # 3, no 1

Description

Las granularidades novena y décima del marco —una organización y un conjunto de organizaciones— necesitan un dato que no está en los datos: qué bases pertenecen a qué organismo. lupa no lo adivina, así que lo declara quien lo sabe, con el mismo mecanismo que ya usa el conjunto de colecciones.

Usage

organizacion(nombre, colecciones)

Arguments

Details

Es opcional. Un análisis de calidad no siempre tiene una organización detrás, y nada obliga a pasar por estos niveles: existen para quien los necesita. Sin declaración, agregar() a "organizacion" se niega y explica cómo declararla, que es distinto de inventar una frontera que nadie nombró.

No pide una conexión. Una colección es una cosa viva —tablas de un motor—, pero una organización es un enunciado sobre colecciones, y puede declarar colecciones que viven en motores distintos. Para agregar, en cambio, las medidas de sus colecciones tienen que venir de una misma corrida —un id_medicion y una fecha—, porque un número describe un momento: las tablas de motores distintos se miden juntas, y colecciones medidas en momentos distintos se siguen cada una con historico_calidad(). agregar() lo dice así cuando recibe partes de dos corridas.

Value

Objeto S3 organizacion_lupa con nombre, declaradas, n_declaradas y alias: el nombre del objeto de cada colección, con el que agregar() la sigue reconociendo cuando la lista la renombró.

See Also

agregar(), coleccion(), granularidades()

Examples

organismo <- organizacion("Organismo A", c("padron", "tramites"))
organismo
organismo$declaradas

# Cuando los nombres siguen una convencion, la agrupacion se deriva de ella
# y despues se declara. `lupa` no aplica la regla por su cuenta -deducir el
# dueno de una base a partir de su nombre es una inferencia, y la frontera
# se declara-, pero tampoco obliga a escribir la lista a mano: la regla la
# pone quien conoce la convencion, y con la forma que quiera.
esquemas <- c("org_a_padron", "org_a_tramites", "org_b_registro", "cruce")
sigla <- ifelse(grepl("^org_", esquemas), sub("_[^_]+$", "", esquemas), NA)
partes <- split(esquemas[!is.na(sigla)], sigla[!is.na(sigla)])
organismos <- Map(organizacion, names(partes), partes)

# Y lo que la convencion no alcanza -aca, una base de un integrador, que no
# tiene dueno unico- se declara aparte, en vez de quedar afuera en silencio.
organismos[["integrador"]] <- organizacion("integrador", esquemas[is.na(sigla)])
vapply(organismos, function(o) o$n_declaradas, integer(1))

Description

Un pack es una lista con nombres de funciones vectorizadas. No se registra en estado global: puede definirse en otro paquete o en un script y conectarse directamente con la propiedad validador de Formato o con validadores_personales en perfilar(). Esta forma permite agregar países o dominios sin modificar el núcleo de lupa; el pack uruguayo predeterminado de perfilar() usa exactamente esta misma puerta.

Usage

pack_validadores(nombre, validadores, pais = NULL, descripcion = NULL)

validadores_internacionales()

validadores_uruguay()

Arguments

Value

pack_validadores() devuelve un objeto S3 pack_validadores. validadores_internacionales() y validadores_uruguay() devuelven packs preparados para usar.

See Also

especializar(), validar_iso3166(), validar_ci_uy()

Examples

internacionales <- validadores_internacionales()
internacionales$correo(c("[email protected]", "incorrecto"))

# Un pack de otro país se construye sin registrar ni cambiar el núcleo.
digito_rut_cl <- function(x) {
  uno <- function(valor) {
    z <- toupper(gsub("[.-]", "", valor))
    if (!grepl("^[0-9]{7,8}[0-9K]$", z)) return(FALSE)
    cuerpo <- as.integer(strsplit(substr(z, 1, nchar(z) - 1), "")[[1]])
    suma <- sum(rev(cuerpo) * rep(2:7, length.out = length(cuerpo)))
    esperado <- 11L - suma %% 11L  # entero: su texto no sigue a `scipen`
    esperado <- if (esperado == 11) "0" else if (esperado == 10) "K" else
      as.character(esperado)
    identical(substr(z, nchar(z), nchar(z)), esperado)
  }
  ifelse(is.na(x), NA, vapply(as.character(x), uno, logical(1)))
}
chile <- pack_validadores(
  "Chile", list(rut = digito_rut_cl), pais = "CL",
  descripcion = "Validadores mantenidos por el proyecto consumidor."
)
chile$rut(c("12.345.678-5", "12.345.678-4"))

Description

Examina un data.frame, tibble o data.table y devuelve estadísticas generales, métricas por columna, patrones, formatos de fecha y hallazgos accionables. Todas las proporciones se expresan en ⁠[0, 1]⁠.

Usage

perfilar(
  datos,
  nombre = .nombre_de_los_datos(substitute(datos)),
  fecha = Sys.time(),
  muestra = 1e+05,
  max_patrones = 20,
  distinguir_mayusculas = TRUE,
  expandir = FALSE,
  umbral_alta_cardinalidad = 0.5,
  umbral_faltantes_sospechoso = 0.1,
  clave = NULL,
  umbral_faltantes_error = 0.4,
  umbral_patron_raro = 0.05,
  umbral_patron_dominante = 0.5,
  columnas_sin_ceros = character(),
  columnas_no_negativas = character(),
  columnas_opcionales = character(),
  columnas_codigo = character(),
  aplicabilidad = NULL,
  ausencia_estructural = TRUE,
  sentinelas_numericos = c(-9, -99, -999, -9999, 999),
  cadenas_ausencia = NULL,
  analizar_dependencias = TRUE,
  umbral_dependencia = 0.995,
  umbral_casi_clave_dependencia = 0.8,
  max_columnas_dependencias = 100L,
  datos_personales_permitidos = TRUE,
  proteger_datos_personales = TRUE,
  columnas_personales = character(),
  validadores_personales = NULL,
  umbral_documento_verificado = 0.9,
  muestra_validadores = 1000L,
  duplicados_aproximados = FALSE,
  normalizar = TRUE,
  max_filas_hallazgo = 1000L,
  umbral_orden_columnas = 0.95,
  max_columnas_orden = 20L,
  umbral_solapamiento_orden = 0.1,
  umbral_aritmetica = 0.9,
  min_filas_aritmetica = 3L,
  tolerancia_aritmetica = 1e-08,
  max_columnas_aritmetica = 20L,
  casi_duplicados_vocabulario = TRUE,
  max_proporcion_grupo_vocabulario = 0.5,
  umbral_variante_rara_vocabulario = 0.05,
  min_asimetria_vocabulario_corto = 10,
  min_asimetria_vocabulario = 2,
  min_participacion_dominante_vocabulario_corto = 0.5,
  variantes_equifrecuentes_vocabulario = FALSE,
  max_asimetria_equifrecuente_vocabulario = 2,
  max_comparaciones_dependencias = 200000L,
  max_trabajo_vocabulario = 2e+10,
  max_trabajo_dependencias = 1e+08,
  max_largo_valor_vocabulario = .MAX_LARGO_VALOR_CASI_DUPLICADOS,
  max_celdas_muestra = .MAX_CELDAS_MUESTRA,
  max_bytes_muestra = .MAX_BYTES_MUESTRA,
  avisar_costo_tabla_ancha = TRUE,
  umbral_celdas_aviso_tabla_ancha = .UMBRAL_CELDAS_AVISO_TABLA_ANCHA
)

Arguments