MMéétricas e Indicadores: tricas e Indicadores: Dos Conceptos Claves para Dos Conceptos Claves para
MediciMedicióón y Evaluacin y Evaluacióónn
Dr. Luis OlsinaDr. Luis Olsina
Departamento de Ciencias de la ComputaciónUniversidad de Chile
• Introducción• Teoría de Métricas• Teoría de Indicadores• Conclusiones/Avances
Contenidos Contenidos
GIDIS, Facultad de Ingeniería, UNLPam,GIDIS, Facultad de Ingeniería, UNLPam,La Pampa La Pampa -- ArgentinaArgentinaTE 54 2302 430497 Ext. 6501TE 54 2302 430497 Ext. 6501EE--mail mail [email protected]
EsquemaEsquema
•• IntroducciónIntroducción•• Teoría de MétricasTeoría de Métricas•• Teoría de IndicadoresTeoría de Indicadores•• ConclusionesConclusiones
IntroducciónIntroducción
Beneficios de la Medición/EvaluaciónBeneficios de la Medición/EvaluaciónAnalizar, Comprender (los atributos de un ente)Analizar, Comprender (los atributos de un ente)Controlar (la calidad del producto, …)Controlar (la calidad del producto, …)Predecir (el tiempo y costo de un proyecto)Predecir (el tiempo y costo de un proyecto)Mejorar (la calidad de un producto, proceso …)Mejorar (la calidad de un producto, proceso …)
Conceptos Medibles (Factores)Conceptos Medibles (Factores)Calidad, Calidad en Uso, Productividad, Costo …Calidad, Calidad en Uso, Productividad, Costo …
Fases del Ciclo de Vida del SoftwareFases del Ciclo de Vida del SoftwareExploración, Desarrollo, Mantenimiento.Exploración, Desarrollo, Mantenimiento.
Requerimientos de Medición/EvaluaciónRequerimientos de Medición/EvaluaciónMetas, Restricciones (Seguridad, Disponibilidad, etc.)Metas, Restricciones (Seguridad, Disponibilidad, etc.)Especificación de Requisitos, Definición de Criterios, Especificación de Requisitos, Definición de Criterios, Técnicas, Métricas, Indicadores…Técnicas, Métricas, Indicadores…
Captura de DatosCaptura de DatosRecolección de DatosRecolección de Datos
–– Automática, Semiautomática, ManualAutomática, Semiautomática, Manual
AnálisisAnálisisTécnicas Estadísticas, Visualización Gráfica, Tablas, etc.Técnicas Estadísticas, Visualización Gráfica, Tablas, etc.Interpretación de los datos. Interpretación de los datos.
RecomendacionesRecomendacionesDoc. de Conclusiones, Propuestas de MejoraDoc. de Conclusiones, Propuestas de Mejora
IntroducciónIntroducción
Clases de Métodos de EvaluaciónClases de Métodos de Evaluación
TestingTestingInspecciónInspecciónConsulta (Inquiry)Consulta (Inquiry)Modelado AnalíticoModelado AnalíticoSimulaciónSimulación
Los Métodos y Técnicas a Aplicar pueden ser:Los Métodos y Técnicas a Aplicar pueden ser:Cuantitativos versus CualitativosCuantitativos versus CualitativosAutomáticos, Semiautomáticos o ManualesAutomáticos, Semiautomáticos o ManualesDesde Fácil a Difícil de Usar y AprenderDesde Fácil a Difícil de Usar y Aprender
Categorías de MétodosCategorías de Métodos
Taxonomía de MétodosTaxonomía de Métodos
---- TestingTesting---- InspecciónInspección---- Consulta, ...Consulta, ...
---- Análisis de Log Files Análisis de Log Files ---- Evaluación de Características y AtributosEvaluación de Características y Atributos
---- ManualManual---- SemiSemi--AutomáticoAutomático---- AutomáticoAutomático
FaseFase---- RequerimientosRequerimientos---- CapturaCaptura---- AnálisisAnálisis---- RecomendacionesRecomendaciones
---- Fácil de Usar, AprenderFácil de Usar, Aprender---- Efectivo, PrecisoEfectivo, Preciso---- Rango de AplicabilidadRango de Aplicabilidad
Clase de MétodoClase de Método
TaxonomíaTaxonomíade Métodos dede Métodos deEvaluaciónEvaluación
Tipo de MétodoTipo de Método
Tipo de AutomatizaciónTipo de Automatización
Nivel de EsfuerzoNivel de Esfuerzo
Diversos Estándares (principalmente ISO) tratan Diversos Estándares (principalmente ISO) tratan sobresobre
el modelo de calidad de software (ISO 9126), el modelo de calidad de software (ISO 9126), el proceso de medición (ISO 15939),el proceso de medición (ISO 15939),el proceso de evaluación (ISO 14598)el proceso de evaluación (ISO 14598)otrosotros
Con frecuencia, no existe un claro consenso Con frecuencia, no existe un claro consenso entre los mismos términos en diferentes entre los mismos términos en diferentes documentos o, a veces, términos ausentesdocumentos o, a veces, términos ausentesNecesidad de una Ontología para el dominio de Necesidad de una Ontología para el dominio de
Métricas e IndicadoresMétricas e Indicadores–– Ontologías para el Proceso de Medición y EvaluaciónOntologías para el Proceso de Medición y Evaluación
Hacia una Ontología de M&IHacia una Ontología de M&I
EsquemaEsquema
•• IntroducciónIntroducción•• Teoría de MétricasTeoría de Métricas•• Teoría de IndicadoresTeoría de Indicadores•• ConclusionesConclusiones
Introducción a MétricasIntroducción a Métricas
ENTIDADENTIDADATRIBUTOATRIBUTOCONCEPTO MEDIBLE (Calidad, Productiv...)CONCEPTO MEDIBLE (Calidad, Productiv...)MODELO DE CONCEPTOMODELO DE CONCEPTOMETRICA (Directa e Indirecta)METRICA (Directa e Indirecta)MEDICION, MEDIDAMEDICION, MEDIDAMETODO (Medición, Cálculo)METODO (Medición, Cálculo)ESCALA / TIPO DE ESCALAESCALA / TIPO DE ESCALAUNIDADUNIDAD
......
Introducción a MétricasIntroducción a Métricas
ENTIDADENTIDADUn objeto que va a ser caracterizado mediante una Un objeto que va a ser caracterizado mediante una medicimedicióónn de sus de sus atributosatributos [ISO[ISO--15939]15939]. . Una entidad puede ser fUna entidad puede ser fíísica sica ––tangibletangible–– (p.ej. una (p.ej. una computadora) o abstracta computadora) o abstracta --intangibleintangible–– (p.ej. un (p.ej. un programa software)programa software)Objetos de interés para el dominio de software son: Objetos de interés para el dominio de software son:
–– Recurso, Recurso, –– Proceso, Proceso, –– Producto, Producto, –– Producto en uso?, Producto en uso?, –– Proyecto,Proyecto,–– ServicioServicio
Introducción a MétricasIntroducción a Métricas
ATRIBUTOATRIBUTOUna propiedad mensurable, fUna propiedad mensurable, fíísica o abstracta, sica o abstracta, de una de una entidadentidad [ISO 14598[ISO 14598--1:1999]1:1999]. . el atributo puede ser interno o externoel atributo puede ser interno o externo–– TamaTamañño de co de cóódigo fuente (atributo interno), precio (atributo digo fuente (atributo interno), precio (atributo
externo).externo).
el atributo se puede medir (cuantificar) por el atributo se puede medir (cuantificar) por medio de una métrica directa o indirecta.medio de una métrica directa o indirecta.
Introducción a MétricasIntroducción a Métricas
CONCEPTO MEDIBLECONCEPTO MEDIBLEEs una relación abstracta entre atributos de una o más Es una relación abstracta entre atributos de una o más entidades, y una entidades, y una necesidad de informaciónnecesidad de información [ISO[ISO--15939]15939]. .
Evaluar o predecir dicho concepto, desde una Evaluar o predecir dicho concepto, desde una perspectiva de usuario. perspectiva de usuario. Ejemplos de conceptos medibles son: Calidad, Costo, Ejemplos de conceptos medibles son: Calidad, Costo, Accesibilidad, Calidad en Uso, Confiabilidad. Accesibilidad, Calidad en Uso, Confiabilidad. Ejemplos de perspectivas de usuario son: Gerente, Ejemplos de perspectivas de usuario son: Gerente, Desarrollador, Usuario final, etc. Desarrollador, Usuario final, etc.
Introducción a MétricasIntroducción a Métricas
MODELO de CONCEPTO MODELO de CONCEPTO El conjunto de subconceptos y las relaciones entre El conjunto de subconceptos y las relaciones entre ellos, que sirven de base para una ulterior evaluación ellos, que sirven de base para una ulterior evaluación o estimación.o estimación.Ej. Características y/o subcaracterísticas y sus Ej. Características y/o subcaracterísticas y sus relaciones que proveen las bases para modelar relaciones que proveen las bases para modelar Calidad. Calidad. Una característica puede estar conformada por Una característica puede estar conformada por subcaracterísticas y atributos.subcaracterísticas y atributos.El modelo puede ser fijo (estándar, como ISO 9126El modelo puede ser fijo (estándar, como ISO 9126--1), 1), propio o mixto.propio o mixto.
Modelos de CalidadModelos de Calidad (Boehm (Boehm -- 1978)1978)
General utility
As is utility
Maintainability
Portability
Reliability
Efficiency
Human engineering
Testability
Understandability
Modifiablility
Primary uses Intermediate constructors
Device Independence
Completeness
Accuracy
Consistency
Device efficiency
Acessibility
Communicativeness
Structuredness
Self descriptiveness
Conciseness
Legibility
Augmentability
Primitive constructors
Metrics
Modelos de Calidad Modelos de Calidad (ISO/IEC 9126(ISO/IEC 9126--1)1)
SoftwareQuality
SoftwareQuality
ReliabilityReliability
SuitabilityAccuracy
InteroperabilitySecurity
Compliance
SuitabilityAccuracy
InteroperabilitySecurity
Compliance
FunctionalityFunctionality
MaturityFault ToleranceRecoverability
Compliance
MaturityFault ToleranceRecoverability
Compliance
UnderstandabilityLearnabilityOperability
AttactivenessCompliance
UnderstandabilityLearnabilityOperability
AttactivenessCompliance
Time behaviourResource utilization
Compliance
Time behaviourResource utilization
Compliance
AnalysabilityChangeability
StabilityTesteabilityCompliance
AnalysabilityChangeability
StabilityTesteabilityCompliance
AdaptabilityInstalability
Co-existenceReplaceabilityCompliance
AdaptabilityInstalability
Co-existenceReplaceabilityCompliance
UsabilityUsability EfficiencyEfficiency MaintainabilityMaintainability PortabilityPortability
CaracterísticasCaracterísticas
SubcaracterísticasSubcaracterísticas
Características y SubcaracterísticasCaracterísticas y Subcaracterísticas
Usabilidad Usabilidad »» Comprensión Global del SitioComprensión Global del Sitio»» Ayuda y RetroalimentaciónAyuda y Retroalimentación»» Aspectos de Interface Aspectos de Interface »» Aspectos EstéticosAspectos Estéticos
Funcionalidad Funcionalidad »» Búsqueda y RecuperaciónBúsqueda y Recuperación»» Navegación y ExploraciónNavegación y Exploración»» Funciones y Contenido Específicos del Dominio (EFunciones y Contenido Específicos del Dominio (E--commerce, commerce,
Museos, Universidades ...)Museos, Universidades ...)ConfiabilidadConfiabilidad
»» EnlacesEnlaces»» PáginasPáginas»» Compatibilidad de NavegadoresCompatibilidad de Navegadores
EficienciaEficiencia»» PerformancePerformance»» AccesibilidadAccesibilidad
ConfiabilidadConfiabilidad–– EnlacesEnlaces
»» Enlaces RotosEnlaces Rotos»» Enlaces InválidosEnlaces Inválidos»» Enlaces no ImplementadosEnlaces no Implementados
–– PáginasPáginas»» Páginas MuertasPáginas Muertas»» Páginas bajo ConstrucciónPáginas bajo Construcción»» Errores de OrtografiaErrores de Ortografia
Características y AtributosCaracterísticas y Atributos
Modelo Modelo Conceptual Conceptual
para para MétricasMétricas tipoEscala={Nominal, Ordinal Restringida,
Ordinal no Restringida, Interv alo, Proporción, Absoluta}
MétricaDirecta
Una entidad puede ser un Proceso, Producto, Recurso, Proy ecto o Serv icio.
EscalaCategórica
valoresPermitidos
MétodoDeMedicióntipo = {Objetivo, Subjetivo}
MétodoDeCálculo
Unidadnombredescrip ción
EscalaNuméricati po = {cont in ua, d iscreta} 1..*1 1..*1
expresada_en
Medidavalor
Herramientanombredescripciónversiónproveedor
MediciónfechaYHora 11 11
produce
Métodonombreespecificación1..*0..* 1..*0..*
automatizado_por
Escala<<enum>> tipoEscala
Entidadn ombred escripció n
0..*0 ..*
subEn ti dad
NecesidadDeInform ación
descripción
ModeloDeConcepto
nombreespecificaciónreferencias
MétricanombreinterpretaciónValorobjetivo/MotivacióntipoRecolecciónDatosreferenciastipoValor = {Símbolo, Integer, Float}precisión
0..*
1
0..*
1
referida_a
11
inclu ye
0..*0..*
ver_También
11
contiene
MétricaIn directa
2..*
Funciónespecifi cació n1
1
calculada_por
1
1mé tri cas_re la ci onad
2..*
ConceptoMediblenombredescripción
1..*
1
1..*
1
de scri be
0..*0..*
subConcepto
0..*0..*
especificado_por
AtributonombrepalabrasClave/Alia sdefinic ió nnivelIndependenciati po = {interno, externo}
1.. *
1..*
1.. *
1..*
asociado_con
1..*1 1..*1 cuantif ica
1..*
1
1..*
1
combina
Introducción a MétricasIntroducción a Métricas
METRICAMETRICAEEl l mméétodo de medicitodo de medicióónn definido y la definido y la escalaescalade medicide medicióón [ISO 14598n [ISO 14598--1:1999]. 1:1999]. MEDICIONMEDICION–– Actividad que usa la definiciActividad que usa la definicióón de la mn de la méétrica para trica para
producir el valor de una producir el valor de una medidamedida..
MEDIDAMEDIDA–– NNúúmero o categormero o categoríía asignada a un a asignada a un atributoatributo de una de una
entidad mediante una entidad mediante una medicimedicióónn [ISO 14598[ISO 14598--1:1999] 1:1999]
Introducción a MétricasIntroducción a Métricas
METODO (de MEDICION, CALCULO)METODO (de MEDICION, CALCULO)Secuencia lSecuencia lóógica de operaciones y potenciales gica de operaciones y potenciales heurheuríísticas, expresadas de forma gensticas, expresadas de forma genéérica, que rica, que permite la realizacipermite la realizacióón de una descripcin de una descripcióón de actividad.n de actividad.
El El tipo de mtipo de méétodotodo de medicide medicióón va a depender de la n va a depender de la naturaleza de las operaciones utilizadas para naturaleza de las operaciones utilizadas para cuantificar el atributo. Pueden distinguirse dos tipos: cuantificar el atributo. Pueden distinguirse dos tipos:
–– Subjetivo: Cuando la cuantificaciSubjetivo: Cuando la cuantificacióón supone un juicio realizado n supone un juicio realizado por un ser humano.por un ser humano.
–– Objetivo: Cuando la cuantificaciObjetivo: Cuando la cuantificacióón estn estáá basada en mbasada en méétodos todos numnumééricos.ricos.
Introducción a MétricasIntroducción a Métricas
EscalaEscalaUn conjunto de valores con propiedades definidas Un conjunto de valores con propiedades definidas
[ISO 14598[ISO 14598--1].1].Escala NumEscala Numéérica (Continua o Discreta)rica (Continua o Discreta)Escala CategEscala Categóóricarica
Tipos de Escala (Nominal, Ordinal, Intervalo...) Tipos de Escala (Nominal, Ordinal, Intervalo...)
Introducción a MétricasIntroducción a MétricasMETRICAMETRICA Es la correspondencia de un dominio empírico (mundo real) a Es la correspondencia de un dominio empírico (mundo real) a un mundo formal, matemático. La un mundo formal, matemático. La medidamedida incluye al valor numérico o incluye al valor numérico o nominal asignado al nominal asignado al atributoatributo de un de un enteente por medio de dicha por medio de dicha correspondencia. [Fenton]correspondencia. [Fenton]
Juan es más alto que María sí y sólo sí M (Juan)>M (María)
Introducción a MétricasIntroducción a Métricas
METRICA DIRECTAMETRICA DIRECTAUna mUna méétrica de un trica de un atributoatributo que no depende de que no depende de ninguna ninguna mméétricatrica de otro atributo.de otro atributo.
METRICA INDIRECTAMETRICA INDIRECTAUna Una mméétricatrica de un de un atributoatributo que se deriva de una o que se deriva de una o mmáás ms méétricas de otros atributos.tricas de otros atributos.
–– Se formaliza por medio de una Función de Medición (Fórmula, Se formaliza por medio de una Función de Medición (Fórmula, Ecuación). Ecuación).
–– FunciFuncióón de Medicin de Medicióónn: Un algoritmo o c: Un algoritmo o cáálculo que permite lculo que permite combinar dos o mcombinar dos o máás s mméétricastricas. .
EjemplosEjemplos de de MétricasMétricas DirectasDirectas
• Longitud del Texto del Cuerpo de una Página
• Medido por cantidad de palabras, etc.
• Cantidad de Enlaces Rotos Internos
• Medidos por la presencia de errores del tipo 404, (410 ?)
• Cantidad de Imágenes con Texto Alternativo
• Medido por la presencia de la etiqueta ALT (con texto no nulo) en cada una de las imágenes vinculadas a las páginas de un sitio Web
Ejemplos de Métricas IndirectasEjemplos de Métricas Indirectas
Porcentaje de Enlaces Rotos de un SitioPorcentaje de Enlaces Rotos de un Sitio
100×+
=talEnlacesCantidadTo
ExternoslacesRotosCantidadEnInternoslacesRotosCantidadEnosEnlacesRotPorcentaje
100×=stalImágeneCantidadTo
ágenesALTCantidadImLTPresenciaAPorcentaje
PorcentajePorcentaje dede PresenciaPresencia de lade la propiedadpropiedad ALTALT..
Introducción a MétricasIntroducción a Métricas
INSTRUMENTOINSTRUMENTO (Herramienta)(Herramienta)
Instrumento (o herramienta) que automatiza Instrumento (o herramienta) que automatiza parcial o totalmente a un mparcial o totalmente a un méétodotodo de medicide medicióón n o co cáálculolculo. . –– Nota: un instrumento software (de medición o Nota: un instrumento software (de medición o
cálculo) es un caso particular de un instrumento (de cálculo) es un caso particular de un instrumento (de medición o cálculo). medición o cálculo).
–– Por ejemplo, un termómetro es un instrumento de Por ejemplo, un termómetro es un instrumento de medición.medición.
Herramientas de AutomatizaciónHerramientas de Automatización Métricas WebMétricas Web
BobbyBobby: CAST [: CAST [http://www.cast.org/bobby/http://www.cast.org/bobby/] ; web] ; web--based onbased on--line y offline y off--line, con ranking; Analizador Accesibilidad (WAI conformance), dline, con ranking; Analizador Accesibilidad (WAI conformance), de e Errores y Fallas, Compatibilidad de Browsers.Errores y Fallas, Compatibilidad de Browsers.
Doctor HTMLDoctor HTML: Imagiware [: Imagiware [http://www2.imagiware.com/RxHTMLhttp://www2.imagiware.com/RxHTML]; web]; web--based y offbased y off--line; Analizador de Errores y Fallas, HTML tags, line; Analizador de Errores y Fallas, HTML tags, Performance, etc.Performance, etc.
LIFTLIFT: UsableNet.com [: UsableNet.com [http://www.usablenet.com/lift_onsitehttp://www.usablenet.com/lift_onsite/]; web/]; web--based y offbased y off--line, con ranking; Analizador de Errores y Fallas, HTML line, con ranking; Analizador de Errores y Fallas, HTML tags, Imtags, Imáágenes, Performance, test de Accesibilidad, etc.genes, Performance, test de Accesibilidad, etc.
LinkBot: LinkBot: WatchFire [WatchFire [http://www.watchfire.com/solutions/linkbot.asphttp://www.watchfire.com/solutions/linkbot.asp]; ]; offoff--line, con ranking; Analizador de Errores y Fallas, Performance, line, con ranking; Analizador de Errores y Fallas, Performance, HTTP cHTTP cóódigos de estado, etc. Herramienta de reparacidigos de estado, etc. Herramienta de reparacióón.n.
Introducción a MétricasIntroducción a Métricas
ESCALA / TIPOS DE ESCALAESCALA / TIPOS DE ESCALA
Un conjunto de valores con propiedades definidas Un conjunto de valores con propiedades definidas [ISO 14598[ISO 14598--1].1].Una escala puede ser clasificada de acuerdo a los Una escala puede ser clasificada de acuerdo a los siguientes siguientes Tipos de EscalaTipos de Escala: Nominal, Ordinal : Nominal, Ordinal restringida, Ordinal no restringida, Intervalo, restringida, Ordinal no restringida, Intervalo, ProporciProporcióón, Absoluta.n, Absoluta.Cada tipo de escala determina las transformaciones Cada tipo de escala determina las transformaciones admisibles, el tipo de operaciones matemadmisibles, el tipo de operaciones matemááticas, y los ticas, y los ananáálisis estadlisis estadíísticos que pueden aplicarse sobre el sticos que pueden aplicarse sobre el conjunto de valores de la escalaconjunto de valores de la escala. .
Introducción a MétricasIntroducción a Métricas
UNIDADUNIDAD (para escalas numéricas)(para escalas numéricas)Una cantidad particular, definida y adoptada Una cantidad particular, definida y adoptada por convencipor convencióón, con la que se pueden n, con la que se pueden comparar otras cantidades de la misma clase comparar otras cantidades de la misma clase para expresar sus magnitudes respecto a esa para expresar sus magnitudes respecto a esa cantidad particular [ISOcantidad particular [ISO--15939]15939]
–– Ejemplos: LOC, bytes, palabras, links ...Ejemplos: LOC, bytes, palabras, links ...
Tipo deEscala
TransformaciónAdmisible
EstadísticasSignificativas
Ejemplos
Nominal Equivalencia uno-a-uno Moda, Frecuencia Test no paramétricos
Clasificación,etiquetado
Ordinal Funciones monotónicasincrementales
Mediana, Spearman yKendall Tau, W
Test no paramétricos (Todo lo previo)
Grado de disponibili-dad, funcionalidad,complejidad, etc.
Intervalo m1 = a m + b Media Aritmética,Desvío estándar
Coef. de correlación dePearson
Test no paramétricos (Todo lo previo)
Temperatura (Celsius,Fahrenheit) Tiemposrelativos, etc.
Proporción m1 = a m Porcentajes, MediaGeométrica
Test paramétricos y noparamétricos
(Todo lo previo)
Preferencia de calidad,tamaño (LOC),longitud, etc.
Absoluta m1 = m (Identidad) (Todo lo previo) Conteo
Introducción a Métricas:Introducción a Métricas: Tipos de EscalaTipos de Escala
Introducción a Métricas:Introducción a Métricas: Tipos de EscalaTipos de Escala
Tipo de Escala NominalTipo de Escala Nominal
En un tipo de escala nominal el sistema relacional empírico consta sólo de categorías diferentes.
Cualquier número o símbolo distinto para cada categoria es una medida aceptable, pero no existe orden o noción de magnitud asociado a cada número o símbolo..
Ejemplo: mido las fallas de software si están en Especifación, Diseño o Codificación y puedo asignar 1, 2 y 3 para las fallas que se encontraron en cada tarea respectivamente, o simplemete A, B y C.Esta clasificación no nos permite determinar si un tipo de falla es más importante o no que otra..
La transformación admisible para el tipo de escala nominal es el conjunto de todos los mapeos 1 a 1..
Tipo de Escala OrdinalTipo de Escala Ordinal
Le agrega orden a las categorías del tipo de escala nominal.Le agrega orden a las categorías del tipo de escala nominal.
El sistema relacional empírico está formado por categorías ordenEl sistema relacional empírico está formado por categorías ordenadas adas con respecto a un atriburo.con respecto a un atriburo.
Cualquier mapeo que preserve el orden es aceptableCualquier mapeo que preserve el orden es aceptable..
No tiene sentido ninguna operación aritmética sobre las categoríNo tiene sentido ninguna operación aritmética sobre las categoríasas..
EjemploEjemplo: : Complejidad de SoftwareComplejidad de Software. Si defino trivial, simple, normal, . Si defino trivial, simple, normal, complejo e inentendible, hay una relacion de orden implicito , “complejo e inentendible, hay una relacion de orden implicito , “mas mas complejo quecomplejo que” el mapeo a números debe preservar este orden, podría ” el mapeo a números debe preservar este orden, podría ser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo queser 1, 2, 3, 4 y 5 o .5, 55,100, 101 y 240, cualquier mapeo quepreserve el orden en el sistema numérico es valido.preserve el orden en el sistema numérico es valido.
Introducción a Métricas:Introducción a Métricas: Tipos de EscalaTipos de Escala
Tipo de Escala IntervaloTipo de Escala Intervalo
Toma información acerca del tamaño de los intervalos que separanToma información acerca del tamaño de los intervalos que separanlas categorías (escala o “salto” de una categoría a otra)las categorías (escala o “salto” de una categoría a otra)
Preserva el orden de las categoríasPreserva el orden de las categorías
Preserva la diferencia entre dos categorías pero no puedo hacer Preserva la diferencia entre dos categorías pero no puedo hacer algunas operaciones sobre las mismas; es decir puedo sumar y resalgunas operaciones sobre las mismas; es decir puedo sumar y restar tar pero no multiplicar o dividir.pero no multiplicar o dividir.
EjemploEjemplo: : medir la temperatura del aire en Fahrenheitmedir la temperatura del aire en Fahrenheit. . Puedo decir Puedo decir que hace 40 grados en NY y 80 en Miami. La diferencia tiene sentque hace 40 grados en NY y 80 en Miami. La diferencia tiene sentido, 40 ido, 40 grados, también si aumenta un grado en NY y Miami pero NO puedo grados, también si aumenta un grado en NY y Miami pero NO puedo decir decir que la temperatura en Miami es el doble que en NY, o que en NY eque la temperatura en Miami es el doble que en NY, o que en NY es la mitad.s la mitad.
El tipo de El tipo de transformación admisibletransformación admisible es de la forma: es de la forma: M’= a * M + b.M’= a * M + b.
Introducción a Métricas:Introducción a Métricas: Tipos de EscalaTipos de Escala
Tipo de Escala de ProporciónTipo de Escala de Proporción
Es el tipo de escala más usado. Podemos hacer análisis con Es el tipo de escala más usado. Podemos hacer análisis con operadores de multiplicación y división, porcentajes, entre otrooperadores de multiplicación y división, porcentajes, entre otros. s. Todas las operaciones aritméticas tienen sentido sobre las Todas las operaciones aritméticas tienen sentido sobre las categoriascategorias. .
Ejemplo: La altura de una persona (Ejemplo: La altura de una persona (Dos veces más alto queDos veces más alto que))
Se preserva el orden, el tamaño de intervalo y la proporción de Se preserva el orden, el tamaño de intervalo y la proporción de las las categorías. Hay un elemento cero, que representa la falta total categorías. Hay un elemento cero, que representa la falta total de un de un atributoatributo..
Las categorías mapeadas deben comenzar en cero e incrementarse Las categorías mapeadas deben comenzar en cero e incrementarse a intervalos regulares llamados unidades.a intervalos regulares llamados unidades.
El tipo de El tipo de transformación admisibletransformación admisible es de la forma: M’= a * M. es de la forma: M’= a * M.
Introducción a Métricas:Introducción a Métricas: Tipos de EscalaTipos de Escala
Tipo deTipo de Escala AbsolutaEscala Absoluta
Es la mas restriciva. La única Es la mas restriciva. La única transformación admisibletransformación admisible es la es la identidad. Es decir, sólo hay un mapeo posible M’ = M.identidad. Es decir, sólo hay un mapeo posible M’ = M.
La medida es hecha (generalmente) contando elementos del La medida es hecha (generalmente) contando elementos del conjunto de un atributo de una entidadconjunto de un atributo de una entidad
El atributo tiene siempre la forma “El atributo tiene siempre la forma “Número de ocurrencias del atributo Número de ocurrencias del atributo X en la entidad EX en la entidad E””
Todo análisis aritmético tiene sentido. Ejemplo: Todo análisis aritmético tiene sentido. Ejemplo: Cantidad de Enlaces Cantidad de Enlaces RotosRotos. .
Introducción a Métricas:Introducción a Métricas: Tipos de EscalaTipos de Escala
Modelo Modelo Conceptual Conceptual
para para MétricasMétricas
tipoEscala={Nominal, Ordinal Restringida, Ordinal no Restringida, Interv alo, Proporción, Absoluta}
MétricaDirecta
Una entidad puede ser un Proceso, Producto, Recurso, Proy ecto o Serv icio.
EscalaCategórica
valoresPermitidos
MétodoDeMedicióntipo = {Objetivo, Subjetivo}
MétodoDeCálculo
Unidadnombredescripción
EscalaNuméricati po = {cont inua, d iscreta} 1..*1 1..*1
expresada_en
Medidavalor
Herramientanombredescripciónversiónproveedor
MediciónfechaYHora 11 11
produce
Métodonombreespecificación1..*0..* 1..*0..*
automatizado_por
Escala<<enum>> tipoEscala
Entidadnombredescripción
0..*0..*
subEn ti dad
NecesidadDeInform ación
descripción
ModeloDeConcepto
nombreespecificaciónreferencias
MétricanombreinterpretaciónValorobjetivo/MotivacióntipoRecolecciónDatosreferenciastipoValor = {Símbolo, Integer, Float}precisión
0..*
1
0..*
1
referida_a
11
incluye
0..*0..*
ver_También
11
contiene
MétricaIndirecta
2..*
Funciónespecifi cación1
1
calculada_por
1
1métri cas_re laci onadas
2..*
ConceptoMediblenombredescripción
1..*
1
1..*
1
descri be
0..*0..*
subConcepto
0..*0..*
especificado_por
AtributonombrepalabrasClave/Aliasdefinic iónnivelIndependenciati po = {interno, externo}
1.. *
1..*
1.. *
1..*
asociado_con
1..*1 1..*1 cuantif ica
1..*
1
1..*
1
combina
Ejemplo de Atributos/MétricasEjemplo de Atributos/Métricas
Necesidad de InformaciNecesidad de Informacióón:n: Evaluate the link reliability for Evaluate the link reliability for static pages of a websitestatic pages of a websiteEntidad:Entidad: Producto Producto ((web siteweb site) )
Concepto Medible:Concepto Medible: link reliability (Confiabilidad de Enlaces)link reliability (Confiabilidad de Enlaces)
Modelo para Confiabilidad de Enlaces (Modelo para Confiabilidad de Enlaces (link reliabilitylink reliability ))
1. Link Reliability1. Link Reliability
// Atributos// Atributos1.1 Internal Broken Links (IBL) 1.1 Internal Broken Links (IBL)
1.2 External Broken Links (EBL)1.2 External Broken Links (EBL)
1.3 Invalid Links (IL)1.3 Invalid Links (IL)
Ejemplo de Atributos/MétricasEjemplo de Atributos/Métricas
1. Link Reliability1. Link Reliability// Atributos// Atributos
1.1 Internal Broken Links (IBL) 1.1 Internal Broken Links (IBL)
// Dos Posibles M// Dos Posibles Méétricas para 1.1tricas para 1.1
a) a) #IBL#IBL Unidad:Unidad: EnlaceEnlace; ; Escala:Escala: NumNuméérica, Enterosrica, Enteros
Tipo de EscalaTipo de Escala: : Absoluta Absoluta
Tipo de MTipo de Méétodo de Medicitodo de Medicióónn: : ObjetivoObjetivo
b) b) %IBL = (#IBL / #TL) * 100%IBL = (#IBL / #TL) * 100; ; Unidad:Unidad: Normalizada a PorcentajeNormalizada a Porcentaje; ; Escala:Escala: NumNuméérica, Realesrica, Reales
Tipo de Escala:Tipo de Escala: Absoluta Absoluta
Para ResaltarPara Resaltar
Las métricas NO pueden interpretar por sí solas Las métricas NO pueden interpretar por sí solas un concepto medible un concepto medible
Necesidad de INDICADORESNecesidad de INDICADORES
EsquemaEsquema
•• Aseguramiento de CalidadAseguramiento de Calidad•• Teoría de MétricasTeoría de Métricas•• Teoría de IndicadoresTeoría de Indicadores•• ConclusionesConclusiones
Introducción a IndicadoresIntroducción a Indicadores
INDICADOR (ELEMENTAL, GLOBAL)INDICADOR (ELEMENTAL, GLOBAL)CONCEPTO MEDIBLE (Calidad, Productiv...)CONCEPTO MEDIBLE (Calidad, Productiv...)MODELO DE CONCEPTOMODELO DE CONCEPTOMODELO ELEMENTAL, GLOBALMODELO ELEMENTAL, GLOBALCRITERIO DE DECISIONCRITERIO DE DECISIONCALCULO, VALOR INDICADOR CALCULO, VALOR INDICADOR ESCALA / TIPO DE ESCALAESCALA / TIPO DE ESCALAUNIDADUNIDAD
......
Introducción a IndicadoresIntroducción a Indicadores
INDICADORINDICADOREEl l mméétodo de ctodo de cáálculolculo y la y la escalaescala definidos, definidos,
ademademáás del s del modelo modelo y y criterios de decisicriterios de decisióónncon el fin de proveer una evaluacicon el fin de proveer una evaluacióón o n o estimaciestimacióón de un n de un concepto medibleconcepto medible con con respecto a una respecto a una necesidad de informacinecesidad de informacióónn. . Indicador ElementalIndicador Elemental–– Preferencia de Enlaces Rotos Internos Preferencia de Enlaces Rotos Internos (IBL_P)(IBL_P)
Indicador GlobalIndicador Global–– Preferencia en Confiabilidad de Enlaces (LR_P)Preferencia en Confiabilidad de Enlaces (LR_P)
Introducción a IndicadoresIntroducción a Indicadores
MODELO ELEMENTALMODELO ELEMENTALAlgoritmo o función asociados a criterios de Algoritmo o función asociados a criterios de
decisión que modela a un indicador elementaldecisión que modela a un indicador elemental. . Ejemplo para Ejemplo para Preferencia de Enlaces Rotos Preferencia de Enlaces Rotos
InternosInternos (IBL_P)(IBL_P)
IBL_PIBL_P = 100% if %IBL = 0; = 100% if %IBL = 0; IBL_PIBL_P = 0% if %IBL >= X= 0% if %IBL >= X max max ; ; otherwise otherwise IBL_PIBL_P =( (X=( (X maxmax –– %IBL) / X%IBL) / X max max ) * 100 ) * 100
if 0 < %IBL < Xif 0 < %IBL < X maxmaxwhere Xwhere X max max is some agreed upper threshold such as 3is some agreed upper threshold such as 3
Introducción a IndicadoresIntroducción a Indicadores
MODELO GLOBALMODELO GLOBALAlgoritmo o función asociados a criterios de Algoritmo o función asociados a criterios de
decisión que modela a un indicador globaldecisión que modela a un indicador global. . Ejemplo para Ejemplo para Preferencia de Confiabilidad de Preferencia de Confiabilidad de
Enlaces (LR_P)Enlaces (LR_P)
GIGI11 = (W= (W1.11.1 EIEI1.11.1 + W+ W1.2 1.2 EIEI1.2 1.2 + W+ W1.3 1.3 EIEI1.31.3); ); (W(W11 + W+ W2 2 + .. + W+ .. + Wm m ) = 1; if W) = 1; if Wi i > 0 ; > 0 ; para i = 1 .. m para i = 1 .. m (m = 3, en nuestro ejemplo). (m = 3, en nuestro ejemplo).
Introducción a IndicadoresIntroducción a Indicadores
CRITERIO DE DECISIONCRITERIO DE DECISIONThresholds, targets, or patterns used to determine the Thresholds, targets, or patterns used to determine the need for action or further investigation, or to describe need for action or further investigation, or to describe the level of confidence in a given results [ISO 15939].the level of confidence in a given results [ISO 15939].EjemploEjemplo
The decision criteria that a model of an indicator have to The decision criteria that a model of an indicator have to have are the agreed have are the agreed acceptability levelsacceptability levels in the given in the given scale; for instance, it is scale; for instance, it is unsatisfactoryunsatisfactory if the if the rangerange is 0 is 0 to 40; to 40; marginalmarginal, if it is greater than 40 and less or , if it is greater than 40 and less or equal than 60; otherwise, equal than 60; otherwise, satisfactorysatisfactory
Modelo Modelo Conceptual Conceptual
para para IndicadoresIndicadores
~
E sca laCate górica
valoresPermitidos
MétodoDeMedicióntipo = {Objetivo, Subjetivo}
Unidadnombredescripción
EscalaNuméricatipo = {continua, discreta} 1..*1 1..*1
expresada_en
Medidavalor
ModeloElemental
nombreespecificación
Herramientanombredescripciónversiónproveedor
CriterioDeDecis iónnombredescripciónrango
1..*1..*tie ne
MediciónfechaYHora
11 11produce
IndicadorElemental
1
1
1
1modelado_por
Métodonombreespecificación
1..*
0..*
1..*
0..*
automatizado_por
ValorIndicadorvalor
ModeloGlobalnombreespecificación
1.. *1.. *tie ne
Entidadnombredescripción
MétricanombreinterpretaciónValorobjetivo/MotivacióntipoRecolecciónDatosreferenciastipoValor = {Símbolo, Integer, Float}precisión
0..*
1
0..*
1
referida_a
1
0..1
1
0..1
interpreta
11
incluye
Cálculofech aYHora 11 11
produce
MétodoDeCá lculo
IndicadorGlobal
1
1
1
1modelado_por
Escala<<enum>> tipoEscala
11
cont iene
NecesidadDeInformación
descripción
ModeloDeConcepto
nombreespecificaciónreferencias
AtributonombrepalabrasClave/AliasdefiniciónnivelIndependenciatipo = {interno, externo}
1..*
1..*
1..*
1..*
asociado_con
1..*
1
1..*
1
cuan tif ica
IndicadornombreprecisiónreferenciastipoValor = {Símbolo, Integer, Float}
0..*1 0..*1relacionado_a
in cluye
2..*2..*
indicadores_relacionados
11
contiene
ConceptoMedible
nombredescripción
1..*
1
1..*
1
describe
0..*0..*
especificado_por
0..*0..*
subConcepto
1..*
1
1..*
1
combina
1
1
1
1
evalúa/estima
EsquemaEsquema
•• Aseguramiento de CalidadAseguramiento de Calidad•• Teoría de MétricasTeoría de Métricas•• Teoría de IndicadoresTeoría de Indicadores•• Conclusiones/Avances Conclusiones/Avances
ConclusionesConclusiones
Metrics are welcome when they are clearly needed and Metrics are welcome when they are clearly needed and easy to collect and understandeasy to collect and understand Pfleeger Pfleeger
Utilidad de las MétricasUtilidad de las MétricasMedición “objetiva antes que subjetiva”Medición “objetiva antes que subjetiva”
Especificar en el mundo formal, la correspondencia de Especificar en el mundo formal, la correspondencia de un atributo del mundo empíricoun atributo del mundo empírico
Operacionalizar HeurísticasOperacionalizar Heurísticas
Servir de “base” a Métodos Cuantitativos de Evaluación Servir de “base” a Métodos Cuantitativos de Evaluación o Predicción. o Predicción.
La métrica NO puede interpretar por sí sola un concepto La métrica NO puede interpretar por sí sola un concepto medible (Necesidad de INDICADORES)medible (Necesidad de INDICADORES)
ConclusionesConclusiones
Indicators are ultimately the foundation for interpretation of Indicators are ultimately the foundation for interpretation of information needs and decisioninformation needs and decision--making.making.
Utilidad de los IndicadoresUtilidad de los Indicadores
Servir de base para cuantificar Conceptos Medibles para Servir de base para cuantificar Conceptos Medibles para una Necesidad de Informaciónuna Necesidad de Información
Servir de base a Métodos Cuantitativos de Evaluación o Servir de base a Métodos Cuantitativos de Evaluación o PredicciónPredicción
Los indicadores ofrecen información para la toma de Los indicadores ofrecen información para la toma de decisionesdecisiones
Trabajos en AvanceTrabajos en Avance
Ontología para Métricas e IndicadoresOntología para Métricas e IndicadoresConceptualización (UML, Tablas)Conceptualización (UML, Tablas)
Implementación (RDFS, OWL)Implementación (RDFS, OWL)
MantenimientoMantenimiento
Ontologías para Procesos de Medición/EvaluaciónOntologías para Procesos de Medición/Evaluación
Sistema Web para Catalogación de M&ISistema Web para Catalogación de M&ICon Capacidad de Web SemánticaCon Capacidad de Web Semántica
Arquitectura del SistemaArquitectura del Sistema
OWLRDF/SXMLS
DB Repository
User Administrator Reviewer Moderator Tool/Agent
Web Interfaces
Web Services
Business Classes
SQL Data AccessComponents
Catalog ReviewSystem
Semantic QuerySystem
Semantic DataAccess Components
INTERFACETIER
BUSINESSLOGIC TIER
DATA LOGICTIER
PERSISTENCYTIER
Metrics and IndicatorsCataloging System
Dr. Luis Olsina Dr. Luis Olsina EE--mail:mail: [email protected]@ing.unlpam.edu.arURL:URL: http://gidis.ing.unlpam.edu.arhttp://gidis.ing.unlpam.edu.ar
Grupo de InvestigaciGrupo de Investigacióón y Desarrollo en Ingeniern y Desarrollo en Ingenieríía de Softwarea de SoftwareDepartamento de InformDepartamento de Informáática tica –– Facultad de IngenierFacultad de Ingenieríía a –– Universidad Nacional de La PampaUniversidad Nacional de La Pampa
Argentina©© 2003 GIDIS2003 GIDIS
Preguntas ?Preguntas ?Preguntas ?Preguntas ?
PROGRAMA CYTEDPROGRAMA CYTEDProyecto WEST: WebProyecto WEST: Web--OrientedOriented Software Software TechnologyTechnology