Post on 07-Apr-2016
description
transcript
planificación racio-
de datos, aI mar-de cone en el proce-
to temporal, quete se utilizan
propia de la eva-
q¡¡so de un procesolien a la evaluación
los datos que se
en un análisis
¡e*iones a partir del
orden en lam hay que olvidarcden y duración se
lir fAoguera, I994a,
mrinado laimple-ira en estudios de
CÉbriel, Mondeaux,
hinformación reco-
crirerios distintos
us:arios, la infor-o ñlta de contex-
CaPítulo 2: Bases metodológicas
z.z. Elprograma como objeto de evaluación
Un programa de ta' en el momento en
qr.i. i....," .r., de la Administración
o institución que decisiones públicas es
que los recursos siempre son escasos Para satl exlstentes' y su aslgna-
"'iór, " d.t..-inados áb.¡etiro. implica, en tod otros; de ahí la enorme
importancia del an¿ílisis de necesiáades como sito sine qua non- Para
la elaboración del programa.por consigui..rt.,
-pri-.ro hay que hacer referencia al an¿ílisis de necesidades.
z.z.t. Análisis y eualuación de necesidades
En los últimos años se ha teorizado de fornecesidades que se detectarían bajo sus
se ha desarrollado una sensibilidad cad
dad, y se han llevado ala ptáctica esfuerzos
eftcaz aestas necesidades (Altschuld y \flitki udadanos son con frecuencia concurrentes
nstituciones privadas..'), hay que definir con
las carencias existentes, aun partiendo de su
En la determinación acerca de qué es una
vante la fijación de estándares, que frecuente
mínima ilustración, basta tener presente que
Unidos, Ia Social SecuriryAdministration, qu
car en 1960 nada menos que ciento veinticu
añadirle las caracterlsticas del entorno sociopo
La primera responsabilidad de una co
do colectivo) es conseguir las necesidades
yendo sus comPonentes biológicos, sociales
menre cambiantes con el tiemplo, pero que p forma relativa Ia existencia
o no de necesidad (Ciarlo, T"..á, Shein,- Ericsson, 1992). Desde el
abor que se sobre la conceptualización
de n sistir e que resulta oPerativizarla' algo que rara-
men las ins á d.t..t"r necesidad para intervenir pos-
teriormente,Según Kettner, Moroney y Martin (1990), I en necesl-
dades, y éstas presentan di-árion.. cualitativas y iere implí-
.it"-..tt. el 'Ltiquetado" de la situación en func cionarse o
mejorarse. La cuantitativa implicará identificar semejanzas entre personas o gruPos que
47
Eualuaci(-¡n de programas sociales y sanitarios
suf¡en los mismos problemas o carencias (para lo cual será muy importante una identifica-ción previa de las denominadas poblaciorues de riesgo), categorizarlas, y a partir de aquí tra-bajar en las tabulaciones que se precisen para planificar las intervenciones, calendarizarlas,
presupuestarlas, etc. Este análisis identificador de la necesidad puede iniciarse en la propiacomunidad o colectivo en sí mismo (por ejemplo, un barrio de una ciudad) o en un Pro-blema específico (como inmigrantes, o mendicidad).
Existe consenso en caractertzar distintos tipos de necesidad por parte de varios autores
(Bradshaw, 1983; Fernández-Ballesteros, 1995c; Kettner, MoroneyvMartin, 1990; Moro-ney, 1977), después que el Seebohm Report (1968), uno de los documentos más divulgados
en Europa sobre la naturaleza, organización y acceso de Ia población a los Servicios Socia-
les, mostrase una profunda preocupación por el concepto de necesidad, y de que se proPu-siera una raxonomía en el trabajo pionero de Bradshaw (1972a, 1972b).
Se trata de los cuatro tipos siguientes:
,)
b)
Necesidad normdtiall: es aquella que el experto o profesional definen como neces.i-
dad en una situación determinada, y, por definición, implica la existencia de están-
dares o normas; dicho en otros términos, el especialista establece un nivel "deseable"
de provisión o acceso a determinado servicio iocial o sanitario, y se compara con el
nivel que existe de hecho. Si un individuo o grupo no alcanzan este nivel, se consi-
dera que sufren necesidad. Así, por ejemplo, el nivel de nutrición establecido por el
Colegio de Médicos Británico se utiliza como medida normativa de la suficiencia
de una dieta. Una definición normativa de Ia necesidad no es absoluta (Rossi r
Berk, 1985), y es posible que no hubiera concordancia con la detección de necesi-
dad si se utilizaran otras dimensiones, o se comparara con otro momento temporal,
así, si cotejamos en las administraciones públicas la construcción de hospitales basán-
dose en ratios de número de camas por millón de habitantes ahora y hace veinte años
Necesidad experimentada (o sentida, o percibida):necesidad equivale a carencia sub-
jetiva. Al evalual una determinada necesidad de un servicio se pregunta a los indi-viduos si creen que 1o necesitan, es decir, si Io perciben como tal necesidad. La nece-
sidad experimentada o sentida, en sí misma, es una medida inadecuada de la necesidad
real, pues es fluctuante y se ve moduiada por la situación actual del individuo, tan-
to por defecto como por exceso.
Necesidad exprestldd o demanda: es la propia de las personas que demandan un sen'i-
cio. No se pide algo si no se tiene la necesidad de aquello, pero es posible que se ten-
ga la necesidad y no se exprese la demanda. La necesidad expresada se utiliza a menu-
do en los servicios sanitarios, donde las listas de espera se utilizan como medida d-Ias necesidades no satisfechas.
Necesidad clmpdratia(t: se establece a partir de la diferencia entre los servicios qu.existen en un área y los servicios de otra; se trata de un intento de estandarízar \.provisión de servicios, aunque ello no tiene por qué corresponder a una necesidad,
Además, del área que se toma como punto de referencia no se tiene la seguridad d.que todas sus necesidades estén satisfechas. Se ha utilizado con frecuencia en el ámb:-
48
a)
d)
EDIE una identifica-epertir de aqul tra-
calendarizarlas,
iria¡se en la propiao en un Pro-
de varios autores
in, 1990;Moro-más divulgados
he Servicios Socia-
v de que se propu-
como necest-
aimencia de están-
r¡n nivel "deseable"
Ly* compara con el
ese nivel, se consi-
Éón establecido por el
iva de la suficienciaes absoluta (Rossi y
Ldetección de necesi-
momento temporal;ih de hospitales basán-
:r y hace veinte años.
ivale a carencia sub-r pregunta a los indi-el necesidad. La nece-
de la necesidad
del individuo, tan-
: demandan un servi-es posible que se ten-
se utiliza a menu-como medida de
entre los servicios quefonento de estandarizar la
a una necesidad.
se tiene la seguridad de
Capítulo 2: Bases metodológicas
to sanitario con el fin de disponer de listados de características de pacientes querequieren atención especial (O'Brien, Rossi y Tessler, 1982).
La figura 2.3 muestra la interrelación entre los cuatro tipos de necesidad y permite deli-mitarlas entre sí:
Necesidad normativa
Necesidad experi mentada:
Necesidad expresada:
Necesidad comparativa:
-
ob
Figura 2.3.ktteruelación entre los cuatro tipos de necesidad.
Como consecuencia, pueden identificarse las superficies resultantes de esta intersecciónmúltiple (Bradshaw, 1972a, 7972b, 1 983) :
a) Todas las definiciones están de acuerdo. Un individuo está necesitado según todasellas. Por ejemplo, recién nacido encontrado en un portal.
b) La demanda se ve limitada por dificultades de acceso aI servicio. Aunque el indivi-duo está necesitado según las demás definiciones no ha querido -o no ha podido-expresar su necesidad. Como ejemplo, anciano pensionista con dificultades de auto-nomía personal que no ha solicitado a¡rda domiciliaria ni ingreso en residencia.
c) La necesidad se ecepta como tal por el experto y se experimenta por el individuo,pero no hay demanda ni agravio comparativo. Por ejemplo, necesidad de serviciosde podología para personas de tercera edad.
d) I-a necesidad no se postula por los expertos, pero es experimentada, expresada y ofrecida.En el :ímbito sanita¡io, podrían hallarse los tipos menos esenciales de cirugía estética.
49
)
c
on frecuencia en el ámbi-
Eualuación de progtdtnds sociales y sanitarios
Se trata de una necesidad que es postulada, sendda y expresada, aunque no satisfe-
cha comparativa-mente. Son necesidades que representan ¿íreas de crecimiento pro-bables en servicios sanitarios y sociales. Por ejemplo, necesidad de apoyo psicológi-co gratuito en familias en que se produce un fallecimiento de un menor por accidente
o muerte traumática.La necesidad es postulada por los expertos y personas con caracterlsticas semejantes
se beneficia¡ del servicio, pero la necesidad no es experimentada ni expresada por el
individuo. Se podrlan citar como ejemplo, algunas de las tareas encomendadas al
asisrente social que se ocupa de la reinserción de personas que estuvieron privadas
de libertad.La necesidad sólo se postula por los expertos. Como ejemplo, en el ámbito de la sani-
dad pública serla un ejemplo la inyección de determinadas cantidades de fluoruroen el agua para consumo mucho antes de que fuese sentida, expresada o satisfecha.
La necesidad sólo aparece a nivel comparativo, sin que la postulen los expertos ni sea
sentida o demandada. En el :ímbito educativo, sería la reafización de determinadas
actividades extraescolares.
Necesidad no prevista por los expertos ni considerada comparativamente, Pero es
sendda y expresada. Por ejemplo, frecuente solicitud de recetas de material cosmé-
tico para que fuesen subvencionadas por la Seguridad Social.
Necesidades sentidas, pero cuya satisfacción se halla fuera de las posibilidades de
cobertura de un programa. Por ejemplo, la soledad.
Necesidad no postulada por los expertos ni demandada, Pero es sentida, y se atien-
de comparativamenre. Por ejemplo, determinadas actividades de ocio en colectivos
de tercera edad.
Ausencia de necesidad según todas las previsiones.
Respecto a las etapas en evaluación de necesidades, se pueden encontrar planteami*tos complementarios. En este senrido, Sánchez Vidal (1991) se refiere a las etapas de qrrc
consta la evaluación de necesidades (Gupta, 1999), de las que se pueden entresacíu las corrc-pondientes aI momento en que ya se han detectado y van a evaluarse:
Aplicación de los instrumentos necesarios para recoger información empíricaque también se apliquen instrumentos en el an¿ílisis de necesidades).
Integración (estadlstica, lógica, teórica, etc.) de la información recogida.
Valoración de los datos integradosComunicación "de devolución", y que es la que permite la priorización de las
tintas necesidades.
Pineault y Daveluy (1987), al referirse a los programas sanitarios, reflexionan qucocasiones se ha confundido la evaluación de necesidades con el an¿ílisis de necesidadeg
una parte, y con la evaluación de programas por otra.
5o
e)
fl
d
h)
j)
k)
,)
b)t)d)
no satisfe-
üEqmlento Pro-epovo psicológi-
por accidente
semejantes
r eryresada por el
mmendadas al
privadas
inbito de la sani-
de fluoruroo satisfecha.
hs *pertos ni sea
de determinadas
nte, Pero es
de material cosmé-
bs posibilidades de
¡ta.dda, y se atien-ocio en colectivos
planteamien-a las etapas de que
cr¡tr€sagtr las corres-
empírica (aun-
piorización de las dis-
reflexionan que en
de necesidades, Por
Capítulo 2: Bases metodológicas
Respecto al análisis de necesidades la diferencia es clara, pues el estudio de necesidades se rea-liza s¡ ds5 tiempos. En el primero se identifican los problemas, mientras que en el segundo se
analiza la significación que hay que dar a la información recogida (kviton y Hughes, 1981; Ken-rcAy, l9\4;Altschuld, Yoon y Cullen, 1993).Nmenos en el ¿ímbito sanitario, el estudio de lasnecesidades es una expresión comúnmente utilizada que, de hecho, tiene en cuenta primero losproblemas para llegar posteriormente a determina¡ las necesidades. La primera etapa, la identi-ficación de problemas de salud, se hace con la a¡rda de instrumentos de medida, mientras queen la segunda, la determinación de las necesidades, se analiza Ia signficación que hay que darli ah información recogida, contribuyendo así a la determinación de prioridades que le sucederá.
Y respecto a la evaluación de programas, aunque se utilicen sistemas relativamente pare-cidos de recogida de datos -incluso combinando las metodologlas cualitativa y cuanritati-wa (Loos, 1995)- es evidente que se trata de objetivos de evaluación diferentes. Según Sie-gel, Attkisson y Carson (1978), el estudio de necesidades es un sistema de vigilancia delentorno que se interesa por las características de la población y del entorno que tiene influen-eia sobre la necesidad y la demanda de los servicios, mientras que la evaluación de progra-m2s es un sistema de vigilancia interna orientado a la consecución de los fines y objetivosdel programa. En un modelo lineal (Veney y Kaluzny, 1984) se úataría de dos etapas delProceso que se alimentan de datos de la misma naturaleza; por el contrario, en un modelono lineal, su carácter dinámico y circular lleva a que se articulen entre sí.
\Titkin yAltschuld (1995), en cambio, consideran que el plan para evaluar necesidades@nsta de tres fases:
a) Pre-eualuación: tiene carácter exploratorio, y su función consisre en determinar yorganizar la información de la cual ya se dispone en el sistema, identificar áreas demayor incidencia de la necesidad, fijar límites, y establecer fuentes de recogida de másinformación.
b) Eualuación prirucipal: recogida de datos a través de las tres fuentes principales deobtención de información, que son archivos, procesos de comunicación,y procesosanalíticos. El material de arcbiuo corresponde a datos ya recogidos para otros fines,como indicadores, datos demográficos, censos, informes de estudios anteriores, etc.Los datos correspondientes a ?rocesos de comunicacióru se obtienen a partir de la eli-citación de opiniones por parte de quienes tienen información directa y, a su vez,pueden ser de carácter no interacdvo (cuestionario, incidentes críticos, encuesta Del-phi, entrevista con informantes clave) o interactivo (forums comunitarios, gruposnominales, entrevistas con pequeños grupos comunitario$. Y la rercera categoría deprocesos analíticos aportaría información acerca de an¿ílisis de rareas, an¿ílisis de impac-to, confección de esquemas relacionales, etc.
c) Post-eualuación: constituye el puente que conecta los datos recogidos y los planes deacción que se determinan. Implica el establecimiento de prioridades y criterios paraadoptar soluciones, ponderar las distintas vlas alternativas teniendo en cuenta losasPectos positivos y negativos de cada una, así como los recursos necesarios y dispo-nibles (en la actualidad y a corro o medio plazo).
5r
EuaLuación de programas sociales y sanitarios
la publicidad que se Ie dé a los casos detecados, y el que se estén incumpliendo derechos hurna-
nos son elementos fundamentales para que se pongan en marcha programas de intervención.
Para evaluar las necesidades se procede frecuentemente a obtener muestras rePresenta-
tivas de Ia población con el fin de detectar potenciales usuarios. Para su selección se utiliza-
rán técnicai de muesrreo probabilístico, generalmente a partir de criterios de estratificación,
y el tamaño de la muestra estará determinado en función de la variabilidad de las caracte-
rísticas de interés en la población. Normalmente no se conoce la proporción de varianza en
la población, por lo que el tamaño de la muestra dependerá del nivel de precisión, el coste
y el tiempo que se pueden dedicar a eilo.
La evaluáción de necesidades continuará siendo uno de los aspectos fundamentales en
el diseño y evaluación de programas. Concretamente se enfatizará.n las nuevas tecnologías
para el registro y trata-iento de la información proveniente de distintos gt"Pg, de impli-cados (chacón,2002; chacón, sanduvere, Holgado, yLópez García, 2004;Holgado, cha-
cón, Ruiz, Suarez, Barbero y Pérez-G1l,2OO4). Por otra parte se intentará coordinar, cada
vez en mayor medida, las denominadas macro y micro necesidades, con objeto de conjugar
las necesidades a un nivel nacional o estatal (más globales) con las necesidades más regio-
nales o locales (más particulares) (Chacón, Lara yPérez-Grl,2003).
z.z.z. Elaboración del Programa
El concurso de los expertos es esencial en esta fase. Conocida la necesidad, y en función de
la teoría del programá (chen y Rossi, 1983; Bickman, 1987, i989, 1990, 1996; Lipsey y
Pollard, 1989; Scon y Sechrest, 1989; Bickman y Peterson, 1990; Birckmayer y \7eiss, 2000;
Funnell, 2000) se debe estrucrurar un conjunto de acciones encaminadas a un objetivo' que
pueden o no ser diversificadas entre sí, para que, operando puntual o diacrónicamente, se
"1"".r..., los objetivos planteados. Indudablemente, el primer paso será la conceptualización
dei program, ér, f.r.r.ió., de las necesidades detectadas, forma de delimitar los objetivos,
...rr.oi instrumenros disponibles presentes o futuros, etc. (Tiochim, 1985, 1989; Tiochim
y Linton, 1986).El diagnóstico previo a Ia formulación de un proyecto es el reconocimiento realizado sobre
.l t.....rol. Ios srntomas o signos reales y concretos de una situación problemática. Para
los efectos del proceso de evaluación, se debe considerar que, mientras sea más preciso y Pro-fundo el conocimiento de la realidad existente previa a la ejecución de un proyecto, más f,ícil
será determinar el impacto y los efectos que se logran con las acciones del mismo.
El éxito en la foimulación de los contenidos (Scheire¡ 1996) de un Programa se basa
esencialmente en una estrategia que se debe seguir (Julian y Lyons, 1992) que, a su vez, se
diversifica en una identificación precisa del mismo, especificando sus objetivos, metas, acti-
vidades, calendario de ejecución y recursos.
Hay que diferenciar la precisión sobre la delimitación de objetivos, Ia respuesta a unas
necesarias pregunras de acotación y contextualización del programa, y una Pauta Para su
presentación:
52
A) Delimitación de
Habitualmente.quico que conviene
El objetivo es aJr
rir.a de resultados, r-rnayoría de los prof,;onsideran que el1os
:s que cuando diseñ¿
:ales. La forma más
:rofesional que, bas;
:esponderá a una paKettner, Moron,
,1to riesgo en un pro.a en lo que metodoj.'a¡iables que va a sor¡iderar como una for-o e intervenimos s<
-porta el mecanismo
-Dntrastar dicha hipc:o a las madres de alr
:.sis, el profesional q:r'' os significativos r- r
:osa que objetivos rEn este ejemplo.
a) La mortilida<á) El bajo peso a
cits nutricron/ Btas condicior
lescentes, muj.ples, mujeres c
nómico bajo.
Basándose en tal<
a) Si localizamo'b) si logramos qtc) si les ofrecemr
niños preman/) se debería obs
entonces
r) se debería tam
-::echos huma-
; ---:=¡ ención'
1l -:a- -s rePresenta-
r,r ,;-:::ión se utiliza-
r- -: -j.ratificación,L, --
j. las caracte-
- - ie varianza en
:r -:=-isión, el coste
-". :: -damentales en
-r -, -.'. as tecnologías
:,- : :.-LPos de imPli-- ''--, i{olsado, Cha-
!. :- - :- : -oordinar, cada
5rj lea más Prectso Y Pro-I -. * pfoyecto, más fácil
-=. ¡el mismo'
:- un Programa se basa
, |992) que, a su vez' se
'-. objerivos' metas' acti-
=:ir-os, la resPuesta a una-(
:¡12, Y una Pauta Para sl.
-:i:ro de conjugar
' .. :ades más regio-
. j,rJ. l9O6; Lipsey y
l,r -..:.--i-er Y \íeiss, 2000;
r . -¿ concePtualización
-.-,mitar los objetivos'
- l')8i, 1989;Tiochim
ürtr;: r:l Problemática' Para
Capítulo 2: Bases metodológicas
A) Delimitación de obietiuos
Habitualmente, y según los distintos autores y contextos, se plantea un sistema jerár-quico que conviene clarificar y que incide en el tamaño de la unidad de análisis.
El objetivo es algo que se desea conseguir (Fernández-Ballesteros, 1995c), una expecta-
tiva de resultados, y cuyo cumplimiento nos dará la medida de Ia eficacia del programa. La
mayoría de los profesionales que trabajan en el diseño de programas sanitarios y sociales
consideran que ellos pretenden resolyer problemas y no contrastar hipótesis; pero el hechoes que cuando diseñan programas están formulando hipótesis, aunque no se explicitan comorales. La forma más rudimentaria de hipótesis sería un presentimiento o corazonada de unprofesional que, basado en su experiencia, sospecha que determinado problema o situaciónresponderá a una particular forma de intervención.
Kettner, Moroney y Martin (1990) proponen el ejemplo del tratamiento de madres de
:1to riesgo en un programa preventivo sobre reducción de la mortalidad infantil. Si se pien-sa en lo que metodológicamente es una hipótesis -suposición o conjetura de relación entre'.'¿riables que va a someterse a contrastación empírica-, el diseño del programa se puede con-
, derar como una formulación de hipótesis: silocalizamos a las futuras madres de alto ries-
:o e intervenimos sobre ellas, entonc¿s se reducirá la mortalidad infantil. Este enunciado
-rorta el mecanismo para la evaluación del programa, que no será otra actividad que la de
:rnrrasrar dicha hipótesis (¿disminuyó la mortalidad infantil una vez que se había localiza-
:-, a las madres de alto riesgo y había actuado un plan de interwención?). Al generar la hipó-
='is. el profesional que planifica o diseña un programa es capaz alavez de identificar obje-
-'. os significativos y de estructurarlos en una serie jerárquica de enunciados que no son otra:: ia que objetivos y actividades planteados a distintos niveles.
En este ejemplo, se parte de las siguientes informaciones, que conoce el profesional:
.t) La mortalidad infantil está relacionada con el bajo peso al nacer (niños prematuros).
b) EI6qo peso al nacer está relacionado con enfermedades no tratadas, traumas y défi-cits nutricionales de la madre durante el embarazo.
-- Estas condiciones son más plausibles entre determinados grupos poblacionales, como ado-
lescenres, mujeres mayores de treinta y cinco años, mujeres que han tenido partos multi-ples, mujeres que antes han dado a luz prematuros, y mujeres procedentes de nivel eco-
nómico bajo.
3¿sándose en tales afirmaciones, se formularían las siguientes hipótesis del programa:
; 5i localizamos a las madres de alto riesgo, T: -r¡ iogramos que sigan el tratamiento, T.' -,i les ofrecemos servicios que actúen sobre aquellos factores asociados con dar a luz
niños prematuros, entonces
.; se debería observar una reducción en Ia incidencia de dar a luz niños prematuros, ya1lto11.ces
: -.e debería también detectar una reducción en la incidencia de la mortalidad infantil.
53
Eualuación de programas sociales y sanitarios
Fácilmente se pueden trasladar estos términos a los más convencionales en un marco
tradicional de investigación. La formulación de objetivos, la elaboración del programa, su
implementación y su evaluación se ven como procesos separados, cuando, por el contrario,
corr.spo.rd.n al mismo proceso, como ya preconizan Veney y Kaluzny (1984) en el mode-
lo no lineal de evaluación. Este fallo tan frecuente de deslavazar el proceso conduce a resul-
tados desastrosos que no reflejan Ia realidad del programa.
La evaluación se inicia con el planteamiento de una relación entre un Programa o ser-
vicio (que actúa como variable independiente) y determinado resultado esperado (que actúa
como variable dependiente). En el ejemplo anterio¡ el cuidado prenatal sería la variable
independient., y L mortalidad infantil sería la variable dependiente. Existen también habi-
rualmente variables intervinientes (habitualmente considerados como resultados interme-
dios) que obligan a reconocer la existencia de modelos multicausales en la comprensión de
Io. práble..rrs complejos, ya que se dan con frecuencia largas y complicadas cadenas. entre
el tratamiento y los-result"do.. Y probar qle se cumplen los objetiuos de un programa, o 1o que
es lo mismo, que éste es eficaz, significa que se explica el funcionamiento de esta cadena.
fnk (1993) yFernández-Ballesteros (1994,1995b) se refieren al concepto de progra-ma, e
ínsito en él se halla el "objeto" en evaluación de programas, que difiere en función de su com-
plejidad, además del criterio relativo al contexto fisico o administrativo en que se implanta. La
iomplejidad (y normalmente va asociado el tamaño de las unidades) se sitúa en un continuum
d. -olrridrd-molecularidad, sin que se puedan diferencia¡ compafiimentos estancos entre ellos.
Respecto a esta dimensión áe complejidad, Fernández-Ballesteros (1995b) diferencia
políticai, progralnas, subprograrnas y acciones, en una gradación de más a menos amplitud y,
L., "o^r.árr..rcia,
de más a menos complejidad. La política se articula en diversos Programasaplicados en distintos ámbitos y puedi ser evaluada a través de los programas, que conlle-.,r^.r .o.rj.,.rtos de subprogramas, los cuales, a su vez, contienen una serie de acciones o ele-
mentos que los articulan y que constituyen el menor nivel de complejidad
Otroi autores se refierena planes, ?rogramds y Prolectos (Cohen y Franco, 1992). En esta
gradación, plan es una suma di programas que busca objetivos comunes, ordena los objeti-
io. g".r.rr1., y los desagrega en objetivos específicos, que van a co¡stituir a su vez los obje-
tivos generales de los programas. EI programa sería un conjunto de proyectos que persigue
lo. -ir-o, objetivos,istábleciendo las prioridades de la intervención, definiendo el marco
institucional y asignando los recursos. Y el proyecto es una planificación que consiste en un
conjunto de actividades interrelacionadas y coordinadas para alcanzar objetivos esp_ecíficos
dentro de los límites de un presupuesto y un período dados, constituyendo la unidad más
operativa dentro del proceso áe planificación, constituyendo el eslabón final (Pichardo, 1985).
Sea cua-l sea la teiminología considerada, lo cierto es que un programa está formado por
un conjunto de acciones, proyectos... y seguimos desagregando jerárquicamente hasta lle-
g", "
1", unidades mínimai que se dispensan a los usuarios de acuerdo con un determinado
plan y calendario.- SLgún Fernández-Ballesteros (1995c), por unidad se entienden los sujetos de cambio
.rry". Jp..r.iones van a ser observadas como efectos del programa que se pretende evaluar,
y que puede.r ser sujetos humanos, situaciones ambientales, grupos de sujetos humanos, etc.
54
Antes nos h.:r cuanto a la <
-urrrlO Se va desr
rinimo núcleo
-¿bitualmente .Esta consid<
_-r que en su m(jrros
a partir de
:sis de costo-ef
-rructura de1 p
En efecto, d
-¡n la formulacrcar no necesaJr
.licar, mejorar. e
En el ejemp
-=speraba era red
i: 1as siguientes
lncrenerT
I ncrenre:
Promc^L
Las metas sr
:aJes para desarr
:ronunciamienrEn cambio.
', ez se fijen los t
:emporalmenre:e ndientemenrt:rón de tres crit,
a) De resul.
b) De proce
c) De acritzar su de
Cada uno daulca antes mer
convencionales en un marco
elaboración del Programa, su
cuando, por el contrario,
enüe un programa o ser-
vKaluzny (1984) en el mode-
zar el proceso conduce a resul-
Capítulo 2: Bases metodológicas
A¡tes nos hemos referido al continuum de molaridad-molecularidad que se establece
en cuanto a la complejidad de los objetivos y estructura de los planes de intervención, ycomo se va descendiendo jerárquicamente hasta llegar a las unidades que constituyen el
mínimo núcleo de actuación del profesional que interviene, y ya se apuntaba también quehabitualmente va asociado al tamaño de las acciones en que se descompone el programa.
Esta consideración tiene una gran importancia, no sólo metodológica (en tanto en cuan-ro que en su momento nos referiremos a los instrumentos pertinentes y a la recogida de
datos a partir de estas unidades) y económica (ya que nos suministrará las bases para los a¡á-lisis de costo-eficiencia, y costo-beneficio), sino también conceptual respecto a la propiaestructura del programa.
En efecto, debe establecerse una estructura piramidal que, en vía descendente, se iniciaaon la formulación de las metas. Las rnetas son enunciados relativos a una llnea programá-dca, no necesaria-mente medibles, que dan cuenta de una dirección esperada (preveni¡ erra-
dicar, mejorar, etc.) en el tratamiento de un problema.En el ejemplo anterior del colectivo de mujeres embarazadas con alto riesgo, lo que se
csperaba era reducir la mortalidad infantil, por lo que la rrteta se podría formular como una
de las siguientes formas:
Incrementar y mantener el nivel de salud de las mujeres en riesgo durante elembarazo.
Incrementar las posibilidades de supervivencia de los niños nacidos de muje-res con embarazos de alto riesgo.
Promover y proteger la salud de los habitantes de una zona(y ésta sería la másabarcadora).
I¡s metas son ambiciosas y frecuentemente ideales, y no se plantean períodos tempo-dts para desarrollarlas. Pero permiten fundamentar un programa a partir de determinados
¡renunciamientos y valores.En cambio, la referencia temporal y los criterios de medida serán fundamentales una
w se fijen los objetivos . Los objetiuas deberán ser claros, específicos, medibles, limitadosmlrcralmente y realistas, además de representar un compromiso para el profesional. Inde-
ldientemente de estos calificativos, que los vinculan a todos, se pueden plantear en fun-eiir de mes criterios:
Q De resultado, cuando lo que se pretende es el fin en sí mismo.b) De proceso, cuando interesa el cómo se articulan los distintos medios para llegar aI fin.c) De actiuid¿d¿s, cuando interesa el desglose de las acciones del programa para anali-
zar su desarrollo y cumplimiento.
C-ada uno de estos criterios con frecuenciaactia escalonadamente en la estructurajerár-
t5
resultado esperado (que actúa
ado prenatal sería la variable
v complicadas cadenas. entre
¡iws d¿ un Programa' o Io que
iente. Existen también habi-
como resultados interme-en Ia comprensión de
ionamiento de esta cadena.
al concepto de Programa, e
difiere en función de su com-
ivo en que se imPlanta. l,a
se sitúa en un continuumimentos estancos entre ellos.
ros (1995b) diferencia
ds mís a menos amPlitud ¡is¡la en diversos Programaslos programas, que conlle-
,rn"ierii de acciones o ele-
eaonstituir a su vez los obje-
de proyectos que Perslguerción, definiendo el marco
n que conslste en un
objetivos específicos
la unidad m:ís
ín 6nal (Pichardo, 1985)-
m y Franco, 1992). En esta
-á,rn.r, ordena los objeti-
Irrograma está formado Porr P*itquicamente hasta [le-
idad.
to, ,rtt determinado
los sujetos de cambio
que se Pretende evaluar,
de sujetos humanos, etc ica antes mencionada.
Eualuación de prograruas sociales y sanitarios
Volviendo al ejemplo anterior, un primer nivel (objetivo último) de objetiuos de resuba-
do podúa ser:
Reducir la tasa de mortalidad infantil.
Esta formulación del objetivo permitirá aplicar criterios de medida y de especificidad(por ejemplo, reducir la tasa de mortalidad de l,7o/o a 7,4o/o) en un período de tiempo.
Pero, a su vez, descendiendo un peldaño en la estructura jerárquica, se podría formularotro objetivo de menor complejidad y tamaño, que se situaría en uno de los eslabones de la
cadena de objetivos intermedios a la que antes nos referíamos:
Reducir la incidencia de nacimientos de niños prematuros.
Y, a su vez, en el siguiente eslabón, cabrlan otros objetivos de menos complejidad y tama-ño (objetivos inmediatos):
Aumentar el estado de nutrición.Reducir los riesgos de infección.Reducir los traumas por accidente.Reduci r otras enfermedades.
En este ejemplo propuesto por Kettner, Moroney y Martin (1990) existen tres niveles,
que por supuesto se pueden representar mediante un diagrama, y que permiten diferenciar,descendentemente, objetivos últimos, intermedios e inmediatos. Pero en otros programaspuede haber un número mayor o menor de ellos.
Lo importante es que, tanto si son objetivos de resultado, de proceso, como de activi-dades, se elabore una estructura jerárquica que, a la vez que obliga a delimitar distintos nive-les de objetivos, los integra en la propia estructura del programa, llegando a delimitar las
diferentes acciones o unidades que constituyen el mínimo nivel interventivo y que serán el
elemento aportador de datos parala evaluación del programa.
B) Acotación y contextualización
Unavez delimitados los objetivos y analizadas y especificadas las acciones más conve-nientes, es necesario completar la previsión sobre una serie de cuestiones que se plantean a
continuación:
56
¿Qué?
¿Por qué?
¿Para qué?
¿Cuánto?
¿Dónde?
;Cómo?
¿Cuíndo?
Quiénes?
,{on qué?
Lha r-ez contestadoh ela-boración d
ibles, conforcoo rfra muy es
Daopara h presa
Emmendahle esrJmargen delas c
r erelgabili.l"d p
tbiprc-,!cahñr-nrTal meao
de resulta-
yde especificidadde tiempo.
podría formularhs eslabones de la
y tama-
<isten tres niveles,
lten diferenciar,
cfl otfos programas
como de activi-itar distintos nive-
a delimitar las
y que serán el
acciones más conve-
¿Qué?
¿Por qué?
¿Para qué?
¿Cuánto?
¿Dónde?
¿Cómo?
¿Cu,índo?
Quiénes?
oCon qué?
Capítulo 2: Bases metodológicas
Naturalez¿. Necesidad previamente evaluada que da lugar a laidea central del programa.
Fundamentación. Marco teórico en que se basa la propuestainterventiva y criterios básicos de estrategia.
Objetiuo. Expectativa que se pretende cumplir y que significaríauna reducción o eliminación de la prevalencia del problema.
Metas. Criterio cuantificador del objetivo (cuánto se quiered.canzar de cada uno y de qué calidad).
Lo calizació n Cobertura espacial o geográfrca.
Metodología. Diseño que se va a desarrollar y técnicas de reco-
gida de información.
Calendarización. Planificación sincró nica y diacrónica de las
actividades previstas.
Recursos bumanos. Nivel de profesionalización requerido, ampli-tud del colectivo y responsabilidades que asumen.
Recursos rnateriales y económicos. Instalaciones e instrumental,por una pertel'y presupuesto y financiación, por otra, dife-renciando entre recursos disponibles, necesarios y deseables.
lfr,avez, contestados estos interrogantes por parte de los especia-listas y profesionales de
la elaboración del proyecto consistirá en ordenar toda la información y las decisio-ibles, conforme a un esquema lógico y una secuencia temporal, pero, especial-
con una muy estudiada delimitación -y jerarquización, en su caso- de las acciones
Ircgr¿ma.
lat para la presentación
E¡ recomendable estructurar el texto del plan de intervención o programa en tres apar-al margen de las características específicas de cada uno de ellos, facilitándose de esta
s¡ qraluabilidad posterior:
) Mriptores. Actúan a modo de encabezamiento e identificeción del programa y deben
cDntener al menos:
t7
que se plantean a
Eualuación de programas sociales y sanitarios
- Nombre del programa.
- Objetivos (generales y específicos).
- Fundamentación.
- Cobertura espacial o geográfica.
- fJsuarios o potenciales usuarios.
c)
Programa propiamente dicho. Constituye el cuerpo estricto del plan de intervención:
- Acciones que hay que llevar a cabo, especificando por quién, y la forma suficien-temente detallada de desarrollarlas.
- PERT o calendarización que indique las sincronías y diacronías que deben respe-
tarse entre las diferentes acciones.
Presupuestacióru 1t recursos. Debe incluir:
- Presupuesto del programa (completo, y también por módulos, si fuese el caso),
detallando los costes por partidas.
- Recursos de diverso orden (humanos, instrumentales, equipos, instalaciones, de
local, económicos, etc.) que se requieren.
- Recursos ya existentes previamente no afectados de obsolescencia y recursos poli-valentes.
- Planteamiento financiero: especificación de si la financiación será interna, exter-
na o mixta.
z.z. j. lmplementación del programa
IJnayez elaborado el programa deberá implementarse, es decir, llevarse ala prácúca las accio-
nes propuestas. La implementación hará posible la evaluación del programa (Brekke yTest, 1992), o, expresado en otros términos, sin la implementación sería imposible la eva-
luación, ya que no se dispondría de información empírica relativa al funcionamiento del
programa y a la medida en que se cumplen los objetivos (Scheirer y Rezmovic, 1983).
Reviste gran importancia el grado de especificación del programa respecto a Ia activi-
dad de los profesionales durante la implementación. Es frecuente que programas poco esPe-
cificados no se desarrollen de forma óptima. Por ejemplo, si en un programa de animaciónsocial en una determinada colectividad se menciona simplemente "se entrevistará a los indi-viduos inicialmente interesados en pa-rticipar", es obvio que, por muy bien formado que esté
el profesional, tiene un margen de actuación excesivamente amplio para preparar el guiónde la entrevista, el cual deberla canalizarse estrechamente en función del propio programa
animación.
58
b)
2-:
EtrdeSin
rfui§rlgrrl
Pqlec(&bEU
erxD,
Elxohd-rüFE[E
ICII
- Je intervención:
: forma suficien-
- que deben resPe-
- -,. .i fuese el caso),
- , :, instalaciones, de
: - : i. --á r' TeCUTSOS POli-
- --rá interna' exter-
--',: . -j. práctica las accio-
': -: t rgrama (Brekke Y
- =: . imPosible Ia eva-
- - :ncionamiento del
,- .-novic, 1983).---. :.specto a la activi-
- -: i-.)lláfiIls Poco eSPe-
- ,- i:¿ma de animación, .,:revistará a los indi-
Capítulo 2: Bases metodológicas
:.:..q. Eualuación de resultados
:n este caso es el análisis de los efectos del programa en la población destinataria. Este tipo
-: evaluación se relaciona directamente con el modelo de evaluación mediante objetivos.
-' n embargo, de igual forma se pueden evaluar resul¡ados no buscados explicitamente, el
-:ico requisito es Ia identificación previa de esos posibles efectos, con ob.feto de delimitar, .. ¡orma de medida. Este tipo de evaluación está guiada desde una perspectiva finalista,. rnativa o lineal, es decir el esrudio de las posibles consecuencias de la implementación del: ,:)qrama (Sel¿er, 1994). Conviene resaltar que los resultados de muchas evaluaciones ado--:e n de diversos defectos, y especiaimente de carácter metodológico (Moskowitz, 7993),
-=:ido, en muchas ocasiones, a la forma como se han recogido los datos (Burnstein, Free-. =r. Sirotnik, Delanshere y Hoilis, 1985).
El estudio del efecto del programa implica realizar comparaciones mediante técnicas de
--.-rrol de variables extrañas potenciales que puedan invalidar el efecto causal del progra-,., de ahí que los diseños de intervención alta y media, usualmente denominados experi-
- =:ra1es y cuasiexperimentales, sean ios más utilizados para este tipo de evaluaciones (este
- - de diseños serán estudiados en mayor detalle en los capítulos 7 y 8). Una vez recogidos
: :aros se suele realizar un análisis de la eficacia del programa (logro de los objetivos), efi-- ..-:ia del programa (relación coste-beneficio en el logro de objetivos), o efectividad delr ::ama (análisis global de los logros alcanzados por el programa, además de los previa-
-= -:e delimitados).Desde una perspectiva lineal podrían seguir mencionándose distintos tipos de evalua-
- :--s, como la evaluación del impacto (análisis de las consecuencias del programa sobre la
- .rnidad en general y no sólo sobre la población objeto del programa), o eualuación de la,,:ura (análísis de hasta qué punto el programa llega a la población objeto del interés), o
: :t.ición económica (análisis del coste del programa en relación a los resultados que éste
-,rsue; debido a su importacia será tratada con más profusión en el capítulo 9), no obs-
-.-:: en este capítulo introductorio sobre bases metodológicas se ha querido enfatizar cómo,
-- =. Ce llegar a realizar evaluaciones finales (de resultados, económica...), es necesario haber. ' ¿do la implementación del programa y por tanto también la evaluabilidad del mismo,. : -e de otra forma los resultados evaluativos finales obtenidos serían difícilmente inter-
. -=:--.les o estarían sujetos a muchos problemas de control y representatividad, como se verá
: : Un continuo eYaluatiyo
- - . = este momento el desarrollo de todo el proceso evaluativo descrito puede ser mejor. -.--:ido si se medita sobre la evolución que experimentaría Ia estructuración de una serie
r: -:-,gramas de intervención desde un momento inicial hasta su desarrollo total dentro der - -unidad
en Ia que se inserten. De esta forma, en un primer momento una serie de pro-
59
': - : -n formado que esté
--i PreParar el guión- - :roPio Programa de
Eualuación de programas sociales y sanitarios
fesionales en inrervención habrán de detectar las necesidades existentes en esa com(evaluación de necesidades), para que una vez valoradas se diseñen y desarrollen unos
gramas de intervención con objeto de paliarlas, observándose si tales necesidades primente detectadas han sido satisfechas o si por el contrario se ha de reiniciar el proceso
ta llegar a Ia extinción de éstas (véase la figura2.4).
Figura 2,4.Flujograma básico de modelo de evaluación.
Este modelo básico de intervención se complejiza en la práctica ya que son mlas necesidades en Ia sociedad actual, por lo que en un principio se han de priorizar las
sidades exisrentes -usualmente por los responsables políticos- en distintos grupos
menos homogéneos desde los que se fundamenten los distintos programas que se tique desarrollar. Todo ello implica que frecuentemente se desarrollan al mismo tiempotintos programas de intervención con objeto de atender al conjunto de necesidades que
senta la comunidad objeto de actuación (Chacón, López Ruiz yPérez-Gil,1992).Enlara2.5 se presenra un posible esquema básico de flujograma de estructura de funcionamien el que se integran y coordinan distintos programas de intervención insertos en una
minada comunidad, usando la codificación de signos en lenguajes de programaciónsentada por Stern (1982) y basadas en las que aparecen en García Herrero (1988).
6o
rftfl¡Fr!
@rd
fhiyeciS&¿r-rlelhddcayt+si¡hEpriil-rrollo& (ner
aemh"F
,/;Satisfacción \dd necesidades?