Makalah Evaluasi Program [PDF]

Citation preview

CHAPTER REPORT (CHAPTER 7) JUDUL BUKU : ALTERNATIVE VIEWS OF EVALUATION Penulis: Jody L. Fitzpatrick James R. Sanders Blaine R. Worthen



Diajukan untuk memenuhi salah satu tugas mata kuliah Evaluasi Program Pendidikan IPA



Dosen Dr. Harry Firman, M.Pd



Oleh Erwin/1602921



JURUSAN PENDIDIKAN IPA SEKOLAH PASCASARJANA UNIVERSITAS PENDIDIKAN INDONESIA 2017



DAFTAR ISI



DAFTAR ISI ........................................................................................................... i BAB I PENDAHULUAN ......................................................................................1 BAB II PEMBAHASAN ........................................................................................3 2.1. Pengembang Pendekatan Evaluasi berorientasi Keputusan dan Kontribusi mereka ....................................................................................... 3 2.2 Pendekatan Berorientasi Keputusan ............................................................ 4 1.



Model Evaluasi CIPP .......................................................................... 4



2.



Model Evaluasi UCLA ....................................................................... 14



3.



Evaluasi Berfokus Manfaat (UFE) ..................................................... 16



4.



Asesmen Evaluabilitas dan Monitoring Kinerja ................................ 20



2.3 Bagaimana Pendekatan Evaluasi Berorientasi Keputusan Telah Digunakan ................................................................................................. 23 2.4 Kekuatan dan Keterbatasan Pendekatan Evaluasi Berorientasi Keputusan .................................................................................................. 24 BAB III KESIMPULAN ......................................................................................26 DAFTAR PUSTAKA ...........................................................................................27



i



BAB I PENDAHULUAN Chapter report ini merupakan salah satu tugas dari mata kuliah evaluasi program pembelajaran IPA. Buku yang digunakan sebagai rujukan adalah buku yang berjudul “Alternative Views Of Evaluation“ yang ditulis oleh Jody L. Fitzpatrick, James R. Sanders dan Blaine R. Worthen. Tugas ini berujuan untuk memberikan pengetahuan dan wawasan tentang proses evaluasi program yang senantiasa dan harus dilakukan khususnya dalam program pembelajaran IPA, karena evaluasi program merupakan salah satu komponen penting untuk keberhasilan suatu program. Evaluasi program adalah upaya menyediakan informasi untuk disampaikan kepada pengambil keputusan (Cronbach, 1963 dan Stufflebeam, 1971 dalam Arikunto dan Jabar, 2009). Sesuai dengan pendapat tersebut, maka evaluasi program adalah kegiatan untuk mengumpulkan informasi tentang terlaksananya suatu program yang selanjutnya informasi tersebut digunakan untuk menentukan pilihan yang tepat dalam mengambil sebuah keputusan. Pelaksanaan evaluasi akan mengungkapkan fakta pelaksanaan suatu program yang hasilnya sesuai dengan yang diharapkan ataupun menyimpang dari harapan. Evaluasi program dilakukan bertujuan untuk menentukan nilai dan manfaat objek evaluasi, mengontrol, memperbaiki, dan mengambil keputusan mengenai objek tersebut. Dalam evaluasi program terdapat 4 pendekatan evaluasi, yaitu (1) expertise and consumer-oriented, (2) program-oriented, (3) Decision-oriented, dan (4) participant-oriented (Fitzpatrick, Sanders, and Worthen, 2012). Bab 7 merupakan salah satu bab dari bagian kedua buku Program Evaluation berjudul



Decision –Oriented Evaluation Approaches yang menjelaskan tentang



salah satu model evaluasi program dengan pendekatan berorientasi keputusan. Bab 7 ini terdiri dari beberapa sub-bab yaitu 1) Para pengembang pendekatan evaluasi berorientasi keputusan, 2) Model Evaluasi CIPP, 3) Model Evaluasi UCLA, 4) Evaluasi berfokus manfaat (UFE), 5) Asesmen Evaluabilitas dan Monitoring Kinerja, 6) Bagaimana Pendekatan Evaluasi Berorientasi Keputusan telah Digunakan, 7) Keunggulan dan keterbatasan pendekatan evaluasi berorientasi keputusan. Pendekatan



evaluasi



yang



berorientasi



keputusan



dalam



pendidikan



dimaksudkan untuk melayani para pengambil keputusan. Pengelola sekolah, kepala



1



sekolah, dan guru adalah orang-orang yang melakukan pengambilan keputusan, sehingga perlu adanya informasi evaluatif bagi mereka agar keputusan yang diambil sesuai dengan tujuan program yang dilaksanakan. Metode evaluasi berorientasi keputusan adalah metode yang mengandalkan pendekatan sistem, keputusan dibuat dengan mempertimbangkan konteks, masukan, proses, dan product. Chapter report ini merangkum hal-hal utama yang menjadi pokok bahasan dari setiap sub-bab, dengan harapan agar mendapatkan pengetahuan secara komprehensif dan dapat memahami beberapa pertanyaan yang menjadi pokok pembahasan pada bab ini. Fokus pertanyaan tersebut adalah: 1. Mengapa pendekatan evaluasi berorientasi - keputusan muncul? 2. Apakah tahap-tahap perkembangan suatu program dan bagaimana bisa evaluasi berorientasi keputusan membantu pada setiap tahap? 3. Apakah faktor khususnya? Apakah faktor kunci lainnya dari evaluasi berorientasi keputusan? 4. Apakah yang dimaksud dengan pemantauan kinerja? Bagaimanakah evaluasi yang disukai dan tidak disukai? 5. Apakah kekuatan utama dan keterbatasan dari pendekatan evaluasi berorientasi keputusan sebagai sebuah kelompok? Sebagai pendekatan individu ?



2



BAB II PEMBAHASAN Pendekatan evaluasi berorientasi keputusan dirancang untuk mengatasi masalah-masalah evaluasi yang dihadapi pada tahun 1970 yang terabaikan dan tidak memiliki dampak. Pendekatan ini ditujukan untuk melayani para pengambil keputusan. Alasannya adalah bahwa informasi evaluatif merupakan bagian penting dari pengambilan keputusan yang baik dan evaluator dapat secara efektif melayani administrator, manajer, pembuat kebijakan,dewan, staf program, dan lain-lain yang membutuhkan informasi evaluatif yang baik. Tiga metode atau pendekatan utama yang berorientasi-keputusan yang akan dibahas adalah model CIPP, yaitu pendekatan sistem dengan tahapan program pengembangan dan kebutuhan informasi yang mungkin terjadi pada setiap tahap. Evaluasi berfokus pada manfaat (UFE), yang mengidentifikasi pengguna primer dan bekerja sama dengan mereka untuk mengidentifikasi kebutuhan informasi dan melakukan penelitian; dan monitoring kinerja, yang memberikan informasi kepada manajer untuk membantu dalam pengambilan keputusan. CIPP dan evaluasi berfokus manfaat (UFE) agak berbeda – yang pertama (CIPP), berorientasi pada sistem dan tahapan, yang kedua (UFE) berorientasi pada orang. Tetapi mereka memiliki tujuan yang sama untuk meningkatkan pengambilan keputusan di sekolah-sekolah, organisasi nirlaba dan pemerintah. 2.1. Pengembang Pendekatan Evaluasi berorientasi Keputusan dan Kontribusi mereka Kontribusi penting untuk pendekatan berorientasi keputusan



telah



diberikan oleh banyak evaluator. Dalam pendidikan, Daniel Stufflebeam adalah seorang tokoh dalam pengembangan pendekatan berorientasi keputusan. Di pertengahan tahun 1960-an, Stufflebeam (1968) mengakui kekurangan dari pendekatan



evaluasi



yang tersedia.



Bekerja



untuk



memperluas



dan



sistematisasi berpikir tentang studi administrasi dan pembuatan keputusan pendidikan, Stufflebeam (1968) membuat keputusan pada manajer program, daripada tujuan program, pengorganisasi penting untuk evaluasi. Hal ini yang menjadikan dia sebagai salah satu ahli teori pertama untuk evaluasi yang berfokus pada manfaat. Pendekatan yang diusulkan Stufflebeam dan teoritikus lainnya (misalnya. Alkin, 1969), menyatakan bahwa evaluator bekerja sama 3



dengan administrator, mengidentifikasi keputusan yang harus dibuat oleh administrator, berdasarkan tahapan program, dan kemudian mengumpulkan informasi yang cukup tentang kelebihan dan kekurangan relatif setiap alternatif keputusan agar terwujud penilaian yang adil berdasarkan kriteria yang ditentukan. Keberhasilan evaluasi terletak pada kualitas kerja sama antara evaluator dan pengambil keputusan. Michael Patton, dengan pendekatan berfokus manfaat-nya, adalah tokoh lain dalam evaluasi berfokus pada keputusan dan manfaat. Pada tahun 1978, ia menerbitkan buku pertama tentang UFE. Patton mengemukakan bahwa tugas pertama evaluator adalah mengidentifikasi pengguna kunci (utama); seringkali seorang manajer yang tertarik dengan evaluasi dan dengan otoritas dan tertarik untuk membuat keputusan dengan itu. 2.2



Pendekatan Berorientasi Keputusan 1. Model Evaluasi CIPP Model evaluasi CIPP merupakan model yang paling dikenal dan banyak diterapkan oleh para



evaluator. Konsep evaluasi model CIPP



pertama kali diperkenalkan oleh Stufflebeam pada tahun 1965 sebagai pada saat melakukan evaluasi pada ESEA (the Elementary and Secondary Education Act). Model evaluasi CIPP ditawarkan oleh Stufflebeam dengan pandangan bahwa tujuan utama mengevaluasi bukan membuktikan tetapi memperbaiki (Widoyoko, 2009). Stufflebeam (1971, 2004b, 2005) telah menjadi tokoh berpengaruh dari pendekatan evaluasi berorientasi keputusan terstruktur untuk membantu administrator membuat keputusan yang baik. Ia mendefinisikan evaluasi sebagai proses menggambarkan, memperoleh, pelaporan dan penerapan deskriptif dan informasi pertimbangan tentang manfaat beberapa objek, kelayakan, kejujuran, dan signifikansi untuk memandu pengambilan keputusan, mendukung akuntabilitas, menyebarluaskan praktik yang efektif, dan meningkatkan pemahaman tentang fenomena yang terlibat (Stufflebeam, 2005, hal. 61). Definisi ini memperluas definisi aslinya pada tahun 1973 ketika ia pertama kali mengembangkan model CIPP, tapi pada dasarnya sangat mirip. Kemudian, ia mendefenisikan evaluasi lebih ringkas



4



sebagai “proses menggambarkan, memperoleh, dan memberikan informasi yang berguna untuk menilai alternatif keputusan” (Stufflebeam, 1973b, hal. 129). Definisi yang lebih baru menekankan pentingnya pertimbangan yang layak dan berharga, sesuatu yang sentral untuk evaluasi pada tahun 1973. Tapi definisinya tahun 2005 juga menekankan pada



akuntabilitas,



diseminasi, dan pemahaman evaluasi di dunia saat ini. Namun, esensi dari model CIPP tetap sama dan, saat ini, digunakan secara luas di Amerika Serikat



dan



di



seluruh



dunia



dalam



evaluasi



pendidikan.



Ia



mengembangkan kerangka kerja evaluasi ini untuk melayani manajer dan administrator dalam menghadapi empat jenis keputusan: a.



Evaluasi Konteks, untuk melayani rencana keputusan: Evaluasi konteks dilakukan untuk membantu merencanakan keputusan, menentukan kebutuhan apa yang akan digunakan untuk melaksanakan program dan merumuskan tujuan program (Arikunto dan Jabar, 2008). Evaluasi konteks merupakan need assessment yang merupakan evaluasi untuk menentukan kebutuhan agar



suatu



program dapat berjalan dengan baik sehingga mencapai tujuan yang diharapkan. Menentukan apa kebutuhan untuk melaksanakan Program dan program-program apa yang sudah ada yang bisa membantu dalam mendefinisikan tujuan untuk program tersebut. Evaluasi konteks, seperti namanya, terkait mempelajari konteks untuk program yang belum direncanakan: Apakah kebutuhan dan permasalahan yang dihadapi siswa atau klien? Apakah aset atau kualifikasi organisasi dapat mengatasi kebutuhan ini? Apa yang harus menjadi tujuan dan hasil yang diharapkan untuk sebuah program? Misalnya sasaran evaluasi konteks pada monitoring dan evaluasi program Lesson Study, yakni meliputi permasalahan yang dihadapi guru-guru dalam wilayah yang menjadi objek evaluasi, kelemahan yang ada pada aspek pembelajaran, media dan alat pembelajaran, aktivitas laboratorium, bahan ajar, asesmen pembelajaran, dan sebagainya. Dari hasil evaluasi konteks dapat disimpulkan bahwa misi



5



utama program Lesson Study berbasis MGMP, serta substansi inovasi yang perlu menjadi muatan kegiatan tersebut, khususnya aspek-aspek kompetensi yang perlu dikembangkan pada diri guru melalui program tersebut (Firman, dkk., 2007). b. Evaluasi Input, untuk melayani struktur keputusan : Evaluasi input dilakukan untuk membantu membuat keputusan tentang kondisi lokasi diantaranya sumber daya manusia, sarana dan peralatan pendukung, ketersediaan dana dan prosedur serta aturaaturan yang diperlukan. Penggunaan evaluasi input membantu manajer untuk memilih strategi tertentu untuk melaksanakan dan menyelesaikan masalah dan membuat keputusan tentang bagaimana penerapan program yang akan dijalankan. Menurut Arikunto dan Jabar (2014), Evaluasi masukan (input), merupakan evaluasi yang bertujuan menyediakan informasi untuk menentukan bagaimana menggunakan sumber daya yang tersedia dalam mencapai tujuan program. Evaluasi masukan meliputi analisis personal yang berhubungan dengan bagaimana penggunaan sumbersumber yang tersedia, alternatif-alternatif strategi yang harus dipertimbangkan untuk mencapai suatu program. Mengidentifikasi dan menilai kapabilitas sistem, alternatif strategi program, desain prosedur untuk strategi implementasi, pembiayaan dan penjadwalan. Misalnya pada monitoring dan evaluasi program Lesson Study, evaluasi input berfokus pada pengumpulan informasi input yang penting seperti profil siswa (antara lain kapasitas belajar, tingkat motivasi dan prestasi belajar), profil guru (antara lain latar belakang pendidikan dan pengalaman mengajar, mismatch, sikap terhadap suatu inovasi, budaya kerja sekolah), serta fasilitas belajar yang tersedia di sekolah.



Dari



evaluasi



input



dapat



disimpulkan



pendekatan



pengelolaan apa yang perlu diterapkan dalam program Lesson Study berbasis



MGMP,



model



pembelajaran



apa



yang



perlu



ditumbuhkembangkan, serta hidden agenda apa yang perlu dibawa melalui program tersebut (Firman, dkk., 2007).



6



c.



Evaluation proses, untuk melayani implemntasi keputusan : Evauasi proses dilakukan untuk melihat apakah pelaksanaan program sudah sesuai dengan strategi yang telah ditetapkan, termasuk mengidentifikasi permasalahan yang timbul pada saat pelaksanaan program. Setiap perubahan-perubahan yang terjadi pada implementasi program dimonitor secara jujur dan cermat. Pencatatan aktivitas harian penting dilakukan karena berguna pada pengambilan keputusan untuk menentukan tindak lanjut penyempurnaan dan menentukan kekuatan dan kelemahan program. Stufflebeam



(1971) juga



mengatakan bahwa evaluasi proses merupakan pengecekan yang berkelanjutan atas implementasi perencanaan. Setiap aktivitas dalam mengimplemetasikan program dimonitor perubahan-perubahan yang terjadi secara jujur dan cermat (Arikunto& Jabar, 2014). Ketika program telah dimulai, keputusan penting yang harus dibuat adalah terkait bagaimana memodifikasi pelaksanaannya. Pertanyaan kunci evaluasi



adalah: Apakah program dilaksanakan



sesuai perencanaan? Perubahan apa yang telah dilakukan? hambatan apa yang mengancam keberhasilannya? Revisi apa dibutuhkan? Ketika pertanyaan-pertanyaan ini terjawab, maka prosedur dapat dimonitor, disesuaikan, dan disempurnakan. Evaluasi proses yang dicontohkan pada pelaksanaan monitoring dan evaluasi program Lesson Study, yakni berkenaan dengan kajian seberapa jauh pelaksanaan operasional kegiatan Lesson Study di MGMP berjalan secara efektif kearah pengembangan professional guru yang diharapkan. Evaluasi proses bersifat sebagai evaluasi formatif, sehingga temuan-temuan dari evaluasi proses perlu segera disampaikan sebagai umpan balik kepada pihak-pihak terkait, khususnya manajemen program, narasumber dari perguruan tinggi, dan fasilitator MGMP, untuk ditindaklanjuti (Firman, dkk., 2007).



7



d. Evaluasi Produk, untuk melayani peninjauan ulang keputusan : Evaluasi produk merupakan penilaian yang dilakukan untuk mengukur keberhasilan dalam pencapaian tujuan yang telah ditetapkan. Data yang dihasilkan sangat menentukan apakah program diteruskan, dimodifikasi atau dihentikan (Widyoko, 2007). Evaluasi produk digunakan untuk mengukur keberhasilan pencapaian tujuan. Secara garis besar evaluasi produk



meliputi kegiatan penetapan



tujuan operasional program, kriteria-kriteria pengukuran yang telah dicapai, membandingkan antara kenyataan lapangan dengan rumusan tujuan, dan menyusun penafsiran yang rasional (Arikunto& Jabar, 2014). Pertanyaan-pertanyaan



penting



dalam



menilai



pencapaian



program adalah: Hasil apa yang diperoleh? Seberapa jauh kebutuhan berkurang? Apa yang harus dilakukan dengan program setelah hal itu berjalan? Apakah harus direvisi? Diperluas? Dihentikan? Evaluasi produk dapat dilakukan sebagaimana dicontohkan pada pelaksanaan monitoring dan evaluasi program Lesson Study yang meliputi dua aspek, yakni evaluasi keluaran (output) dan evaluasi dampak (impact). Evaluasi keluaran terarah pada hasil langsung (direct) program, baik perubahan-perubahan pada kinerja mengajar guru maupun kinerja belajar siswa yang teramati pada akhir implementasi program. Evaluasi dampak lebih bersifat monitoring terhadap keberlanjutan (sustainability) aktivitas Lesson Study pasca pelaksanaan proyek (Firman, dkk., 2007). Huruf pertama dari empat jenis evaluasi konteks, input, proses, dan produk



membentuk akronim CIPP, dimana itu merupakan model



evaluasi Stufflebeam yang paling terkenal. Tabel 1 di bawah ini merangkum fitur utama dari empat jenis evaluasi, seperti yang diusulkan oleh Stufflebeam (2005, p. 63).



8



Tabel 1. Hubungan empat jenis evaluasi dengan peran evaluasi formatif dan sumatif Peran evaluasi Evaluasi formatif: Aplikasi prospek dari informasi CIPP untuk membantu pengambilan keputusandan penjaminan mutu



Context



input



Pedoman untuk mengidentifikasi intervensi yang diperlukan dan memilih serta menentukan prioritas (berdasarkan penilaian kebutuhan, masalah, aset, dan peluang)



Panduan dan masukan untuk memilih suatu program atau strategi lain (berdasarkan penilaian strategi alternatif dan rencana alokasi sumber daya), juga untuk mengkaji rencana kerja



Process Panduan implementasi rencana operasional (berdasarkan monitoringdan penilaian aktivitas program)



Product Panduan untuk melanjutkan, memodifikasi, mengadopsi, atau menghentikan program (berdasarkan penilaian hasil dan efek samping)



Membandingkan Mencatat proses Membandingkan Evalusi Sumatif: Membandingkan tujuan dan strategi, desain yang aktual dan hasil dan efek Penggunaan prioritas untuk dan anggaran biaya, ditambah samping terhadap Retrospektif kebutuhan sasaran mengakses program untuk perbandingan (yang dan yang dapat berhubungan kebutuhan, kompetitor desain dan dikerjakan dengan dengan jaman masalah, aset, penting dan proses aktual mudah, untuk dahulu) dari dan peluang kebutuhan sasaran dan biaya) menghasilkan informasi CIPP program kompetitif; dari penerima untuk interpretasi hasil manfaat menyimpulkan terhadap upaya manfaat, pengkajian konteks, kelayakan, input, dan proses kejujuran, dan signifikansi program Sumber.Dari Evaluation Theory, Models and Applications by D.L. Stufflebeam and A.J. Shinkfield.Copyright © 2007 John Wiley & Sons.Reproduced with permission of John Wiley & Sons, Inc.



Sebagai struktur logis untuk merancang setiap jenis evaluasi, Stufflebeam (1973a) mengusulkan agar para evaluator mengikuti langkahlangkah umum sebagai berikut: a.



Memfokuskan Evaluasi 1) Identifikasi tingkat utama dari pengambilan keputusan yang akan dilayani, misalnya, lokal, negara bagian, atau nasional; kelas, sekolah atau kabupaten. 2) Untuk setiap tingkat pengambilan keputusan, proyek situasi keputusan menjadi pelayanan dan menjelaskan masing-masing dalam hal tempat, fokus, kekritisan, waktu, dan komposisi alternatif.



9



3) Tentukan kriteria untuk setiap situasi keputusan dengan menentukan variabel untuk pengukuran dan standar untuk digunakan dalam penilaian alternatif. 4) Tentukan kebijakan di mana evaluator harus beroperasi. b.



Pengumpulan Informasi 1) Menetapkan sumber dari informasi untuk dikumpulkan. 2) Menetapkan instrumen dan metode untuk pengumpulan informasi yang dibutuhkan. 3) Menetapkan prosedur sampel yang akan digunakan. 4) Menetapkan kondisi dan jadwal untuk pengumpulan informasi.



c.



Pengorganisasian Informasi 1) Menyediakan suatu format untuk informasi yang dikumpulkan. 2) Mendesain suatu sarana untuk analisis kinerja.



d.



Analisis Informasi 1) Memilih prosedur analisis yang akan digunakan. 2) Mendesain suatu sarana untuk analisis kinerja



e.



Pelaporan Informasi 1) Menentukan audiens untuk laporan evaluasi. 2) Menetapkan sarana untuk penyediaan informasi kepada khalayak. 3) Menentukan format untuk laporan evaluasi dan/atau sesi pelaporan. 4) Jadwalkan pelaporan informasi.



f.



Administrasi Evaluasi 1) Merangkum jadwal evaluasi. 2) Menentukan staf dan kebutuhan sumber daya dan rencana untuk memenuhi persyaratan ini. 3) Menentukan sarana untuk memenuhi persyaratan kebijakan untuk melakukan evaluasi. 4) Mengevaluasi potensi dari desain evaluasi untuk memberikan informasi yang valid, terpercaya, kredibel, tepat waktu, dan meresap (yang akan menjangkau semua relevan).



10



stakeholders yang



5) Menentukan dan menjadwalkan



sarana untuk memperbarui



secara periodik desain evaluasi. 6) Sediakan anggaran untuk total evaluasi program ( p .144 ). 1.1 Evolusi Pendekatan CIPP. Model CIPP memiliki daya tahan yang lebih dibandingkan dengan model evaluasi sebelumnya. Prinsip-prinsipnya tetap solid: fokus pada melayani keputusan, menilai prestasi dan kelayakan. Empat tahap program mencerminkan pentingnya konteks dalam mempertimbangkan pertanyaan evaluasi, dan penekanan pada standar dan penggunaan. Fokusnya secara tradisional pada Peningkatan program. Stufflebeam menulis bahwa tujuan paling penting evaluasi bukanlah untuk membuktikan tetapi untuk memperbaiki (2004b, IT.262). Dia mencatat bahwa modifikasinya tidak mengecualikan pembuktian sebagai tujuan, tapi untuk menyatakan bahwa tujuan utamanya adalah perbaikan. Dengan CIPP, Stufflebeam selalu menekankan penggunaan beberapa metode, baik kualitatif dan kuantitatifmetode apapun yang paling tepat untuk mengukur konstruk dari minat. Namun demikian, seperti yang Stufflebeam nyatakan pada tahun 2004, model CIPP bekerja untuk mengevauasi progres pekerjaan yang sedang berjalan (2004b, hal. 245). Pendekatan ini telah dipengaruhi oleh perubahan dalam praktek evaluasi dan pembelajaran, sebagai model yang telah diterapkan di banyak pengaturan yang berbeda selama bertahuntahun. Meskipun model CIPP asli difokuskan lebih pada manajer sebagai stakeholders utama, saat ini CIPP merekomendasikan pelibatan banyak stakeholders, meskipun fokus tetap pada keputusan. Evaluator tetap dalam kontrol yang kuat dari evaluasi, namun, Stufflebeam menulis, evaluator diharapkan untuk mencari semua kelompok stakeholders yang relevan dan melibatkan mereka dalam komunikasi dan pembangunan konsensus proses untuk membantu menentukan pertanyaan evaluasi, memperjelas kriteria evaluatif; menyumbang informasi yang dibutuhkan; dan kesimpulan dapat dipertahankan (2005, hal. 62). Stufflebeam lebih terbuka saat ini dalam menyatakan evaluasi yang terjadi dalam lingkungan politik dan menghargai nilai-nilai yang merupakan peran kunci. Dia menulis bahwa



11



sepanjang karirnya, Stufflebeam telah menjadi semakin sensitif terhadap evaluasinya alam politik. Para evaluator harus secara teratur mencari, memenangkan, dan mempertahankan kekuasaan atas evaluasi mereka untuk menjamin integritas, Viabilitas (kelangsungan hidup), dan kredibilitas mereka (2004b, hal. 261-262). Roda Stufflebeam menggambarkan dampak nilai-nilai inti dari setiap kegiatan evaluasi. Evaluasi tersebut harus didasarkan pada nilainilai yang meliputi cita-cita yang diselenggarakan oleh masyarakat, kelompok, atau individu dan memberikan dasar untuk menurunkan dan/atau memvalidasi kriteria evaluatif tertentu untuk menilai program atau



untuk



membuat



keputusan



dan



“memberikan



dasar



untuk



memilih/membangun instrumen evaluasi dan prosedur, mengakses informasi yang ada, dan keputusan evaluasi lainnya (Stufflebeam, 2004b, hal. 250).



GAMBAR 1.Komponen utama dari Model Evaluasi CIPP dan Hubungan yang terkait dengan program.Sumber: Dari TeoriEvaluasi, Model, dan Aplikasi oleh DL Stufflebeam dan AJ Shinkfieid



Hasil karya Stufflebeam dan pendekatannya telah menambahkan elemen yang berbeda dari pendekatan-pendekatan lain. Penekanannya adalah praktis, meningkatkan program melalui perbaikan keputusan. Dia telah menulis dan menganjurkan banyak alat-alat praktis, termasuk alat untuk negosiasi kontrak, penggunaan panel stakeholders untuk review dan input, pengembangan standar profesional dan metaevaluation-evaluasi dari evaluasi-evaluasi. Ia mendirikan Pusat Evaluasi di Universitas 12



Michigan Barat yang situs webnya mencakup banyak alat dan daftar periksa untuk pendekatan evaluasi dan tugas, termasuk informasi pada pengembangan anggaran, kontrak, dan perjanjian negosiasi. 1.2 Kontribusi CIPP yang signifikan Alkin dan Christie, dalam tinjauannya pada teori evaluasi, menggunakan pohon dengan tiga cabang utama, yakni penggunaan, metode, dan menilai untuk menggambarkan banyak teori evaluasi yang berbeda. Mereka menempatkan Stufflebeam pada akar "penggunaan " cabang dan menulis bahwa, model CIPP Stufflebeam adalah salah satu yang paling terkenal dari [penggunaan] teori-teori ini (2004, hal . 44). Pendekatan CIPP telah terbukti menarik bagi banyak evaluator dan manajer program, dengan pendekatan sistem yang rasional dan tertib, untuk yang berhubungan secara jelas. Memutuskan secara tepat informasi apa yang dikumpulkan adalah sangat penting. Berfokus pada kebutuhan informasi dan menunggu keputusan dari



manajer-manajer membatasi



kisaran dari data yang relevan dan membawa evaluasi ke dalam fokus yang tajam. Pendekatan evaluasi ini juga menekankan pentingnya kegunaan informasi. Menghubungkan pengambilan keputusan dan menggarisbawahi evaluasi juga tujuan dari evaluasi. Selain itu, fokus sebuah evaluasi pada keputusan dimana



manajer harus mencegah



evaluator dari penyelidikan yang tidak menarik bagi para pengambil keputusan. CIPP berperan dalam menunjukkan evaluator dan manajer program sehingga mereka tidak perlu menunggu sampai suatu kegiatan atau program telah berjalan sebelum mengevaluasinya. Bahkan, evaluasi dapat dimulai ketika ide-ide untuk program pertama sedang dibahas. Karena kehilangan peluang dan sumber daya investasi berat, evaluasi umumnya paling efektif pada akhir program pengembangan. Tapi penekanan saat ini pada hasil dan dampak telah mengurangi peran evaluasi ini pada tahap perencanaan. Namun demikian, terutama ketika tujuan yang formatif, meneliti isu-isu tentang konteks, input, dan proses dapat membantu dalam mengidentifikasi masalah-masalah sebelum mereka berkembang dan



13



dalam menyarankan solusi yang akan bekerja lebih baik pada pencapaian hasil. Sebagai contoh, studi proses dapat mengidentifikasi cara guru atau pelaksana program lain melaksanakan program, seperti penyimpangan kegiatan karena mereka tidak bekerja atau tidak layak. Menemukan metode-metode baru, memodifikasi model program untuk menyesuaikan diri dengan metode baru, dan melatih orang lain di dalamnya dapat membantu mencapai keberhasilan program. Meskipun



tahapan



program



yang



digunakan



oleh



CIPP



menunjukkan bahwa evaluasi harus fokus pada tahap program dan bahwa pertanyaan-pertanyaan yang berbeda muncul pada tahapan yang berbeda, keuntungan lain dari pendekatan ini adalah bahwa hal itu mendorong manajer dan evaluator untuk berpikir evaluasi sebagai siklus, bukan berdasarkan proyek. Seperti monitoring kinerja, mengevaluasi program pada setiap tahap dapat memberikan aliran informasi yang terus-menerus kepada para pembuat keputusan untuk memastikan bahwa program terus meningkatkan layanan mereka (Alkin & Christie, 2004, hal. 44, analisis pendekatan CIPP). Namun demikian, pendekatan pengambilan keputusan, CIPP bukan tanpa kritik. Perhatian utama adalah bahwa meskipun model saat ini mendorong partisipasi dari berbagai stakeholders, fokus biasanya pada manajer. Stakeholders lainnya, yang mungkin tidak memiliki pengambilan keputusan eksplisit terkait, tentu akan kurang mendapat perhatian dalam mendefinisikan tujuan evaluasi, sarana pengumpulan data, dan interpretasi hasil. 2. Model Evaluasi UCLA Ketika menjabat sebagai Direktur Pusat Kajian Evaluasi di UCLA, Alkin (1969) berusaha mengembangkan kerangka kerja evaluasi yang hampir sama dengan pemikiran yang dikemukakan dalam model CIPP. Kerangka kerja evaluasi yang dikemukakannya lebih popular disebut sebagai



UCLA Evaluation Model. Definisi yang dikemukakan Alkin



adalah



evaluasi sebagai proses memastikan keputusan yang menjadi



perhatian, menyeleksi



informasi



14



yang tepat, mengumpulkan dan



menganalisis informasi dalam rangka untuk melaporkan data penting yang berguna bagi para pengambil keputusan dalam memilih antara berbagai alternatif keputusan yang akan diambil. Alkin mengemukakan lima jenis evaluasi dalam UCLA, yakni: a.



Asesmen Sistem (System Assesment), yaitu sistem evaluasi program yang menyediakan informasi yang berkaitan dengan latar belakang suatu sistem (mirip dengan evaluasi konteks dalam model CIPP).



b.



Perencanaan Program



(Program Planning), membantu



dalam



pemilihan program yang lebih khusus terutama yang paling memungkinkan efektif dalam memenuhi kebutuhan pendidikan tertentu (mirip dengan evaluasi input). c.



Pelaksanaan Program (Program Implementation), menyediakan informasi tentang apakah program dilaksanakan untuk kelompok sasaran yang tepat sesuai dengan yang diharapkan;



d.



Perbaikan Program (Program Improvement), menyediakan informasi tentang bagaimana suatu program berfungsi, apakah tujuan-tujuan yang ditetapkan berusaha untuk terus dicapai, apakah ada hal-hal yang tidak diharapkan muncul (mirip dengan evaluasi proses).



e.



Sertifikasi Program (Program Certification), menyediakan informasi tentang nilai dari suatu program dan kemungkinannya untuk dipergunakan lebih jauh (mirip dengan evaluasi produk). Alkin (1990) dalam model evaluasinya membuat empat asumsi



tentang evaluasi, yaitu : a.



Evaluasi adalah proses pengumpulan informasi.



b.



Informasi yang dikumpulkan dalam suatu evaluasi digunakan terutama untuk membuat keputusan tentang alternatif program tindakan.



c.



Informasi Evaluasi harus disampaikan kepada pengambil keputusan dalam bentuk yang dapat digunakan secara efektif dan yang dirancang untuk membantu bukan membingungkan atau menyesatkan dirinya.



d.



Perbedaan jenis keputusan memerlukan perbedaan jenis prosedur evaluasi (p. 94).



15



3. Evaluasi Berfokus Manfaat (UFE) Pendekatan evaluasi yang berfokus pada manfaat (The utilizationfocused evaluation approach) yang dikembangkan Patton (1978) dalam satu aspek juga dapat dipandang sebagai pendekatan pembuatan keputusan.



Dia



menekankan



bahwa



proses



indentifikasi



dan



pengorganisasian relevansi antara pengambil keputusan dan pengguna informasi merupakan langkah pertama dalam evaluasi. Dalam pandangan dia, penggunaan hasil temuan evaluasi perlu memperhatikan pemikiran para pengambil keputusan, informasi apa yang dibutuhkan oleh kelompok sasaran, bagaimana informasi tersebut dikumpulkan, dan bagaimana disajikan kepada mereka. Beberapa ahli juga meyakini bahwa pendekatan analisis sistem termasuk sebagai pendekatan evaluasi, walaupun rentang analisisnya lebih mengarah pada penelitian/riset. Evaluasi berfokus manfaat (UFE) adalah pendekatan terkenal yang didasarkan pada dua asumsi: (a) tujuan utama dari evaluasi adalah untuk menginformasikan keputusan; dan (b) penggunaan yang paling mungkin terjadi jika evaluator mengidentifikasi satu atau lebih stakeholder yang peduli tentang evaluasi dan berada dalam posisi untuk menggunakannya. Patton menyebut yang terakhir "faktor pribadi" dan mendefinisikan sebagai kehadiran individu atau sekelompok orang yang teridentifikasi secara pribadi peduli tentang evaluasi dan temuan yang dihasilkannya (2008a, hal. 66). Faktor pribadi adalah pusat elemen UFE. Patton pertama kali mengidentifikasinya sebagai faktor penting untuk digunakan dalam studi penggunaan yang dilakukan pada pertengahan 1970-an. Dalam penelitian tersebut ia mewawancarai evaluator dan pengguna dari 20 evaluasi kesehatan federal untuk mempelajari faktor-faktor yang berkontribusi terhadap penggunaan evaluasi. Patton dan rekan-rekannya telah mengidentifikasi 11 faktor potensial dari review literatur, seperti isuisu metodologis, faktor politik, dan sifat temuan (positif, negatif, mengejutkan). Mereka menemukannya ketika ditanya tentang faktor tunggal yang paling mempengaruhi penggunaan, dua faktor yang secara



16



konsisten muncul: pertimbangan politik dan apa yang sekarang disebut Patton sebagai faktor pribadi, adanya individu atau kelompok yang peduli tentang evaluasi dan hasil-hasilnya. Pendekatan UFE Patton telah membangun temuan ini, membantu evaluator mengidentifikasi individuindividu dan bekerja sama dengan mereka untuk mencapai penggunaan. UFE menurut Patton sebagai suatu proses untuk membuat keputusan dan berfokus pada evaluasi pada tujuan penggunaannya oleh pengguna yang dimaksudkan (1994, hal. 317). Dalam edisi terbarunya, Evaluasi Berfokus Pemanfaatan, Patton mendefinisikan UFE sebagai evaluasi yang dilakukan untuk dan dengan spesifik ditujukan pada pengguna utama spesifik, penggunaan yang dimaksudkan (2008a, hal. 37). Fokus Keputusannya selanjutnya dikonfirmasi oleh definisinya tentang evaluasi: “Evaluasi program dilakukan untuk menginformasikan keputusan, memperjelas pilihan-pilihan, mengidentifikasi perbaikan dan memberikan informasi tentang program dan kebijakan dalam batas-batas yang berhubungan dengan konteks waktu, tempat, nilai-nilai, dan politik (2008a, hal. 40)”. Walaupun



Patton



melihat



UFE



sebagai



jenis



pendekatan



partisipatif, karena fokus pada bekerja dengan pemangku kepentingan utama atau kelompok pemangku kepentingan utama, ia mengakui bahwa banyak yang menempatkannya di antara pendekatan berorientasi keputusan (Patton, 1994). Pendekatan evaluasi UFE dimasukkan dalam bab ini karena fokus kepada manfaat, khususnya pada keputusan. Patton memanfaatkan keterlibatan stakeholder utama secara intensif untuk mencapai tujuan penggunaan, seperti Cousins dan Earle (1992, 1995), Greene (1988), dan lain-lain, ia percaya bahwa melibatkan para pemangku kepentingan akan meningkatkan rasa kepemilikan mereka dalam evaluasi, meningkatkan pengetahuan mereka tentang hal evaluasi dan pada akhirnya menggunakan hasil evaluasi tersebut. Langkah pertama dalam UFE berkepentingan mengidentifikasi pengguna atau para pengguna yang dimaksudkan, yang peduli terhadap studi dan hasilnya. Langkah ini, tentu saja, penting untuk mencapai faktor



17



pribadi. Mengingat fokus saat ini pada jaringan dan kerjasama, Patton menekankan bahwa kehati-hatian menganalisis stakeholder, dalam mengidentifikasi para pemangku kepentingan yang tepat dalam evaluasi, adalah hal yang sangat penting. Dia menyarankan agar memperhatikan dua faktor penting dalam mengidentifikasi stakeholder utama, yaitu: (a) minat studi, dan (b) kekuasaan dalam organisasi dan/atau kekuasaan dalam program atau kebijakan yang akan dievaluasi (Eden & Ackerman, 1998). Stakeholder yang ideal adalah yang memiliki minat studi dan memegang kekuasaan dalam organsasi, tapi stakeholder dengan minat yang studi dan memiliki hubungan dengan orang yang kuat bisa lebih berguna daripada stakeholder yang kuat dengan minat rendah atau tidak memiliki minat. Yang terakhir mungkin lalai untuk menghadiri pertemuan penting, menanggapi pesan, atau berpartisipasi dalam kegiatan organisasi, sehingga merugikan kualitas keseluruhan penelitian dan kredibilitasnya kepada orang lain dalam organisasi. Dalam usaha membantu para pengguna primer berpikir tentang kebutuhan mereka terhadap evaluasi, Patton menunjukkan bahwa ia mendorong pengguna menjadi lebih berniat dan mengetahui apa yang terjadi tentang penggunaan evaluasi selama tahap desain (2008a, hal. 146). Dia juga mengajukan pertanyaan untuk meminta para pengguna dalam membantu mereka mempertimbangkan keputusan dan kelayakan yang mempengaruhi mereka dan jenis data atau bukti yang mungkin paling berpengaruh. Tahap



selanjutnya



UFE



berkepentingan



melibatkan



para



stakeholder dalam melakukan penelitian. Bisa mencakup identifikasi pertanyaan-pertanyaan yang mereka tujukan, yang kemudian akan menjadi fokus penelitian, dan mempertimbangkan bagaimana mereka akan menggunakan informasi yang diperoleh, untuk melibatkan mereka dalam tahap desain dan pengumpulan data, memastikan mereka memahami metodologi dan bahwa pilihan yang dibuat mencerminkan nilai-nilai mereka dan menghasilkan hasil yang kredibel yang berguna bagi mereka. Pada tahap akhir, para stakeholder utama dalam UFE dilibatkan dalam



18



menafsirkan hasil dan membuat keputusan tentang pertimbangan, rekomendasi, dan diseminasi. Sifat interaksi antara evaluator dan pengguna utama selama tahap ini sangat penting dalam menjamin faktor pribadi. Evaluator mengembangkan hubungan dengan pengguna utama untuk memenuhi kebutuhan mereka dan mempertahankan minat mereka dalam evaluasi. Ada beberapa kesamaan dalam tahap ini dengan pendekatan evaluasi partisipatif praktis (PPE) seperti Cousins dan Earl (1992, 1995). Perbedaan dalam model UFE adalah tahap awal seleksi stakeholder dan fokus, pada tahap itu, dimaksudkan untuk penggunaan tertentu. Meskipun Cousins dan Earl memilih stakeholder untuk meningkatkan penggunaan, mereka mempertimbangkan istilah penggunaan yang lebih luas mencakup belajar dari partisipasi dalam proses evaluasi (penggunaan proses), penggunaan konseptual (pengetahuan yang didapat yang dapat digunakan di masa depan), dan mengorganisasi pembelajaran. Demikian pula, evaluasi pemberdayaan Fetterman mempertimbangkan self-determination, dan dewasa ini berkelanjutan organisasi belajar melalui sistem evaluasi untuk menjadi kegunaan utama. Dalam fokusnya pada instrumental, atau penggunaan langsung, UFE Patton mirip model CIPP Stufflebeam, meskipun CIPP fokus pada tahap program dan keputusan, Patton fokus pada pengambil keputusan dan berdialog dengan mereka untuk menentukan keputusan apa yang akan mereka buat. Penekanan Patton pada pendekatan personal dan hubungan juga agak berbeda dari pendekatan CIPP. Tumpuan UFE menurut Patton adalah perubahan staf atau pergantian pengguna utama yang dituju dalam evaluasi ini. Sebagai strategi pencegahan, Patton mengusulkan lebih dari satu pengguna utama, idealnya satuan tugas dari pengguna utama, dan memberikan cukup waktu dalam pemembinaan untuk pengganti sementara jika pengguna utama dimaksudkan diganti (Patton, 2008a). Kritik lain dari pendekatan menyangkut penekanan Patton pada penggunaan instrumen oleh seorang individu atau kelompok kecil dan



19



pandangannya tentang bagaimana keputusan dibuat. Carol Weiss dan Michael Patton telah berdebat sengit di tahun 1980-an tentang masalah ini. Dia berpikir pengambilan keputusan Patton terlalu disederhanakan dengan fokus pada sedikit/beberapa pengguna utama dan tidak mengubah konteks dan keputusan. Studi penggunaan menemukan bahwa hal itu komplek, tetapi saran dari



nilai pendekatan Patton, dituliskan Alkin sebagai berikut dalam



review penelitian tentang penggunaan evaluasi: “Mungkin yang paling berpengaruh dari faktor-faktor evaluasi yang diidentifikasi oleh peneliti adalah evaluator….mungkin lebih penting dari keahlian dan kredibilitas evaluator adalah karakteristik pribadinya, seperti kepribadian dan gaya. Kemampuan untuk mengembangkan hubungan yang baik dengan pengguna dan melibatkan pengguna dalam evaluasi adalah kunci jika pemanfaatan terjadi. (2005, hal. 455)" Perbedaan yang lain antara Weiss dan Patton adalah dalam konteks evaluasi tersebut. Karya Weiss terutama berhubungan dengan pejabat pemerintah tingkat tinggi, seperti anggota konggres dan kabinet federal, yang berurusan dengan banyak masalah dan terlalu sibuk untuk terlibat, atau sangat tertarik, dalam satu evaluasi tertentu. Karya Patton lebih kepada program yang sebenarnya sedang dievaluasi. Alkin (2005) mencatat konteks juga merupakan faktor penting dalam penggunaan, dan seseorang dapat dengan mudah melihat bagaimana dua konteks yang berbeda ini akan menyebabkan berbagai jenis keterlibatan stakeholder dan penggunaan hasil. 4.



Asesmen Evaluabilitas dan Monitoring Kinerja Para ahli evaluasi seperti Joseph Wholey, Michael Patton dan Daniel Stufflebeam, telah menunjukkan keahliannya dalam dunia evaluasi selama bertahun-tahun. Karya Stufflebeam, terutama di bidang pendidikan. Patton berkaitan dengan program individu di sekolah dan dalam pengaturan kesejahteraan sosial. Sedangkan Wholey dengan pemerintah federal, dimulai dengan karyanya di Departemen Kesehatan, Pendidikan, dan Kesejahteraan (HEW) pada 1970-an. Fokus Wholey



adalah



pengambilan keputusan kebijakan federal. Tujuannya adalah untuk



20



memperbaiki keputusan. Oleh karena itu, Wholey telah mengembangkan beberapa metode evaluasi selama bertahun-tahun untuk meningkatkan pemanfaatan evaluasi. Asesmen Evaluabilitas dikembangkan oleh wholey dimaksudkan untuk mencegah evaluasi yang mahal yang dilakukan ketika program tidak siap untuk dievaluasi. Wholey fokus pada hasil program (Wholey, 2004a, 2004b). Pada kenyataannya, sebagian besar pembuat keputusan-pembuat kebijakan federal tidak mengoperasikan program, dan dengan demikian tidak



membuat



keputusan



formatif



untuk



peningkatan



program;



sebaliknya, mereka membuat keputusan sumatif tentang pendanaan program, memulai, dan melanjutkan (M. Smith, 2005). Kerja Wholey di tingkat federal yang disajikan kontras dengan pendekatan CIPP dan UFE, yang dirancang untuk bekerja dengan pembuat kebijakan dan manajer yang dekat dengan program yang sedang dievaluasi. Selama awal bekerja dengan HEW, ia dan rekan khawatir bahwa banyak evaluasi yang tidak digunakan. Satu alasan untuk tulisan mereka, adalah bahwa orang-orang melaksanakan program tidak punya kesempatan untuk menyelesaikan masalah, untuk secara jelas mendefinisikan apa yang mereka lakukan, untuk mencobanya, dan untuk mempertimbangkan informasi apa yang mereka butuhkan dari evaluasi. Kedepan, ia mengusulkan asesmen evaluabilitas untuk membantu meningkatkan kemungkinan bahwa jika evaluasi dilakukan pada program, nyatanya siap untuk evaluasi. Agar siap untuk dievaluasi, asesmen evaluabilitas dirancang untuk menentukan berikut: 1. Apakah tujuan dan sasaran program ditentukan dengan jelas? 2. Apakah aktivitas program secara layak bisa mencapai tujuan yang dimaksud? 3. Apakah manajer program tertarik pada perbaikan program? Evaluator kemudian bekerja dengan manajer program, mengamati program, membaca materi, melakukan wawancara, dan melakukan kegiatan lain untuk menentukan apakah kriteria tersebut dipenuhi.



21



Asesmen Evaluabilitas menurun setelah Wholey meninggalkan HEW (lihat Rog, 1985; M. Smith, 2005), tetapi kita telah memilih untuk memperkenalkannya disini karena mengilustrasikan penggunaan metode berorientasi keputusan dalam konteks yang sangat berbeda. Smith (1989) kemudian



mengembangkan



dan



berhasil



menerapkan



asesmen



evaluabilitas di Departemen Pertanian AS, tapi mencatat bahwa, saat ini, metode telah disesuaikan dengan evaluasi berbasis teori dan pendekatan partisipatif (Smith, 2005). Dengan demikian, asesmen evaluabilitas meletakkan dasar bagi pentingnya pemahaman teori program (langkah 1 dan 2 proses) dan memahami kebutuhan pembuat keputusan (langkah 3). Wholey terus aktif bekerja dalam evaluasi sejak tahun 1960-an dan sekarang, penekanannya jauh lebih formatif. Pada tahun 2004, mungkin merefleksikan



kegagalan



awal



evaluasi



sumatif



pada



HEW,



ia



menulis:."Karena keputusan kebijakan dipengaruhi oleh begitu banyak masukan, kebijakan diimplementasikan melalui program dan program cenderung mandek. Saya sangat tertarik dalam penggunaan evaluasi untuk meningkatkan



kinerja



program



"(2004a,



hlm.267-268).



Kalimat



pertamanya mengungkapkan pengakuan bahwa evaluasi sumatif di tingkat federal



jarang



berhasil



untuk



mempengaruhi



keputusan



tentang



keberlanjutan program. Terlalu banyak faktor lain di tempat kerja. Oleh karena itu, fokusnya sekarang, seperti Stufflebeam dan Patton, adalah pada evaluasi formatif. Evaluasi Kerja Wholey saat ini berhubungan dengan sistem monitoring kinerja sebagai sarana untuk memperbaiki pengambilan keputusan dalam organisasi. Sistem monitoring kinerja secara rutin mengumpulkan data tentang output atau outcome program. Tidak seperti kebanyakan studi evaluasi, pemantauan kinerja adalah berkelanjutan. Hal ini tidak didasarkan pada program atau proyek tertentu, tetapi adalah sebuah sistem yang mengumpulkan, memelihara, dan menganalisis data kinerja untuk manajer dengan maksud menggunakannya untuk melayani penagmbilan keputusan dan meningkatkan kinerja organisasi. Wholey melihat monitoring dan evaluasi kinerja sebagai "saling menguatkan"



22



(2004a, hal. 268). Sistem monitoring kinerja harus mendorong manajer untuk menjadi terbiasa menggunakan data. Mereka harus, kemudian, akan lebih mudah menerima studi evaluasi terhadap program atau inisiatif tertentu. Evaluasi, pada kenyataannya dimulai ketika manajer menjadi bermasalah disebabkan adanya data mengecewakan dari sistem monitoring kinerja. Mereka mungkin bertanya: Mengapa kita tidak mencapai tujuan kita? Sistem monitoring kinerja dapat menjadi masalah jika mengalihkan perhatian dan sumber daya untuk indikator kinerja yang tidak terlalu berarti untuk manajer atau staf program. Seperti Catatan Wholey bahwa monitoring



kinerja



terutama



berguna



ketika



indikator



kinerja



dikembangkan, diuji, dan disempurnakan dengan partisipasi dari manajer program, staf, dan stakeholder utama lainnya dan digunakan dalam sistem manajemen berorientasi pada hasil (2004a, hal. 268). Dalam bab ini diperkenalkan



karya



Wholey



dan



anjuran/pembelaannya



tentang



monitoring kinerja yang dimaksudkan sebagai pendekatan berbasis keputusan untuk membawa managemen program yang lebih baik. Meskipun evaluasi telah berkembang secara periodik, aktivitas berbasis proyek, banyak evaluator telah berbicara tentang evaluasi sebagai proses yang berkelanjutan untuk mencapai pembelajaran dalam organisasi (Preskill & Torres, 1998; Torres & Preskill, 2001; Owen & Lambert, 1998). Monitoring kinerja, yang dilakukan dengan benar, dapat menjadi salah satu alat dalam proses tersebut. (Lihat Foisiter, 2004; Wholey, 1999a, 1999b, 2001, 2003) 2.3 Bagaimana Pendekatan Evaluasi Berorientasi Keputusan Telah Digunakan Masing-masing pendekatan kontemporer/modern yang dijelaskan di sini (model CIPP, UFE, dan monitoring kinerja) telah digunakan secara luas di Amerika Serikat dan Kanada dan di seluruh dunia. Model CIPP telah digunakan secara luas di sekolah dan instansi pemerintah negara bagian dan federal. Panduan untuk evaluasi program sekolah mengikuti langkah-langkah CIPP telah diterbitkan oleh Sanders dan Sullins (2005). UFE juga terus menjadi model yang populer; Patton menerbitkan edisi keempat bukunya pada tahun 2008. Akhirnya,



23



seperti yang ditulis dalam pendahuluan buku ini, monitoring kinerja



telah



menjadi wajib di banyak instansi pemerintah dan sekolah-sekolah. Penggunaan monitoring kinerja untuk perbaikan, bagaimanapun, tidak merata karena seringkali data yang dikumpulkan tidak relevan dengan program tertentu. Hal ini digunakan terutama untuk akuntabilitas ketimbang perbaikan program. Namun, pengambilan keputusan berbasis data berkembang di banyak kabupaten sekolah dan organisasi. 2.4 Kekuatan dan Keterbatasan Pendekatan Evaluasi Berorientasi Keputusan Pendekatan berorientasi keputusan adalah salah satu pendekatan evaluasi tertua, tetapi masih sering digunakan. Orang-orang masih menulis tentang mereka dan menggunakan mereka sebagai panduan untuk merancang evaluasi individu atau sistem evaluasi. Umur panjang mereka berbicara tentang keberhasilan mereka. Menggunakan berbagai cara mengartikulasikan tahapan program dan kebutuhan informasi potensial di setiap tahap, mengidentifikasi dan menjelaskan faktor pribadi, atau mempertimbangkan kebutuhan informasi yang sedang berlangsung. Stufflebeam, Patton, dan Wholey telah mengembangkan model yang berhasil karena mereka menyediakan informasi yang membantu orang, biasanya manajer atau pembuat kebijakan, membuat keputusan. Itu niat mereka, dan mereka telah berhasil. Salah satu kritik dari pendekatan berorientasi keputusan adalah, ironisnya, mereka fokus pada keputusan. Meskipun Stufflebeam telah memperluas pendekatan CIPP melibatkan banyak stakeholder, kritikus berpendapat bahwa pendekatan ini cenderung mengabaikan stakeholder dengan daya yang lebih kecil (House & Howe, 1999). Keadilan sosial dan kesetaraan bukan nilai yang secara langsung ditangani oleh model berorientasi keputusan. Sebaliknya, para pendukung ini mungkin berpendapat, pendekatan mereka bekerja untuk memperbaiki program-program yang dapat melayani para stakeholder. Meskipun demikian, fokus pada manajer dan kebutuhan informasi mereka dapat membatasi informasi yang dicari evaluator, jenis data yang mereka kumpulkan, dan penyebarluasan hasil. Jika tidak dilakukan dengan hati-hati, evaluator dapat menjadi "senjata sewaan" dari manajer dan pembuat program. Tapi, seperti ditekankan oleh



Stufflebeam, model CIPP dinilai dengan



24



kepatuhan terhadap Standar Komite Bersama, dan ini menekankan masukan dari stakeholder yang luas. Dalam CIPP dan UFE, evaluator bertanggung jawab atas evaluasi dan, meskipun fokus pada keputusan stakeholder utama, sering menggunakan kelompok penasihat atau mencari informasi dari stakeholder lain untuk melengkapi keputusan tentang evaluasi. Kelemahan potensial pendekatan ini adalah terkadang ketidakmampuan evaluator untuk menanggapi pertanyaan atau masalah yang mungkin signifikan bahkan kritis tapi hal itu bentrok dengan atau setidaknya tidak cocok dengan perhatian dan pertanyaan dari pembuat keputusan yang sebagai target utama untuk penelitian. Selain itu, program yang kurang memiliki kepemimpinan yang tegas tidak mungkin memperoleh manfaat dari pendekatan evaluasi ini. Akhirnya, pendekatan evaluasi ini mengasumsikan bahwa keputusan penting dan Informasi untuk membuatnya dapat diidentifikasi secara jelas dari awal dan bahwa keputusan, program, dan konteksnya akan tetap cukup stabil sementara evaluasi sedang dilakukan. Semua asumsi ini tentang keteraturan dan prediktabilitas dari proses pengambilan keputusan perlu dicurigai dan sering tidak beralasan. Evaluator harus siap untuk sering menilai kembali dan membuat penyesuaian untuk perubahan. Seperti yang dicatat Patton dalam pekerjaan barunya dalam evaluasi perkembangan, lingkungan organisasi dapat dinamis (Patton, 2009)



25



BAB III KESIMPULAN 1. Pendekatan berorientasi keputusan dikembangkan untuk fokus secara langsung pada keputusan, biasanya keputusan manajer dan pembuat kebijakan, untuk meningkatkan penggunaan. 2. Model CIPP Stufflebeam menggambarkan empat tahap program yaitu konteks, input, proses, dan produk. Jenis keputusan manajer atau pembuat kebijakan akan dihadapi pada setiap tahapan. Menggunakan tahapan dan keputusan yang disarankan, evaluator bekerja dengan manajer program atau komite pengarah stakeholder untuk menentukan concerns (fokus) pembuat keputusan,



kebutuhan



informasi,



dan



kriteria



untuk



efektivitas



pengembangkan evaluasi. 3. Pendekatan UFE Michael Patton mencoba menghasilkan evaluasi yang memperbaiki keputusan dengan menggunakan faktor-individu yang memiliki kepentingan dalam evaluasi dan kekuasaan untuk membuat keputusan. UFE mengidentifikasi para pengguna dimaksudkan untuk merencanakan dan melaksanakan evaluasi. Evaluator membangun hubungan personal dengan calon pengguna, yang memungkinkan memahami keputusan mereka dan merancang evaluasi untuk menghasilkan keputusan dan nilai-nilai dan cara pemahaman terbaik mereka. 4. Joseph Wholey merancang Asesmen evaluabilitas untuk mempengaruhi keputusan tentang apakah untuk melaksanakan evaluasi dengan menentukan apakah evaluasi bisa bermanfaat pada waktu itu. Asesmen evaluabilitas dipengaruhi beberapa pendekatan berbasis teori dan partisipatif. Joseph Wholey menganjurkan sistem monitoring kinerja untuk memberikan informasi output dan outcome berkelanjutan untuk manajer dan untuk memfasilitasi evaluasi dan keputusan berbasis data.



26



DAFTAR PUSTAKA Alkin, Marvin C and Woolley, Dale C. (1969). A Model for educational evaluation. A paper prepared for the PLEDGE coference, October 8-11, San Dimas. Arikunto, S. dan Jabar, C.S.A. (2004).Evaluasi program pendidikan. Jakarta. Bumi Aksara. Firman, H., dkk. (2007). Monitoring dan evaluasi program Lesson Study. Bandung. UPI Press. Fitzpatrick, J.L., Sanders, J.R., and Worthen, B.R. (2012). Program evaluation alternative approach and practical guidelines. (4th. ed.). New Jersey.Pearson Education Inc. Patton, M. Q. (2008). Utilization-focused evaluation(4th ed.). Thousand Oaks, CA: Sage. Stufflebeam, D. L. (2000).The Model CIPP for evaluation. In D.L. Stufflebeam, G.F.Madaus,& T Kelleghan (Eds.). Evaluation models: View¬points on educational and human services evaluation (2nd ed.). pp 274-317. Boston: Kluwer. Stufflebeam, Daniel. L. (1971). The Relevance of the CIPP evaluation Model for educational Accountability. Paper presented at the annual meeting of the American Association of school administrators. Atlantic city, February 24, 1971 Widoyoko, P.E, (2016). Evaluasi Program Pembelajaran. Yogyakarta. Pustaka Pelajar.



27