Evaluasi Program ROI [PDF]

Citation preview

Model Evaluasi Program Pengembangan Kirkpatrick (Reaction, Learning, Behavior, Result & ROI) by: Jack J. Phillips Oleh: Aris Try Andreas Putra Mahasiswa Program Penelitian & Evaluasi Pendidikan PPs Universitas Negeri Jakarta Angkatan 2011, email: [email protected]



A. Pengantar Pelatihan



merupakan



salah



satu



kebutuhan



yang



penting



bagi



keberlangsungan sebuah institusi/ lembaga. Beberapa alasan yang mendasari hal ini adalah adanya pandangan dan hasil-hasil penelitian yang mengatakan bahwa pelatihan dapat meningkatkan nilai tambah bagi seorang dan bukan saja menjadi suatu tujuan untuk mempengaruhi kinerja jangka pendek. Selain itu masyarakat dibeberapa negara, termasuk indonesia berpandangan bahwa terdapat hubungan positif antara pelatihan dengan pendidikan. Institusi-institusi pendidikan juga sering memilih pelatihan sebagai salah satu strategi untuk meningkatkan kualitas kinerja pendidik dalam tenaga kependidikan dalam rangka mencapai tujuan pendidikan. Sayangnya investasi yang besar untuk program pelatihan terkadang tidak diikuti dengan efektifitas dan evaluasi pelatihanya itu sendiri. Secara khusus, Kirkpatrick (2006) mengemukakan alasan mengapa suatu pelatihan perlu dievaluasi. Pertama, evaluasi dilakukan untuk mengetahui apakah pelatihan dapat memberikan kontribusi terhadap pencapaian tujuan organisasi atau tidak. Kedua, pelatihan juga perlu dievaluasi untuk memutuskan apakah program pelatihan tersebut perlu dilanjutkan atau tidak. Ketiga, evaluasi pelatihan digunakan untuk mendapatkan informasi mengenai bagaimana peningkatan dan pengembangan program pelatihan yang akan datang. Oleh karena itu, dana yang telah diinvestasikan dalam jumlah besar untuk suatu program pelatihan mendorong munculnya suatu kebutuhan akan proses evaluasi terhadap keefektifan program



Aris Try Andreas Putra@ PPs UNJ – PEP 2012



1



pelatihan yang dilaksanakan. Untuk tujuan evaluasi ini, pengukuran menjadi sesuatu yang penting. Untuk mengevaluasi program pelatihan yang telah dilakukan oleh suatu lembaga atau institusi, banyak model yang dipakai oleh para evaluator seperti, evaluasi program model CIRO, model Kirkpatrick, model pengembangan kirkptrick dan sebagainya. Namun dalam paper ini, penulis hanya akan menyajikan evaluasi program pelatihan pengembangan kirkpatrick yang dirumuskan oleh Jack J. Phillips beserta implementasinya dalam dunia pendidikan. B. Pengertian dan Dasar Perlunya Evaluasi Pelatihan 1. Pengertian Menurut Noe (2002) Evaluasi pelatihan merupakan proses mengumpulkan hasil-hasil yang diperlukan untuk menentukan apakah suatu pelatihan efektif atau tidak. Alvarez, evaluasi pelatihan adalah teknik pengukuran untuk mengetahui sejauh mana mana program pelatihan memenuhi tujuan-tujuan yang diinginkan. sBerdasarkan penjelasan di atas, dapat disimpulkan bahwa evaluasi pelatihan berfokus pada hasil-hasil pelatihan yang kemudian dibandingkan dengan tujuan awal penyelenggaraan program pelatihan. 2. Dasar Perlunya Evaluasi Pelatihan Menurut Jack J. Phillips (1997), ada beberapa alasan mengapa sebuah perusahaan melakukan evaluasi pelatihan. Pertama, evaluasi program pelatihan dapat memberikan diagnostik kepada institusi/organisasi tentang bentuk revisi yang harus dilakukan terhadap program pelatihan yang telah berjalan agar mampu untuk mencapa tujuan yang diinginkan. Kedua, evaluasi program pelatihan dapat memeberikan keuntungan yang positif, dan ketiga evaluasi program pelatihan akan mempengaruhi keputusan untuk menentukan alternatif program dan peserta yang akan dipersiapkan untuk masa yang akan datang. Singkatnya adalah, evaluasi pelatihan memberikan sebuah cara untuk memahami investasi yang dihasilkan dari pelatihan dan memberikan informasi yang diperlukan



untuk



meningkatkan



pelatihan.



Jika



instutusi



tertentu



tidak



mendapatkan tingkat pengembalian yang cukup dari investasi itu, maka perusahaan berkemungkinan mengurangi investasi program pelatihan itu atau Aris Try Andreas Putra@ PPs UNJ – PEP 2012



2



mencari cara lain untuk memperbaiki program pelatihan tersebut. Dengan demikian penyelenggaraan pelatihan tidak hanya sekedar pelatihan saja, tetapi dengan jutaan dana yang telah dikeluarkan pelatihan dapat meberikan manfaat bagi individu dan perusahaan. C. Kriteria yang Digunakan untuk Evaluasi dan Efektivitas Pelatihan 1. Kriteria Evaluasi Pelatihan Training outcome atau kriteria merujuk pada ukuran-ukuran yang pelatih gunakan untuk mengevaluasi suatu program pelatihan. Banyak praktisi dan peneliti yang berpendapat bahwa kriteria yang ada dalam model evaluasi empat level kirkpatrick terlalu sederhana. Untuk itu dikembangkan beberapa kriteria tambahan seperti motivasi dan Return of Investment (ROI) sebagai pelengkap kriteria dasar yang sudah ada dalam model awal evaluasi pelatihan kirkpatrick, yang dirumuskan oleh Jack J. Phillips. Berikut ini beberapa kriteria yang digunakan untuk mengukur pelatihan: 1. Affective out come, yang meliputi motivasi, reaksi dan keputusan partisipan akan program pelatihan 2. Cognitive outcome, yaitu perolehan pengetahuan akibat pelatihan 3. Skill-based outcome, yaitu peningkatan perilaku juga kemampuan serta keterampilan akibat pelatihan 4. Result, hasil-hasil bisnis yang dicapai oleh organisasi 5. Return of Investment (ROI), merujuk pada perbandingan manfaat moneter dari suatu pelatihan dengan biaya pelatihan. Dengan mengetahui hasil-hasil pelatihan dari evaluasi pelatihan maka dapat diketahui sampai sejauh mana pelatihan memberikan keefektivisannya. 2. Evektivitas Pelatihan Pada umumnya suatu program pelatihan dikatakan efektif jika hasil dari pelatihan itu dapat memberikan manfaat bagi peserta dan perusahaan. Manfaat bagi peserta pelatihan dapat mencakup pembelajaran, keahlian, perubahan perilaku baru, sedangkan manfaat bagi perusahaan adalah dapat mencakup peningkaan penjualan dan peningkatan kepuasan konsumen. Namun pencapaian



Aris Try Andreas Putra@ PPs UNJ – PEP 2012



3



keefektivitasan dari pelatihan tidak hanya sampai disitu. Menurut Alvarez et. Al, efektivitas dari suatu pelatihan merupakan pendekatan teoritikal untuk memahami hasil yang diperoleh akibat suatu program pelatihan. Fokus efektivitas pelatihan terletak pada sistem pembelajaran secara keseluruhan, sehingga temuan-temuan dalam keefektivitasan dalam pelatihan menunjukan bahwa mengapa ada hasilhasil yang dapat mencapai tujua pelatihan dan mengapa ada hasil yang tidak mencapai tujuan. Efektivitas pelatihan tidak hanya dilihat dari hasil pelatihan yang dirasakan individu ataupun bagi organisasi. Efektivitas pelatihan dipengaruhi oleh proses sebelum diselenggarakannya pelatihan selama penyelenggaraan sampai sesudah pelatihan. Dengan demikian langkah awal dalam proses penyelenggaraan pelatihan, yaitu analisis kebutuhan pelatihan merupakan faktor penting bagi efektivitas pelatihan. Berangkat dari analisis kebutuhan pelatihan tersebut selanjutnya dapat menentukan materi, metode pelatihan yang tepat. D. Model Evaluasi Pengembangan Kirkparick oleh Jack J Phillips (Reaction,



Learning, Behavior, Result & ROI) 1. Model Pengembangan Krikpatrick Model evaluasi pengembangan kirkpatrick yang dirumuskan oleh Jack J. Philips memuat komponen-komponen sebagai berikut: 1. Reaction



(reaksi)



pengembangan



adalah



level



krikpatrick,



yang



pertama berguna



dari untuk



evaluasi



pelatihan



mengetahui



tingkat



kepuasan dan reaksi dari peserta pelatihan, antara lain berkenaan dengan: penyelenggaraan pelatihan, proses pelatihan dan materi pelatihan. 2. Learning (belajar) adalah level ke dua evaluasi pengembangan kirkpatrick, yang merupakan tahapan di mana peserta diuji secara tertulis untuk mengetahui sejauh mana materi pelatihan telah diterima oleh mereka. Dengan kata lain, evaluasi terhadap hasil pelatihan yang diantaranya: pengetahuan,



perubahan



sikap



dan



psikomotorik



peserta



pelatihan.



Pengukuran dapat dilakukan selama atau setelah pelatihan. 3. Behavior (Perilaku) adalah level ketiga yang menggambarkan perilaku peserta pelatihan setelah mengikuti program pelatihan yang ditunjukkan Aris Try Andreas Putra@ PPs UNJ – PEP 2012



4



pada tempat kerja/ tugas mereka. Pengukuran terhadap behavior biasanya dilakukan setelah kembali ketempat kerja masing-masing (sekitar 1-3 bulan). 4. Result (hasil) adalah level ke empat, yang menggambarkan dampak perubahan kinerja peserta pelatihan yang ditunjukkan pada lembaga tempat kerja baik itu peningkatan produktivitas, prestasi dan sebagainya. Biasanya pegukuran hasil dari pelatihan membutuhkan selang waktu setelah pelatihan relatif lama, sesuai dengan dampk apa yang diharapkan oleh institusi. 5. Return On Investment (ROI), adalah suatu ukuran dalam bentuk keuntungan moneter yang diperoleh oleh suatu organisasi setelah jangka waktu tertentu sebagai timbal balik terhadap investasi suatu program pelatihan. ROI dihitung berdasarkan estimasi atau data terhadap biaya maupun keuntungan yang berhubungan dengan program pelatihan. Dengan memanfaatkan ROI ini, unit bisnis dapat secara efektif mengalokasikan sumber daya yang ada untuk meningkatkan kinerja dan mendorong keberhasilan suatu organisasi. Dalam dunia pendidikan perhitungan ROI dapat dibandingkan dengan mengkonversi data kinerja peserta pelatihan dengan mengansumsikannya bahwa peningkatan kinerja merupakan aset yang tidak terhitung kepada nilai moneter. empat langkah mengukur ROI pelatihan, yaitu: (1) mengisolasi pengaruh pelatihan terhadap hal-hal diluar pelatihan, (2) mengkonversi pengaruh-pengaruh pelatihan ke dalam bentuk moneter, (3) menghitung biaya pelatihan, dan (4) membandingkan biaya pelatihan dengan nilai tambah moneter yang diperoleh sebagai hasil pelatihan. Berikut ini gambar Model ROI:



Sumber: Jack J Phillips, 1997 Aris Try Andreas Putra@ PPs UNJ – PEP 2012



5



2. Menghitung Biaya Pelatihan Tahap ini sering disebut sebagai analisis biaya-manfaat (cost-benefit analysis). Analisis biaya-manfaat dalam perhitungan ROI adalah proses menentukan nilai ekonomis dari suatu program pelatihan dengan menggunakan metode akuntansi. Menentukan nilai ekonomis dari suatu program pelatihan meliputi perhitungan biaya pelatihan (cost) dan hasil (benefits ) yang didapat setelah mengikuti program pelatihan. Dalam menghitung biaya suatu program pelatihan, jangan lupa untuk memperhitungkan biaya- biaya tidak langsung, seperti penggunaan material, peralatan, ruangan, dan sebagainya. Contoh biaya yang terlibat dalam program pelatihan: Pengembangan modul-perancangan, penulisan, ilustrasi, validasi tes dan instrumen evaluasi. Membandingkan Biaya Pelatihan dengan Nilai Tambah Moneter, dengan rumus ROI adalah sebagai berikut:



Keterangan: 1. Net Program Benefits adalah program benefits dikurangi total incurred costs. 2. Program benefits merupakan sejumlah keuntungan yang diperoleh karena elakukan investasi. 3. Total incurred costs merupakan biaya yang dikeluarkan sebagai investasi. Rumus ROI ini diturunkan dari rumus BCR (Benefits/Cost Ratio).



Aris Try Andreas Putra@ PPs UNJ – PEP 2012



6



Nilai ROI yang didapat ini kemudian dianalisis dan dimanfaatkan sebagai salah satu hal penting dalam pengambilan keputusan maupun perbaikan dan pengembangan program pelatihan. Menurut Jack J. Phillips, salah satu metode yang paling mudah digunakan adalah memperoleh data berdasarkan perkiraan dari participant (eks‐peserta) training itu sendiri, yaitu dengan menggunakan metode Participant Estimate. Efektivitas pendekatan ini terletak pada asumsi bahwa



participant memiliki



kemampuan untuk menentukan atau memperkirakan seberapa besar peningkatan kinerja yang dialaminya itu terkait dengan program training yang diikutinya. Participant seharusnya merupakan pihak yang paling mengetahui seberapa besar perubahan yang disebabkan oleh pengaplikasian program training dalam pekerjaannya sehari‐hari. Lebih jauh lagi, Phillips juga berpendapat bahwa meskipun hanya merupakan estimasi, nilai yang



yang



diperoleh



biasanya



memiliki



kredibilitas



tinggi, terutama mengingat participant berada di tengah‐tengah



perubahan atau peningkatan kinerja yang terjadi. Pemikiran ini pula, di



samping pertimbangan faktor biaya dan waktu, yang mendasari pemilihan metode Participant Estimate. Sementara itu, terdapat pula kelemahan dari pendekatan ini yaitu adanya unsur subyektivitas responden dalam memberikan perkiraan besarnya kontribusi masing‐masing faktor. Hal yang dapat



dilakukan untuk mengurangi pengaruh subyektivitas ini adalah dengan menanyakan seberapa jauh tingkat keyakinan (level of confidence) responden dalam memberikan perkiraannya tersebut. Namun, sebelum menetapkan metode mana



yang akan digunakan, Phillips juga menekankan



perlunya



terlebih



dahulu diidentifikasi faktor‐faktor apa saja yang memiliki kontribusi terhadap perubahan yang terjadi setelah program training diselenggarakan. 3. Mengkonversi Pengaruh-pengaruh Pelatihan ke dalam Nilai Moneter & Tahapannya a. Mengkonversi Pengaruh-pengaruh Pelatihan ke dalam Nilai Moneter Pengaruh atau nilai tambah yang diperoleh sebagai hasil dari program pelatihan harus selalu diidentifikasi, dipilah, dan dikonversikan ke dalam bentuk Aris Try Andreas Putra@ PPs UNJ – PEP 2012



7



moneter. Perubahan terhadap kinerja karyawan sebaiknya dinilai dengan melibatkan berbagai pihak seperti supervisor, direktur, manajer, dan pihak lain dalam organisasi. Keputusan dengan melibatkan berbagai pihak akan jauh lebih objektif ketimbang menyerahkan semua penilaian kepada Manajer Sumber Daya Manusia. Pengaruh dapat bersifat terlihat (tangible) atau tak terlihat (intangible), dan biasanya disebut sebagai hard data dan soft data. Hard data bersifat kuantitatif, statistikal, berorientasi angka dan dengan mudah dapat dikonversikan ke dalam bentuk moneter. Soft data lebih bersifat kualitatif dan lebih sulit diukur dan dikonversikan ke dalam bentuk uang. Contoh soft data dapat berupa peningkatan kepuasan kerja, peningkatan komitmen organisasi, peningkatan komunikasi antar karyawan berbeda lini, dan sebagainya. b. Tahap Konversi Data Menjadi Monetary Values Mengonversi data business results ‐ yang diperoleh dari evaluasi Level 4 menjadi monetary values



pada



dasarnya



merupakan



tahap



awal



untuk



mengekspresikan dampak training dalam ukuran finansial. Sebagaimana telah dikemukakan



sebelumnya,



pengekspresian dalam ukuran finansial ini telah



menjadi bahan perdebatan para peneliti mengenai mungkin tidaknya



hal



tersebut dilakukan, meskipun pada umumnya mereka sepakat bahwa evaluasi tentang efektivitas training memang akan memberikan hasil yang lebih nyata bagi perusahaan apabila dapat diukur secara finansial. Jack J. Phillips (2002) membedakan business results kategori data, yaitu hard data dan soft data.



Hard



data



dalam dua merupakan



pengukuran‐pengukuran kinerja usaha yang umum digunakan serta memiliki obyektivitas yang tinggi dan relatif lebih mudah diukur. Menurutnya, contoh hard data antara lain output yang dihasilkan, tingkat penjualan, biaya, atau waktu kerja yang digunakan. Sementara itu, soft data lebih subyektif, sukar untuk dikuantifisir, dan memiliki tingkat kepercayaan yang lebih rendah dibandingkan dengan hard data. Contoh soft data antara lain tingkat kepuasan kerja, loyalitas pegawai, tingkat kehadiran pegawai, dan lain‐lain.



Aris Try Andreas Putra@ PPs UNJ – PEP 2012



8



Lebih jauh lagi, Phillips juga mengemukakan 4 (empat) langkah konversi data kinerja dinilai penting sebagai data moneter, sebagai berikut: 1. Menentukan ukuran kinerja yang dipengaruhi oleh program training. 2. Menentukan nilai dari setiap unit ukuran tersebut = (V). 3. Menentukan peningkatan/perubahan kinerja yang terjadi = (ΔP). 4. Langkah 4: Menghitung nilai peningkatan kinerja = (V x ΔP). Adapun



tahap-tahap



kegiatan



evaluasi



pelatihan



dengan



model



pengembangan Kirkpatrick adalah sebagai berikut:



Sumber: Jack J. Phillips E. Contoh Model Evaluasi Pengembangan Kirkpatrick pada Program Pelatihan penguatan Kinerja Pengawas Penulis mencontohkan model evalusi pelatihan pengembangan Kirkpatric pada pelatihan penguatan kinerja pengawas pada Dinas Pendidikan dan Kebudayaan Kabupaten Muna, Sulawesi Tenggara. Adapun evaluasi program pengawas menggunakan model evaluasi pelatihan pengembangan Kirkpatrick (dirumuskan oleh Jack J Phillips) sebagai berikut:



Aris Try Andreas Putra@ PPs UNJ – PEP 2012



9



Tingkatan Evaluasi



Komponen



Reaction (Reaksi)



Reaksi Peserta Terhadap: 1. Penyelenggaraan dan pelayanan panitia pelatihan 2. Kurikulum pelatihan 3. Materi, Trainer Pelatihan 4. Sarana dan Media Pelatihan Learning (Belajar/ Peningkatan terhadap: Pembelajaran) 1. Pengetahuan (informasi) 2. Keteramplan (skill) 3. Sikap Behavior (Perilaku) Perilaku kerja yang diterapkan pada lingkungan kerja: 1. Sikap 2. Mental 3. Moivasi Kerja Result (Hasil) Dampak pelatihan: 1. Prestasi 2. Peningkatan Kinerja sekolah



Sumber Data Peserta Pelatihan (Pengawas)



Peserta Pelatihan (Pengawas)



1. Peserta Pelatihan (Pengawas) 2. Atasan peserta 3. Rekanan Peserta 1. Peserta Pelatihan (Pengawas) 2. Atasan peserta 3. Rekanan Peserta



Return on Membandingkan biaya 1. Penyelenggara Investmen (ROI) pelatihan dengan hasil pelatihan kinerja pengawas 2. Peserta dalam bentuk pelatihan persentase. Konversi data kinerja kepada data moneter



Teknik dan Istrumen pengumpulan Data Quesioner (Daftar Angket)



Tes: 1. Pengetahuan 2. Kinerja/ performance 3. Sikap Observasi (lembar observasi) Wawancara (pedoman wawancara) 1. Wawancara (pedoman wawancara) 2. Studi Dokumentasi (kearsipan dan dokumendokumen) 1. Dokumentasi (daftar kerasipan) 2. Quesioner (Dafar angket) Selanjutnya model perhitungan dengan model akuntansi (statistik)



F. Penutup



Salah



satu



model



evaluasi



program



pelatihan



adalah



dengan



menggunakan model evaluasi pengembangan empat level Kirkpatrick oleh Jack J. Phillips. Pelatihan pada intinya bertujuan mengoptimalkan karyawan dalam menjalankan



tugasnya



sehari-hari



dengan



meningkatkan



pengetahuan,



keterampilan dan sikap kerja melalui proses belajar. Untuk menilai keefektifan Aris Try Andreas Putra@ PPs UNJ – PEP 2012



10



suatu pelatihan perlu dilakukan evaluasi pelatihan. Terdapat beberapa kriteria yang dapat digunakan dalam mengevaluasi pelatihan antara lain reaksi, pembelajaran, perilaku, hasil dan ROI (Return on Investment). Menurut beberapa literatur, teknik evaluasi dengan kriteria ROI merupakan teknik yang terbaik dikarenakan teknik tersebut dinilai paling objektif dibanding empat kriteria lainnya karena dominasi unsur kuantitatif pada metode tersebut. ROI merupakan suatu ukuran yang diperoleh oleh suatu organisasi setelah jangka waktu tertentu atas investasi suatu program pelatihan. ROI dihitung berdasarkan estimasi atau data terhadap biaya ataupun keuntungan atas program pelatihan. Tujuannya agar unit bisnis dapat mengalokasikan sumber daya yang ada secara efektif agar dapat meningkatkan kinerja dan keberhasilan suatu organisasi. Namun, pada akhirnya tidak ada satu pun cara terbaik untuk mengevaluasi program pelatihan. Yang dapat dan penting dilakukan hanyalah berusaha mengumpulkan secara lengkap data sebelum dan/atau sesudah pelatihan agar dapat mengevaluasi program pelatihan secara akurat. Selain itu, faktor biaya; tujuan pelatihan; waktu yang tersedia; dan tingkat akurasi yang diinginkan juga perlu menjadi bahan pertimbangan dalam memilih desain evaluasi pelatihan. G. DAFTAR REFERENSI



Fitzpatrick, Jody L, Sanders, James R, Worthen, Blaine R, Program Evaluation Alternative Approaches and Practical Guidelines, Pearson Education, 2004



Kirkpatrick, Donald L., and Kirkpatrick, J. D. Evaluating Training Programs. San Francisco: Berrett-Koehle, 2006 Noe, Raymond A. Employee Training and Development. 2nd ed. New York: McGraw-Hill, 2002



Phillips, Jack J., Return on Investment in Training and Performance Improvement Programs. Houston: Gulf Publishing Company, 1997.



Sutikno, Muzayanah, Modul kuliah Evaluasi Program, Jakarta, 2011



Aris Try Andreas Putra@ PPs UNJ – PEP 2012



11