Instrumen Evaluasi Media 4 [PDF]

  • 0 0 0
  • Suka dengan makalah ini dan mengunduhnya? Anda bisa menerbitkan file PDF Anda sendiri secara online secara gratis dalam beberapa menit saja! Sign Up
File loading please wait...
Citation preview

A.



Instrumen Evaluasi Media Dalam pembelajaran tradisional, evaluasi pembelajaran biasanya merupakan fungsi yang terabaikan. Dalam teknologi pendidikan, khususnya program media, fungsi evaluasi memegang peranan penting. Baik pada tahap pengembangan maupun tahap penggunaan, evaluasi pembelajaran dilakukan untuk mengetahui tingkat keefektifan dan menentukan bagian-bagian yang perlu diperbaharui. Fungsi evaluasi tidak hanya dilakukan oleh guru/instruktur, tetapi juga oleh para ahli yang menguasai model evaluasi, teknik evaluasi formatif dan sumatif, serta penyusunan alat evaluasi. Mereka adalah orang-orang yang telah dilatih secara khusus dalam teknik evaluasi.1 1.



Bentuk Evaluasi Media Evaluasi media mempunyai 2 bentuk, yaitu evaluasi formatif dan evaluasi sumatif.2



Evaluasi formatif yaitu kegiatan untuk mengumpulkan data tentang efektivitas dan efisiensi media agar tujuan yang di inginkan tercapai. Data itu ditujukan agar dapat memperbaiki dan memaksimalkan media yang tersebut agar lebih efektif dan efisien. Sedangkan evaluasi sumatif merupakan kegiatan mengumpulkan data agar dapat menilai apakah media sedang dikaji sesuai untuk digunakan pada situasi tertentu. Selain itu, tujuan penilaian sumatif adalah untuk mengetahui apakah media tersebut efektif atau tidak efektif. 2.



Tahapan Evaluasi Kegiatan evaluasi dalam kegiatan rencana pengembangan tentang media



pendidikan ini difokuskan pada kegiatan evaluasi formatif. Keefektifan dan efisiensi media yang dikembangkan bukan hanya bersifat teoritis, tetapi sebenarnya telah terbukti di bidang ini.3 Menurut Arief, evaluasi formatif dapat dibagi menjadi tiga tahap, yaitu 1, evaluasi lawan satu atau one-to-one, 2.evaluasi kelompok kecil atau small group evaluation, dan 3.evaluasi lapangan atau field evaluation. Sedangkan menurut ahli lainnya yaitu Suparman dalam Sapto (2017), yaitu: (1) evaluasi pra-master atau premastery evaluation meliputi sekurang-kurangnya 3 bentuk kegiatan evaluasi, antara lain: (a) evaluasi ahli atau expert evaluation , (b) evaluasi orang per orang atau one-to-one



1



Sukiman, Pengembangan Media Pembelajaran (Yogyakarta: Pedagogia, 2012), hlm.16. Arief S. Sadiman, dkk. Media Pendidikan: Pengertian, Pengembangan, dan Pemanfaatannya, (Jakarta: Raja Grafindo Persada, 2003), hlm. 185. 3 Sukiman, Op.Cit., hlm. 79-80. 2



1



evaluation, dan (c) evaluasi kelompok kecil atau small group evaluation, dan (2) uji coba lapangan atau field test.4 Evaluasi formatif ini dilakukan melalui tahap pratinjau, dilanjutkan dengan evaluasi terbatas oleh kelompok pengguna, kemudian dilakukan kegiatan revisi sebelum melaksanakan program media pembelajaran secara terbatas pada tahap uji coba awal. Setelah diterapkannya media pembelajaran ini akan dievaluasi kembali sebagai bagian dari keseluruhan sistem pembelajaran. Evaluasi formatif tersbeut terdiri, sebagai berikut: a.



Evaluasi ahli / expert evaluation Upaya memperoleh informasi beserta data terkait kekurangan media pembelajaran



yang tengah dikembangkan dengan mencari pendapat dari para ahli dibidangnya. kekurangan ini akan dijadikan dasar revisi. Informasi yang diharapkan dari para ahli meliputi:5 Informasi yang berkaitan dengan desain pembelajaran, misalnya: analisis kebutuhan, tujuan yang jelas, ketepatan format media pembelajaran yang dipilih, kesesuaian dengan karakteristik siswa, kesesuaian media pembelajaran dengan tujuan pembelajaran, dll. a) Informasi terkait dengan model pembelajaran, seperti: analisis kebutuhan, kejelasan suatu tujuan, ketepatan media pembelajaran dengan format yang dipilih, kecocokan dengan model siswa, kecocokan media pembelajaran dan tujuan pembelajaran, dll.. b) Informasi terkait bahasa; misalnya, sejalan dengan perbaikan ejaan bahasa Indonesia, struktur kalimat, struktur kata, contoh, ilustrasi, dan ketepatan tanda baca. c) Informasi terkait dengan pelaksanaan mudah digunakan, sesuai dengan karakteristik lingkungan penggunaan media pembelajaran (listrik, ketersediaan suku cadang, dll) sesuai dengan karakteristik pengguna (termasuk guru); dan faktor lain yang mungkin membatasi masalah potensial penggunaannya; d) Informasi yang berkaitan dengan kualitas teknis atau pengemasan (tampilan), misalnya: kualitas suara, kualitas visual, dan daya tarik dari berbagai aspek kepada siswa. 6



4



Sapto Haryoko dan Hendra Jaya, Pengembangan Media Ajar Pada Mata Kuliah Pengantar Pendidikan Kejuruan, (Makasar: FT UNM, 2017), hlm. 104. 5 Bambang Warsita, Op-Cit., hlm. 443. 6 Ibid., hlm. 444.



2



Evaluasi ahli meliputi ahli materi, ahli media dan guru. Ahli materi adalah orang yang memahami sepenuhnya topik pembelajaran, Ahli media adalah orang yang memiliki pemahaman rinci tentang aspek teknis media yang sedang dilakukan pengembangan, dan guru di sini adalah guru yang dapat memberikan bukti tambahan untuk materi dalam media pembelajaran. Akan dikembangkan sesuai atau tidak diimplementasikan. Ketiga pakar tersebut akan mempelajari prototipe media pembelajaran dari perspektif pengetahuan, keahlian, dan pengalaman masing-masing. Berikut adalah contoh alat evaluasi ahli: Tabel 1. Instrumen Evaluasi oleh Ahli Materi Catatan : kolom penilaian mohon di isi dengan angka penilaian dengan keterangan 1. Tidak Baik 2. Kurang Baik 3. Cukup Baik 4. Baik 5. Sangat Baik



No



Butir Penilaian A. Kualitas Isi Dan Tujuan



1



Kesesuaian SK, KD, dan indikator pencapaian



2



Kesesuaian indikator dengan tujuan pembelajaran



3



Kesesuaian isi materi dan indikator



4



Kejelasan terkait tujuan pembelajaran



5



Kecocokan media yang dipilih dengan materi



6



Kecocokan ilustrasi yang digunakan dengan materi



7



Kecocokan Media pembelajaran dengan materi yang di jelaskan



8



Kejelasan Materi yang di ajarkan dalam media pembelajaran



9



Materi dapat dengan mudah untuk dimengerti



10



Kompatibilitas ejaan yang ditingkatkan



11



Standar bahasa dan terminologi yang digunakan



12



Keefektifan penggunaan kalimat



13



Mudah untuk memahami bahasa yang digunakan (tidak mengandung multi tafsir)



14



Adaptasi bahasa dan tingkat perkembangan berpikir siswa 3



Penilaian



15



Apakah bahasa tersebut cocok untuk siswa dengan segala tingkat perkembangan sosial maupun emosionalnya. B. Kualitas Instruksional



16



sebagai contoh Bantu siswa memecahkan masalah dalam kehidupan sehari-hari



17



Keberhasilan media pembelajaran untuk menginspirasi siswa



18



contoh masalah mudah diselesaikan secara mandiri



19



Penerapan masalah dan materi di media



20



Penerapan latihan dan materi berkaitan



21



Apakah kesulitan masalah tersebut sesuai dengan pertumbuhan siswa



22



Umpan balik yang jelas tentang jawaban yang benar untuk soal latihan



23



Umpan balik yang jelas tentang jawaban yang salah untuk soal latihan



24



Umpan balik yang jelas tentang skor hasil latihan soal



Catatan: Sumber: Sasongko, Dimas Angga Nur. Waryanto dan Nur Hadi (2016)7 Tabel 2. Instrumen Evaluasi Oleh Ahli Media Catatan : kolom penilaian mohon di isi dengan angka penilaian dengan keterangan 1. Tidak Baik 2. Kurang Baik 3. Cukup Baik 4. Baik 5. Sangat Baik



N o  



Butir Penilaian A. Kualitas Teknis



 



1



Jelas atau tidaknya prosedur penggunaan media



 



2



Keinteraktifan media



 



3



Media mudah di operasikan



 



7



Penilaian



Sasongko, Dimas Angga Nur, Waryanto, Nur Hadi. Pengembangan Media Pembelajaran Multimedia Interaktif “Petualangan Gatotkaca“ Berdasarkan Pendekatan Kontekstual Pada Materi Geometri untuk siswa SMP kelas VII. S1 thesis, (Yogyakarta: UNY, 2016), hlm. 120-124.



4



4



Akurasi penempatan tombol



 



5



Akurasi penggunaan tombol



 



6



Daya tarik tampilan materi di media



 



7



Daya tarik menyajikan tanya jawab di media



 



8



Daya tarik tampilan sistem evaluasi media



 



9



Materi yang di ajarkan mudah dibaca



 



10



latihan soal dan jawabannya mudah dibaca



 



11



Pemilihan menu mudah



 



12



Penerapan tata letak dan objek visual di setiap pengaturan lokasi



 



13



Penerapan kombinasi warna dan komposisi seluruh media



 



14



Keocokkan tampilan warna latar belakang



 



15



Apakah tampilan warna dari bentuk yang disajikan sudah sesuai



 



16



Teks dapat terbaca



 



17



Kecocokkan jenis dan ukuran font dengan tampilan media



 



18



Daya tarik gambar untuk materi dan latihan



 



19



Kesesuaian penempatan gambar pada materi dan latihan



 



20



Apakah efek suara tersebut sesuai dengan kondisi yang sedang berlangsung



 



Catatan: Sumber: Sasongko, Dimas Angga Nur, Waryanto dan Nur Hadi (2016)8 Tabel 3. Instrumen Evaluasi Oleh Guru Catatan : kolom penilaian mohon di isi dengan angka penilaian dengan keterangan 1. Tidak Baik 2. Kurang Baik 3. Cukup Baik 4. Baik 5. Sangat Baik



N o   1 8



Butir Penilaian A. Kualitas Isi Dan Tujuan Kesesuaian SK, KD, dan indikator pencapaian



Sasongko, Dimas Angga Nur, Waryanto, Nur Hadi, Op.Cit., hlm. 127-130.



5



Penilaia n    



2 3 4 5 6 7 8 9 10 11 12 13 14 15   16 17 18 19 20 21 22 23 24   25 26 27 28 29 30 31 32 33 34 35 36 37 38 39 40 41



Kesesuaian indikator dengan tujuan pembelajaran Kesesuaian isi materi dan indikator Kejelasan terkait tujuan pembelajaran Kecocokan media yang dipilih dengan materi Kecocokan ilustrasi yang digunakan dengan materi Kecocokan Media pembelajaran dengan materi yang di jelaskan Kejelasan Materi yang di ajarkan dalam media pembelajaran Materi dapat dengan mudah untuk dimengerti Kompatibilitas ejaan yang ditingkatkan Standar bahasa dan terminologi yang digunakan Keefektifan penggunaan kalimat Mudah untuk memahami bahasa yang digunakan (tidak mengandung multi tafsir) Adaptasi bahasa dan tingkat perkembangan berpikir siswa Apakah bahasa tersebut cocok untuk siswa dengan segala tingkat perkembangan sosial maupun emosionalnya. B. Kualitas Instruksional sebagai contoh Bantu siswa memecahkan masalah dalam kehidupan sehari-hari Keberhasilan media pembelajaran untuk menginspirasi siswa contoh masalah mudah diselesaikan secara mandiri Penerapan masalah dan materi di media Penerapan latihan dan materi berkaitan Apakah kesulitan masalah tersebut sesuai dengan pertumbuhan siswa Umpan balik yang jelas tentang jawaban yang benar untuk soal latihan Umpan balik yang jelas tentang jawaban yang salah untuk soal latihan Umpan balik yang jelas tentang skor hasil latihan soal C. Kualitas Teknis Jelas atau tidaknya prosedur penggunaan media Keinteraktifan media Media mudah di operasikan Akurasi penempatan tombol Akurasi penggunaan tombol Daya tarik tampilan materi di media Daya tarik menyajikan tanya jawab di media Daya tarik tampilan sistem evaluasi media Materi yang di ajarkan mudah dibaca latihan soal dan jawabannya mudah dibaca Pemilihan menu mudah Penerapan tata letak dan objek visual di setiap pengaturan lokasi Penerapan kombinasi warna dan komposisi seluruh media Keocokkan tampilan warna latar belakang Apakah tampilan warna dari bentuk yang disajikan sudah sesuai Teks dapat terbaca Kecocokkan jenis dan ukuran font dengan tampilan media 6



                                                                                   



42 Daya tarik gambar untuk materi dan latihan 43 Kesesuaian penempatan gambar pada materi dan latihan Apakah efek suara tersebut sesuai dengan kondisi yang sedang 44 berlangsung Catatan:



     



Sumber: Sasongko, Dimas Angga Nur. Waryanto dan Nur Hadi (2016)9. b. Evaluasi orang per orang atau one-to one evaluation. Evaluasi ini dasarnya adalah penilaian, dan subjeknya adalah penilaian siswa. Dikatakan individu karena dilakukan individual/one-to-one terhadap siswa. Evaluator berkonsultasi satu per satu kepada siswa terkait prototipe media pembelajaran yang tengah dilakukan pengembangan.10 untuk menghasilkan informasi dari para siswa atau peserta didik, evaluator dapat menggunakan beberapa teknik, yaitu wawancara, angket, observasi dan tes. Untuk memperoleh informasi yang lebih mendalam, sebaiknya menggabungkan berbagai teknik pengumpulan data terutama wawancara dan observasi (triangulasi). Strategi pengumpulan data adalah sebagai berikut: Meminta siswa untuk menggunakan / memanfaatkan prototipe media pembelajaran yang dikembangkan. a) Evaluator mengamati perilaku siswa saat menggunakan media pembelajaran dan melihat kesulitan yang dihadapinya. Selama observasi, evaluator tidak akan menyela atau memberikan petunjuk apa pun yang dibuat oleh siswa di media kecuali siswa itu sendiri meminta atau mencari bantuan. b) Jika ada tes, harus segera diujicobakan setelah siswa mencoba/menggunakan prototipe media pembelajaran yang dikembangkan. c) Lakukan wawancara setelahnya. Selain pertanyaan wawancara yang telah disiapkan, evaluator juga dapat menggunakan catatan observasi sebagai dasar untuk wawancara mendalam lebih lanjut dengan siswa. d) Setelah kedua teknik di atas diselesaikan, kuesioner dapat diserahkan terakhir. Tabel 4. Instrumen Evaluasi Siswa One to One Catatan : kolom penilaian mohon di isi dengan angka penilaian dengan keterangan 1. Tidak Baik 2. Kurang Baik 3. Cukup Baik 4. Baik 5. Sangat Baik 9



Sasongko, Dimas Angga Nur, Waryanto, Nur Hadi, Op.Cit., hlm. 136-141. Bambang Warsita, Op-Cit., hlm. 444.



10



7



No



Indikator



1



Saya



dapat



dengan



mudah



Penilaian memahami



materi  



menggunakan media pembelajaran ini 2



Saya merasa nyaman menggunakan media pembelajaran   ini



3



Media pembelajaran ini Sesuai dengan karakteristik diri   saya



4



Media pembelajaran ini bagus untuk di terapkan dalam   pembelajaran Sumber: Olahan Pemateri 2021



c. Evaluasi kelompok kecil / small group evaluation. Evaluasi pada kelompok kecil dikerjakan pada sekelompok kecil siswa secara bersamaan, dengan total 5 sampai 15 siswa. Dalam evaluasi kelompok, evaluator akan memperoleh informasi dari kelompok siswa di lokasi tertentu pada waktu yang bersamaan. Ukuran kelompok harus terdiri dari setidaknya lima siswa. Tujuan dari evaluasi di kelompok ini adalah untuk mengetahui berbagai kendala atau kelemahan yang akan mungkin dihadapi siswa ketika mencoba atau menggunakan prototipe media pembelajaran dari perspektif siswa. Informasi yang perlu digali dari penilaian kelompok adalah: a) Efektivitas:



Untuk



menjawab



pertanyaan



dapatkah



penggunaan



media



pembelajaran membantu siswa mencapai tujuan pembelajarannya? b) Efisiensi: Untuk menjawab pertanyaan mampukah siswa menguasai materi pembelajaran dalam waktu yang lebih singkat, begitu pula sebaliknya? c) Kemudahan penggunaan: mampukah peserta didik atau siswa dengan mudah menggunakan dan memanfaatkan program media pembelajaran ini secara mandiri tanpa bantuan pihak manapun? Apakah para guru mampu menggunakan media pembelajaran ini untuk mengelola pembelajaran dengan lebih mudah? d) Kemenarikan, apakah pengguna menjadi tertarik dan ingin belajar dengan menggunakan



media



pembelajaran



ini?



Apa



sajakah



elemen



media



pembelajaran yang membosankan? Apakah siswa tidak menyukai/menyukai bagian tertentu? 8



Tabel 5. Instrumen Evaluasi Siswa Small Group Catatan : kolom penilaian mohon di isi dengan angka penilaian dengan keterangan 1. Tidak Baik 2. Kurang Baik 3. Cukup Baik 4. Baik 5. Sangat Baik



No



Indikator



1



Media pembelajaran ini efektif untuk di gunakan



2



Media pembelajaran ini efisien untuk di gunakan



3



Media pembelajaran ini mudah di gunakan



4



Media pembelajaran ini menarik untuk di gunakan



Penilaian



Catatan : Sumber: Olahan Pemateri 2021 d. Uji coba lapangan atau field test. yaitu penguji cobaan master media pembelajaran sebelum disalin dan disebarluaskan.11 Atau sama dengan pengujian langsung merupakan penilaian terhadap penguasaan media pembelajaran di lingkungan nyata pada saat menggunakan program media pembelajaran. Oleh karena itu, sebelum media pembelajaran dapat digunakan secara luas, perlu dilakukan evaluasi agar tidak terjadi kekurangan dan kesalahan yang mendasar (fatal). Dalam uji lapangan, semua perangkat program media pembelajaran, seperti manual dan materi pelengkap lainnya, dicoba. Idealnya, uji lapangan dalam kondisi yang berbeda harus dilakukan di banyak tempat pada waktu yang sama (bersamaan). Ada beberapa hal yang perlu digali dalam evaluasi ini, yaitu: a) Informasi penerapan, bisa atau tidak media pembelajaran ini diterapkan dilapangan secara langsung? Bisakah itu digunakan seperti yang diharapkan? b) Adaptasi, apakah di semua tempat media pembelajaran ini dapat di gunakan? c) Informasi efektivitas, pakah media pembelajaran dapat beroperasi secara efektif? Bisakah siswa mencapai tujuan pembelajaran yang diharapkan? Di mana siswa berhasil dan di mana siswa gagal? apa alasannya? 11



Bambang Warsita, Ibid.,, hlm. 445.



9



d) Informasi kemenarikan, apakah media pembelajaran menarik bagi siswa dan guru atau sekolah (pengguna)? Apakah pengguna dalam uji coba langsung menunjukkan bahwa dia menarik untuk media pembelajaran? Bagian media pembelajaran manakah yang membuat siswa atau guru bosan? Tabel 6. Instrumen Evaluasi Field Test Catatan : kolom penilaian mohon di isi dengan angka penilaian dengan keterangan 1. Tidak Baik 2. Kurang Baik 3. Cukup Baik 4. Baik 5. Sangat Baik



No



Indikator



1



Penilaian



Media pembelajaran bagus untuk diterapkan dalam pembelajaran



2



Media pembelajaran sesuai untuk diterapkan dalam pembelajaran di sekolah ini



3



Media pembelajaran sangat efektif maupun juga efisien untuk di terapkan



4



Media pembelajaran menarik untuk di gunakan



Catatan: Sumber : Olahan Pemateri 2021 e. Penilaian diri siswa Merupakan teknik evaluasi yang menuntut siswa untuk mengungkapkan kelebihan dan kekurangannya dalam penerapan media pembelajaran. Alat yang digunakan berupa formulir penilaian diri, apakah siswa dapat menggunakan media yang digunakan, dan jika tidak, apa alasannya. Apa datang dari media pembelajaran gagal, bahkan dari siswa yang belum siap untuk berubah. Tabel 7. Instrumen Penilaian Diri Siswa Catatan : kolom penilaian mohon di isi dengan angka penilaian dengan keterangan 1. Tidak Baik 10



2. Kurang Baik 3. Cukup Baik 4. Baik 5. Sangat Baik



No



Indikator



Penilaia n



1



Saya dapat menggunakan media pembelajaran ini



2



Media pembelajaran ini menarik untuk saya



3



Saya mampu menguasai media pembelajaran ini



4



Media pembelajaran ini dapat membantu saya menguasai materi Sumber: Olahan Pemateri, 2021 BAB III PENUTUP



A.



Kesimpulan Evaluasi media pembelajaran sangat diperlukan untuk mencapai tujuan pembelajaran dengan baik. Evaluasi media pembelajaran tersebut diantaranya bertujuan untuk memberikan pedoman kepada instansi pemerintah, guru, produsen dalam mengadakan, membuat, serta memproduksi media pendidikan yang bermutu dan melindungi



sekolah



dari



penggunaan



media



pendidikan



yang



tidak



dapat



dipertanggungjawabkan dari segi teknis pendidikan. Mengenai cara mengevaluasi media pembelajaran dapat dikelompokkan menjadi dua macam, yaitu evaluasi formatif dan evaluasi sumatif. Untuk evaluasi formatif lebih menekankan pada evaluasi penggunaan media baru untuk siswa dengan mengetahui efektifitas dan efisiensi media untuk mencapai tujuan yang ditetapkan. Sedangkan evaluasi sumatif terfokus pada kepatutan suatu penggunaan media tertentu. B.



Saran Makalah ini telah disusun dengan semaksimal mungkin oleh penulis. Terlepas dari itu semua, penulis menyadari masih banyak kekurangan baik dari segi susunan kalimat maupun penulisan. Penulis memohon maaf jika terdapat kesalahan penulisan dalam 11



penyajian materi. Untuk itu, kami sebagai penulis meminta kritik serta saran dari berbagai pihak. Semoga makalah ini dapat bermanfaat terkhusus untuk penulis dan bagi siapa pun yang membacanya.



12



DAFTAR PUSTAKA Arsyad, A. 2011. Media Pembelajaran. Jakarta: PT. Raja Grafindo Persada. Hamid, Mustofa Abi, dkk. 2011. Media Pembelajaran. Medan: Yayasan Kita Menulis. Haryoko, Sapto dan Jaya, Hendra. 2017. Pengembangan Media Ajar Pada Mata Kuliah Pengantar Pendidikan Kejuruan. Makasar: FT UNM. Kustandi, C dan Darmawan, D. 2020. Pengembangan Media Pembelajaran: Konsep dan Aplikasi Pengembangan Media Pembelajaran Bagi Pendidik di Sekolah dan Masyarakat. Jakarta: Kencana. Purba, Ramen A., dkk. 2020. Pengantar Media Pembelajaran. Medan: Yayasan Kita Menulis. Sadiman, Arief S., dkk. 2003. Media Pendidikan: Pengertian, Pengembangan, dan Pemanfaatannya. Jakarta: Raja Grafindo Persada. Sasongko, Dimas Angga Nur, Waryanto, Nur Hadi. 2016. Pengembangan Media Pembelajaran Multimedia Interaktif “Petualangan Gatotkaca“ Berdasarkan Pendekatan Kontekstual Pada Materi Geometri untuk siswa SMP kelas VII. S1 thesis. Yogyakarta: UNY. Sukiman. 2003. Pengembangan Media Pembelajaran. Yogyakarta: Pedagogia. Susilana, R dan Riayana, C. 2011. Media Pembelajaran. Bandung: Wacana Prima. Warsita, B. Desember 2013. Evaluasi Media Pembelajaran Sebagai Pengendalian Kualitas. Banten:



Pustekkom Kemdikbud. Warsita, B. Desember 2016. Evaluasi Media Pembelajaran Sebagai Pengendalian Kualitas. Banten:



Pustekkom Kemdikbud. Yaumi, M. 2018. Media dan Teknologi Pembelajaran. Jakarta: Kencana.



13



PLAGIARISME



14