Pengantar Pelatihan Data Science DTS-TA v.2 [PDF]

Citation preview

KATA PENGANTAR Era Digitalisasi pada Industri 4.0 di Indonesia saat ini dihadapkan pada tantangan hadirnya permintaan dan penawaran talenta digital dalam mendukung perkembangan ekosistem industri teknologi. Tantangan tersebut perlu dihadapi salah satunya melalui kegiatan inovasi dan inisiasi dari berbagai pihak dalam memajukan talenta digital Indonesia, baik dari pemerintah maupun mitra kerja pemerintah yang dapat menyiapkan angkatan kerja muda sebagai talenta digital Indonesia. Kementerian Komunikasi dan Informatika melalui Badan Penelitian dan Pengembangan Sumber Daya Manusia sejak tahun 2018-2019, telah menginisiasi Program Digital Talent Scholarship yang telah berhasil dianugerahkan kepada 26.000 penerima pelatihan di bidang teknologi informasi dan komunikasi. Program Digital Talent Scholarship ini ditujukan untuk memberikan pelatihan dan sertifikasi tema-tema bidang teknologi informasi dan komunikasi, diharapkan menjadi bagian untuk memenuhi permintaan dan penawaran talenta digital Indonesia. Tahun ini, Program Digital Talent Scholarship menargetkan pelatihan peningkatan kompetensi bagi 60.000 peserta yang bertujuan untuk meningkatkan keterampilan dan daya saing SDM bidang teknologi informasi dan komunikasi sebagai bagian dari program pembangunan prioritas nasional. Program pelatihan DTS 2021 ditujukan untuk meningkatkan keterampilan, keahlian angkatan kerja muda Indonesia, masyarakat umum dan aparatur sipil negara di bidang teknologi informasi dan komunikasi sehingga dapat meningkatkan produktivitas dan daya saing bangsa di era Industri 4.0. Program DTS 2021 secara garis besar dibagi menjadi Tujuh akademi, yaitu: Fresh Graduate Academy (FGA), Program pelatihan berbasis kompetensi bersama GlobalTech yang ditujukan kepada peserta pelatihan bagi lulusan S1 bidang TIK dan MIPA, dan terbuka bagi penyandang disabilitas; Vocational School Graduate Academy (VSGA), Program pelatihan berbasis kompetensi nasional yang ditujukan kepada peserta pelatihan bagi lulusan SMK dan Pendidikan Vokasi bidang TI, Telekomunikasi, Desain, dan Multimedia; Coding Teacher Academy (CTA), Program pelatihan merupakan program pelatihan pengembangan sumberdaya manusia yang ditujukan kepada peserta pelatihan bagi Guru setingkat SMA/SMK/MA/SMP/SD di bidang pemrograman. Online Academy (OA), Program pelatihan OA merupakan program pelatihan Online di bidang Teknologi Informasi yang ditujukan kepada peserta pelatihan bagi Masyarakat umum, ASN, mahasiswa, dan pelaku industri; Thematic Academy (TA), Program pelatihan TA merupakan program pelatihan multisektor bagi pengembangan sumberdaya manusia yang ditujukan kepada peserta pelatihan dari jenjang dan multidisiplin yang berbeda; Regional Development Academy (RDA), Program pelatihan RDA merupakan program pelatihan pengembangan sumberdaya manusia yang ditujukan untuk meningkatkan kompetensi ASN di Kawasan Prioritas Pariwisata dan 122 Kabupaten Prioritas Pembangunan. Digital Entrepreneurship Academy (DEA), Program pelatihan DEA merupakan program pelatihan pengembangan sumberdaya manusia yang ditujukan kepada talenta digital di bidang Usaha Mikro, Kecil, dan Menengah (UMKM). Selamat mengikuti Pelatihan Digital Talent Scholarship, mari persiapkan diri kita menjadi talenta digital Indonesia. Jakarta, 24 Februari 2021 Kepala Badan Penelitian dan Pengembangan Sumber Daya Manusia Kementerian Komunikasi dan Informatika Republik Indonesia Dr. Hary Budiarto, M.Kom



Pendahuluan



Tujuan Pembelajaran •



Tujuan Umum



Setelah mempelajari modul ini peserta latih diharapkan mampu menjelaskan lingkup pelatihan Artificial Intelligence untuk membuat sistem intelijen dari data menggunakan metodologi Data Science sesuai SKKNI. •



Tujuan Khusus



Adapun tujuan mempelajari unit kompetensi melalui modul Pengantar Pelatihan AI untuk Instruktur ini adalah untuk menyiapkan peserta latih sehingga pada akhir pelatihan diharapkan memiliki kemampuan sebagai berikut: 1. Mampu menjelaskan lingkup pelatihan bidang Artificial Intelligence 2. Mampu menjelaskan lingkup kompetensi yang diperlukan pada pengembangan sistem intelijensi menggunakan data 3. Mampu memasang tools utama yang diperlukan untuk menyelesaikan masalah dengan menggunakan data science. Latar belakang Unit kompetensi ini dinilai berdasarkan tingkat kemampuan peserta dalam memahami konsep dasar Artificial Intelligence termasuk konsep dari teknologi Artificial Intelligence. Adapun penilaian dilakukan dengan menggabungkan serangkaian metode untuk menilai kemampuan dan penerapan pengetahuan pendukung penting. Penilaian dilakukan dengan mengacu kepada Kriteria Unjuk Kerja (KUK) dan dilaksanakn di Tempat Uji Kompetensi (TUK), ruang simulasi atau workshop dengan cara: 1.1. Lisan 1.2. Wawancara 1.3. Tes tertulis 1.4. Metode lain yang relevan Deskripsi Pelatihan Tujuan utama dari modul pelatihan ini adalah untuk membantu para peserta memahami lingkup pelatihan pengembangan aplikasi intelijen menggunakan data science dan kompetensi yang diperlukan untuk. Kompetensi Dasar A. Mampu menjelaskan lingkup pelatihan Artificial Intelligence beserta kompetensi yang terkait untuk kegiatan Data science B. Mampu memasang tools untuk pengembangan kegiatan Data science Indikator Hasil Belajar



Peserta mampu memasang tools yang diperlukan dalam membuat aplikasi intelijen menggunakan pendekatan data science INFORMASI PELATIHAN Akademi



Thematic Academy



Mitra Pelatihan



Kementerian Komunikasi dan Informatika



Tema Pelatihan



Data Scientist: Artificial Intelligence untuk Dosen dan Instruktur



Sertifikasi



• •



Persyaratan Sarana Peserta/spesifikasi device Tools/media ajar yang akan digunakan



Aplikasi utama yang akan digunakan selama pelatihan Tim Penyusun



Certificate of Attainment; Sertifikat Kompetensi Associate Data Scientist



Memiliki laptop/komputer dengan spesifikasi minimal : • RAM minimal 2 GB (disarankan 4 GB) • Laptop dengan 32/64-bit processor • Laptop dengan Operating System Windows 7, 8, 10, MacOS X atau Linux • Laptop dengan konektivitas WiFi dan memiliki Webcam • Akses Internet Dedicated 126 kbps per peserta per perangkat • Memiliki aplikasi Zoom • Memiliki akun Google Colab • •



Google Colab Jupyter notebook



Windy Gambetta, Ir., MBA (ITB)



INFORMASI PEMBELAJARAN Unit Kompetensi -



Materi Pokok



Materi pembelajaran



Kegiatan pembelajaran



Durasi Pelatihan



Pengantar Pelatihan



Daring/Online



Live Class 2 JP LMS 4 JP @ 45 menit



Praktek : Teori



Rasio



Sumber pembelajaran



70:30



LMS



Penjelasan Pelatihan



Sub Materi Pokok • • •



Silabus Pelatihan AI untuk Instruktur Jadwal Pelaksanaan Pelatihan AI untuk Instruktur Instalasi Berbagai Tool untuk Pelatihan



A. Materi Pelatihan 1. Silabus Pelatihan 1.1 Deskripsi Pelatihan Pelatihan ini merupakan salah satu tema pelatihan Thematic Academy Digital Talent Scholarship 2021 yang ditujukan untuk meningkatkan keterampilan digital, khususnya dalam bidang data science, dan meningkatkan daya saing lulusan pelatihan di lapangan kerja dan dunia usaha industri informasi di bidang data science dalam menggunakan data untuk mendapatkan insights atau model pengetahuan yang dapat dipergunakan dalam membuat sistem pengambilan keputusan berbasis AI sederhana. 1.2 Output Pelatihan Setelah mengikuti pelatihan ini, peserta diharapkan mampu untuk: •



Melakukan pengembangan model berbasis data mengikuti suatu metodologi Data Science



•



Menentukan objektif bisnis, teknis dan Rencana Projek Data Science



•



Mengumpulkan Data



•



Menelaah/ Menganalisis data



•



Menentukan objek atau Memilah Data



•



Membersihkan Data



•



Mengkonstruksi Data



•



Membangun Model



•



Melakukan Deployment Model



1.3 Aktivitas Pelatihan Pelatihan dilaksanakan secara daring/online, peserta belajar secara mandiri (Selfpaced Learning) melalui laptop/komputer. Pada pelatihan ini peserta akan mendapatkan kesempatan bertanya dan berinteraksi dengan Instruktur pada Grup Kelas dan Live Session yang telah disediakan. Untuk lulus di pelatihan ini peserta diharuskan melewati:



•



Modul belajar dalam bentuk Video, Slide pembelajaran, dan potongan kode program



•



Ujian dalam bentuk exam



•



Ujian dalam bentuk praktek



1.4 Penilaian Sistem penilaian yang diterapkan bagi peserta terdiri atas beberapa komponen •



Kehadiran minimal 70%,



•



Menyelesaikan Tugas Mandiri



•



Menyelesaikan Tugas Akhir



•



Ujian Akhir



Sedangkan komponen penilaian yang dipakai adalah sebagai berikut: •



Kehadiran x 10%



•



Tugas Akhir x 50%



•



Ujian Akhir x 40%



1.5 Jadwal dan Topik Pembelajaran Materi pembelajaran mengikuti Kompetensi Kerja Nasional Indonesia No 299 Tahun 2020 Bidang Keahlian Artificial Intelligence sub bidang Data Science untuk Skema Data Scientist. Untuk itu maka topik pembelajaran yang diberikan adalah sebagai berikut.



Tanggal



Sabtu, 31/07/2021



Topik Pengantar AI 1: • Pengantar Course • Pemasangan Tools



Outcome



Aktivitas Kelas



JP



Tools terkait terpasang di PC peserta



Pemaparan materi menggunakan bahan ajar, dan diskusi



4JP Kelas 2JP Mandiri



Peserta mampu memahami konsep dasar AI serta cabangnya Peserta mampu mengidentifikasi pemanfaatan AI



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Pemaparan materi



2JP Kelas 4JP Mandiri



● Pengantar AI 2: Minggu, 1/08/2021 Teknologi dan Aplikasi AI



●



Sabtu, Metodologi Pengembangan Peserta mampu mengetahui 7/08/2021 AI menggunakan data alur proses pengembangan



Minggu, Tools Proyek data Science 8/08/2021



aplikasi AI berbasis Data



menggunakan bahan ajar, dan diskusi



Peserta mampu memahami dan menggunakan dasar tools yang akan dipergunakan untuk menangani data (Python, pandas, numpy, dll.)



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Peserta mampu memahami langkah Business Understanding untuk Business Understanding: menentukan masalah bisnis Menentukan objektif bisnis, yang dapat diselesaikan teknis dan Rencana Projek dengan menggunakan tugas Data Science Sabtu, data analytics yang sesuai 14/08/2021 beserta metrics keberhasilannya. Unit Kompetensi: J.62DMI00.001.1 - Menentukan Objektif Bisnis J.62DMI00.002.1 - Menentukan Tujuan Teknis Data Science J.62DMI00.003.1 - Membuat Rencana Proyek Data Science ● Data Understanding 1: • Mengumpulkan Data • Menelaah Data ● dengan Metoda Minggu, Statistik 15/08/2021



Peserta mampu melakukan pengambilan data untuk proses data science Peserta mampu melakukan telaah data menggunakan metoda statistik



Unit Kompetensi: J.62DMI00.004.1 - Mengumpulkan Data J.62DMI00.005.1 - Menelaah Data



Sabtu, 21/08/2021



Data Understanding 2: Menelaah data dengan Visualisasi



Peserta mampu menggunakan teknik visualisai untuk menganalisis data



Unit Kompetensi: J.62DMI00.005.1 - Menelaah Data Data Preparation 1: Menentukan objek atau Minggu, Memilah Data, 22/08/2021 Membersihkan Data, Memvalidasi Data



●



Peserta mampu memilih objek untuk dipergunakan selanjutnya, baik memilih record ataupun atribut/ feature.



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



●



●



Peserta mampu melakukan proses pembersihan data dan untuk memperbaiki kualitas data. Peserta mampu melakukan proses memvalidasi data dan untuk memperbaiki kualitas data.



Unit Kompetensi: J.62DMI00.007.1 - Menentukan Objek Data J.62DMI00.008.1 - Membersihkan Data J.62DMI00.006.1 - Memvalidasi Data



Sabtu, 28/08/2021



Data Preparation 2: Mengkonstruksi Data



Peserta mampu melakukan proses normalisasi data dan transformasi data sederhana



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Unit Kompetensi J.62DMI00.009.1 - Mengkonstruksi Data



Minggu, 29/08/2021



Data Preparation 3: Mengkonstruksi Data



Peserta mampu melakukan proses feature engineering



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Unit Kompetensi: UK J.62DMI00.009.1 - Mengkonstruksi Data UK J.62DMI00.010.1 - Menentukan Label Data Membangun Model 1



Sabtu, 4/09/2021



●



●



Peserta mampu melakukan kegitan persiapan pemodelan seperti pembagian data, penyusunan scenario pemodelan. Peserta mampu melakukan proses pemodelan klasifikasi



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Unit Kompetensi: J.62DMI00.012.1 - Membangun Skenario Model J.62DMI00.013.1 - Membangun Model Minggu, 5/09/2021



Membangun Model 2



Peserta mampu melakukan proses pemodelan regresi



Pemaparan materi menggunakan



2JP Kelas 4JP Mandiri



bahan ajar, dan diskusi Unit Kompetensi: UK J.62DMI00.013.1 - Membangun Model Membangun Model 3 Peserta mampu melakukan proses pemodelan clustering(?)



Sabtu, 11/09/2021



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Pemaparan materi menggunakan bahan ajar, dan diskusi



2JP Kelas 4JP Mandiri



Unit Kompetensi: UK J.62DMI00.013.1 - Membangun Model Membangun Model 4 Peserta mampu melakukan proses pemodelan ANN



Minggu, 12/09/2021



Unit Kompetensi: UK J.62DMI00.013.1 - Membangun Model Membangun Model 5: Evaluasi Sabtu, 18/09/2021



Peserta mampu melakukan proses pemodelan dan membandingkan performansinya berdasar metrik evaluasi)



Unit Kompetensi: J.62DMI00.014.1 - Mengevaluasi Hasil Pemodelan J.62DMI00.015.1 - Melakukan Proses Review Pemodelan Melakukan Deployment Model Minggu, 19/09/2021



Peserta mampu melakukan deployment model menjadi sistem yang dapat dioperasikan (web)



Pemaparan materi menggunakan bahan ajar, dan diskusi



2 JP Kelas 4JP Mandiri



Unit Kompetensi J.62DMI00.016.1 - Membuat Rencana Deployment Model J.62DMI00.017.1 - Melakukan Deployment Model



1.6 Tugas Besar atau Tugas Akhir Selama pembelajaran peserta mendapatkan tugas harian per orang dan tugas besar yang bersifat tugas kelompok. Deskripsi tugas besar adalah sebagai berikut. •



Satu kelompok 3 orang (kecuali satu kelompok yang berjumlah 4 orang)



•



Anggota kelompok berada dalam satu kelas yang sama



•



Tujuan: Menerapkan Metodologi AI (Data Science) untuk menyelesaikan permasalahan pada satu organisasi (data nyata)



•



Outcome: Suatu aplikasi intelijen dalam bentuk aplikasi berbasis web yang menggunakan pengetahuan hasil dari proses pembelajaran (data science)



•



Data yang dipergunakan a.



Bersifat bebas dengan memperhatikan etika pengumpulannya (legal, menjaga privasi, dll.) diharapkan dari organisasi atau perusahaan sendiri.



b. Tidak diperbolehkan dari dataset umum seperti dari repositori uci.edu ataupun dataset dari kaggle, netflix atau repositori lainnya. c. Diperbolehkan dari data awal dari open data dalam negeri seperti Portsl Satu Data data.go.id. •



Penilaian a. Kemajuan berkala (per minggu) b. Hasil akhir aplikasi berupa aplikasi web yang dideploy di suatu cloud.



Jadwal pelaksanaan adalah sebagai berikut. Minggu



Tanggal



Materi



Yang dikumpulkan



Batas



1



31-7-2021 dan 1-82021



Pembentukan Kelompok



Daftar Anggota kelompok



6-82021



2



7-8-2021 dan 8-82021



Metodologi Science



Deskripsi Masalah (draft)



13-82021



3



14-8-2021 dan 15-82021



Business Understanding Data Understanding1



-Perbaikan Deskripsi Masalah Hasil Telaahan Data (Statistik)



20-82121



4



21-8-2021 dan 22-82021



Data Understanding2 Data Preparation-1



-



5



28-8-2021 dan 29-82021



Data Preparation-2 Data Preparation-3



-



Hasil Perbaikan Data a. Normalisasi/Transformasi b. Feature Engineering



3-92021



6



4-9-2021 dan 5-92021



Membangun Model1 Klasifikasi



Model Klasifikasi dan/ atau Regresi



10-92021



Data



-



Hasil Telaahan (Visualisasi) Hasil Perbaikan (Cleansing)



Data Data



Membangun Model2 Regresi 7



11-9-2021 dan 12-92021



Membangun Model3 Clustering Membangun Model ANN



8



18-9-2021 dan 19-92021



Evaluasi Deployment



-



Model Clustering Model ANN



17-92021



Aplikasi Web



26-92021



-



2. Pemasangan Tools yang Diperlukan dalam Pembelajaran Beberapa tools yang akan dipergunakan selama pembelajaran adalah sebagai berikut: •



Python



•



Development Environment: o Google Colab (https://colab.research.google.com/). ○ Jupyter Notebook (https://jupyter.org/)



● Library python seperti ○ NumPy, ○ SciPy, ○ Pandas, ○ Matplotlib, ○ Seaborn, ○ Scikit-learn 2.1 Instalasi python Interpreter bahasa python dapat didownload sesuai dengan sistem operasi yang dipergunakan di situs http://www.python.org/downloads/windows/ Untuk sistem Windows, tergantung dari versi windows yang dipergunakan maka pemasangan dapat dilakukan dengan mengikuti Langkah sebagai berikut. •



Pilih versi stabil (stable version) yang akan didownload, yaitu: python-3.9.6 atau python-3.8.10



•



Buka (dengan melakukan klik 2x) file installer python yang baru saja didownload



•



Ikuti langkah instalasi sampai selesai



•



Lakukan pengujian apakah python berhasil terpasang dengan membuka promp Command > lalu mengetikkan python atau pyton3



•



Jika terpasang maka akan ditampilkan versi pythonnya



2.2 Instalasi Library python Sementara library python yang akan dipasang dapat dilakukan dengan melalui pip atau conda. 2.2.1 Menggunakan pip



Dari command prompt lakukan



Contoh pip install numpy pip install scikit-learn



Untuk setiap library yang diperlukan silakan lakukan instalasi. 2.2.2 Menggunakan anaconda Anaconda



dapat



didownload



https://docs.anaconda.com/anaconda/install/windows/



dari Lakukan



situs instalasi



sesuai urutan di bawaah ini. •



Unduh Anaconda Installer dari situs tersebut



•



Klik dua kali file installer yang telah diunduh untuk menjalankannya



•



Tekan “I Agree” setelah membaca informasi tentang lisensi



•



Pilih instalasi tunggal (“Just Me”) dam tekan tombol Next



•



Pilih folder tujuan untuk instalasi



•



Pilih apakah akan menambahkan Anaconda ke dalam variable environment PATH.



•



Pilih apakah akan menjadikan Anaconda sebagai default



•



Tekan tombol Install dan tekan Next



•



Jika sudah terpasang dengan baik akan ditampilkan boks dialog sebagai berikut.



Anaconda juga dapat dipasang melalui command prompt conda install



2.3 Instalasi Lingkungan Pengembangan Terdapat dua lingkungan yang akan dipergunakan yaitu google colab dan Jupyter Notebook. 2.3.1 Google Colab Seperti layanan Google lainnya, Google Colab merupakan sebuah layanan cloud sehingga untuk menggunakannya pengguna haraus terhubung dengaan internet. Layanan ini dapat dipergunakan untuk menulis dan mengeksekusi Python di browser anda tanpa mengkonfigurasi, dapat menggunakan GPU, dan dapat di-share dengan rekan kerja. Pergunakan link https://colab.research.google.com di browser anda untuk mengakses google colab.



2.3.2 Jupyter Notebook Berbeda dengan Google Colab, Jupyter Notebook adalah lingkungan pengembangan local sehingga dapat dipergunakan tanpa terhubung dengan internet. Akibatnya kemampuannya sangat tergantung pada kemampuan peralatan computer pribadi yang dipergunakan. Jupyter notebook juga dapat dipasang dengan berbagai cara. Dua di antaranya adalah melalui pip dan melalui Anaconda. Jika menggunakan pip maka di command prompt lakukan perintah pip install jupyter



Untuk mengaktifkan jupyter notebook lakukan perintah di bawah ini pada command prompt: Jupyter notebook Window akan muncul sebagai berikut.



Sementara jika sudah memiliki Anaconda Navigator jika sudah memiliki Anaconda Navigator, bisa dilihat apakah status Launch atau Install. Jika install maka berarti belum terpasang dan untuk memasangnya silakan klik satu kali pada pilihan jupyter notebook. Jika sudah terpasang (status Launch) silakan di-klik Launch untuk menjalankan/ mengaktifkan.



Jupyter notebook siap dipergunakan jika tampilan seperti di bawah ini terlihat.



Untuk masuk ke notebook Python untuk menggunakannya dapat dengan memilih tombol New seperti di bawah ini.



Lingkungan pemrograman python akan muncul seperti ini.



Tugas Dan Proyek Pelatihan 1. Instalasi berbagai tools aplikasi yang diperlukan 2. Menjalankan program python (hello word) Link Referensi Modul Pertama 1. Dokumen siabus Thematic Academy Digital Talent Scholarship Artificial Intelligence untuk Instruktur, Kementerian Komunikasi dan Informatika, 2021 2. Standard Kompetensi Kerja Nasional Indonesia No 299 Tahun 2020 Bidang Keahlian Artificial Intelligence sub bidang Data science: https://skkni.kemnaker.go.id/tentang-skkni/dokumen 3. https://www.anaconda.com 4. https://jupyter.org 5. https://colab.research.google.com 6. https://www.python.org 7. https://numpy.org 8. https://scikit-learn.org 9. https://pandas.pydata.org 10. https://www.scipy.org 11. https://matplotlib.org 12. https://seaborn.pydata.org Link Pertanyaan Modul Ketiga



Bahan Tayang Power Point



Link room Pelatihan dan Jadwal live sesi bersama instruktur Zoom



Penilaian Komposisi penilaian Tugas Pengantar Pelatihan: Nilai 100



Target Penyelesaian Modul Pertama 1 hari / sampai 6 JP