Tugas Bu Wita Terbaru [PDF]

Citation preview

Daftar isi Daftar isi Kata pengantar BAB I PENDAHULUAN 1.1 Latar Belakang 1.2 Rumusan masalah 1.3 Tujuan BAB II PEMBAHASAN 2.1 Latar belakang kemunculan data yang berlimpah (Human, Social and Internet of Things) 2.2 Sifat Big Data (Volume, Variety, Velocity, Value) 2.3 Kompleksitas Big Data 2.4 Framework Big Data berdasarkan kondisi State of The Art saat ini 2.5 Siklus manajemen data dan data warehouse 2.6 Contoh kasus ekstraksi insight dan pattern dari Big Data dalam berbagai bidang aplikasi BAB III PENUTUP 3.1 Kesimpulan 3.2 Penutup



Kata Pengantar Puji syukur kehadirat Allah SWT yang telah memberikan rahmat dan hidayah-Nya sehingga kami dapat menyelesaikan tugas makalah yang berjudul big data ini tepat pada waktunya. Adapun tujuan dari penulisan dari makalah ini adalah untuk memenuhi tugas dosen pada mata kuliah Big data. Selain itu, Kami mengucapkan terima kasih kepada ibu dosen, selaku dosen mata kuliah Big Data yang telah memberikan tugas ini sehingga dapat menambah pengetahuan dan wawasan sesuai dengan bidang studi yang kami tekuni. Kami juga mengucapkan terima kasih kepada semua pihak yang telah membagi sebagian pengetahuannya sehingga kami dapat menyelesaikan makalah ini. Kami menyadari, makalah yang saya tulis ini masih jauh dari kata sempurna. Oleh karena itu, kritik dan saran yang membangun akan saya nantikan demi kesempurnaan makalah ini.



BAB I PENDAHULUAN 1.1 Latar Belakang Saat ini data merupakan suatu asset yang berharga. Perkembangan pesat penggunaan data dalam kehidupan sehari-hari menimbulkan kebutuhan akan manajemen penyimpanan data menjadi hal yang sangat penting. Basis data tradisional yang umum digunakan saat ini memiliki keterbatasan dalam penyimpanan data. Teknologi big data merupakan suatu solusi yang saat ini menjadi jawaban atas keterbatasan basis data tradisional dalam mengelola data yang sangat besar baik dari sisi metode penyimpanan ataupun kecepatan akses (Storey & Song, 2017). Dengan menerapkan big data sebagai media penyimpanan, organisasi ataupun perusahaan terkait memerlukan ruang secara fisik dengan ukuran yang cukup besar, selain itu dana dalam pemeliharaan server pun menjadi suatu kendala dalam penerapan big data. Cloud computing merupakan sarana yang dapat dimanfaatkan sebagai media penyimpanan big data. Cloud computing memungkinkan pengguna melakukan penyimpanan data dalam skala yang besar dengan memanfaatkan komputasi yang baik juga arsitektur yang kuat untuk. Selain itu, penggunaan cloud server dapat disesuaikan dengan kebutuhan pengguna sehingga akan meminimalisir biaya penggunaan dan pemeliharaan (Hashem, et al., 2015). Dengan pengelolaan data yang tepat, perusahaan dapat melakukan analisa terhadap data yang dimiliki untuk menentukan keputusan yang tepat untuk diambil berdasarkan data historis yang dimiliki. Oleh karena itu, manajemen penyimpanan data merupakan suatu tantangan saat ini dimana memiliki standar terhadap kapasitas media penyimpanan, kinerja media penyimpanan, fungsionalitas dan fleksibilitas dari media penyimpanan tersebut. (Hashem, et al., 2015) 1.2 Rumusan Masalah 1.3 Tujuan 1.3.1



Tujuan Umum



1.3.2



Tujuan Khusus : 1. Untuk mngetahui apa itu latar belakang dari kemunculan data yang berlimpah seperti Human, Social dan Internet of Thing?



2. Untuk mengetahui apa itu sifat Big Data seperti Volume, Variety, Velocity, dan Value? 3. Untuk mengetahui apa itu Kompleksitas Big Data ? 4. Untuk mengetahui apa itu Framework Big Data berdasarkan kondisi State of The Art saat ini ? 5. Untuk Mengetahui apa itu Siklus Manajemen data dan data Warehouse.



BAB II PEMBAHASAN 2.1 Latar Belakang Kemunculan Data Yang Berlimpah Menurut (Burange & Misalkar, 2015) Internet of Things (IOT) adalah struktur di mana objek, orang disediakan dengan identitas eksklusif dan kemampuan untuk pindah data melalui jaringan tanpa memerlukan dua arah antara manusia ke manusia yaitu sumber ke tujuan atau interaksi manusia ke komputer. Internet of Things merupakan perkembangan keilmuan yang sangat menjanjikan untuk mengoptimalkan kehidupan berdasarkan sensor cerdas dan peralatan pintar yang bekerjasama melalui jaringan internet (Keoh, Kumar, & Tschofenig, 2014). Sejak mulai dikenalnya internet pada tahun 1989, mulai banyak hal kegiatan melalui internet, Pada tahun 1990 John Romkey menciptakan 'perangkat', pemanggang roti yang bisa dinyalakan dan dimatikan melalui Internet. Wear Cam diciptakan pada tahun 1994 oleh Steve Mann. Pada tahun 1997 Paul Saffo memberikan penjelasan singkat pertama tentang sensor dan masa depan. Tahun 1999 Kevin Ashton menciptakan The Internet of Things, direktur eksekutif Auto IDCentre, MIT. Mereka juga menemukan peralatan berbasis RFID (Radio Frequency Identification) global yang sistem identifikasi pada tahun yang sama. Penemuan ini disebut sebagai sebuah lompatan besar dalam commercializing IoT. Tahun 2000 LG mengumumkan rencananya menciptakan kulkas pintar yang akan menentukan sendiri apakah bisa atau tidak makanan yang tersimpan di dalamnya diisi ulang. Pada tahun 2003 RFID mulai ditempatkan pada tingkat besar besaran di militer AS di Program Savi mereka. Pada tahun yang sama melihat raksasa ritel Walmart untuk menyebarkan RFID di semua tokotoko di seluruh dunia untuk lebih besar batas. Pada tahun 2005 arus publikasi utama seperti The Guardian, Amerika ilmiah dan Boston Globe mengutip banyak artikel tentang IOT. Pada tahun 2008 kelompok perusahaan meluncurkan IPSO Alliance untuk mempromosikan penggunaan Internet Protocol (IP) dalam jaringan dari "Smart object" dan untuk mengaktifkan Internet of Things. Pada tahun 2008 FCC menyetujui penggunaan “white space spectrum”. Akhirnya peluncuran IPv6 di tahun 2011 memicu pertumbuhan besar di bidang Internet of Things, perkembangan ini didukung oleh perusahaan raksasa



seperti Cisco, IBM, Ericson mengambil inisiatif banyak dari pendidikan dan komersial dengan IOT teknologi dapat hanya dijelaskan sebagai hubungan antara manusia dan komputer. Perkembangan Internet of Things, semua peralatan yang kita gunakan dalam kehidupan kita sehari hari dapat dikendalikan dan dipantau menggunakan IOT. Mayoritas proses dilakukan dengan bantuan sensor di IOT. 2.2 Sifat Big Data 1. Variety (keragaman data) Memuat beragam jenis file, baik yang terstruktur maupun yang tidak terstruktur. Analisis terhadap data yang tidak terstruktur akan memerlukan algoritma yang agak berbeda, seperti data teks, gambar, suara, dan video. 2. Volume Sekumpulan data dalam jumlah dan volume yang sangat besar dan kadang tidak terstruktur. Contohnya feed Twitter, feed Istagram, data teks chat dan status Whatsapp, alur klik user dari halaman web. Arus data-data tersebut bisa berukuran hingga ribuan Terrabyte (TB) per detiknya 3. Velocity Data dapat diakses dengan kecepatan yang sangat cepat sehingga dapat langsung digunakan pada detik itu juga. Sejak era cloud storage dan cloud computing berkembang beberapa tahun terakhir, pengguna internet sudah merasakan fasilitas kecepatan akses data ini. Salah satu buktinya antara lain, adanya sistem operasi online berbasis Microsoft Silverlight,



aplikasi



perkantoran



(office)



berbasis web seperti



Office365, cloud



storage seperti Dropbox dan GDrive, kecepatan akses halaman web berbasis Javascript, aplikasi menggambar desain berbasis web seperti Pixlr, aplikasi developer Android Apps berbasis web seperti Kodular dan MIT App Inventor, aplikasi perancang flowchart seperti Draw.io, dan masih banyak lagi. 4. Value Nilai sebuah data menentukan keputusan yang kita ambil setelah memproses seluruh data. Dalam dunia bisnis, sangat penting untuk mengetahui nilai dari sebuah data. Tanpa mengetahui nilai dari sebuah data, maka kita akan kesulitan atau bahkan salah dalam



mengambil langkah selanjutnya. Pemanfaatan nilai data yang tepat akan membuat bisnis menjadi lebih efisien. 2.3 Kompleksitas Big Data Kompleksitas Big Data yaitu big data mampu mengatasi banyaknya data yang perlu dicocokkan, dihubungkan, diubah ataupun dibersihkan. Data perlu diperlakukan demikian karena data berasal dari berbagai sumber yang berbeda. Big data sangat berperan dalam mencari korelasi ataupun keterkaitan antara data satu dan data lainnya. Dalam skenario secara hipotetis, yang tentu saja merupakan penyederhanaan besar mengingat jumlah variabel yang dapat dipertimbangkan, untuk menggambarkan konteks antara Big Data dan tantangan mengelola kompleksitas. Dimulai dengan skenario sederhana dan menambahkan secara bertahap lebih detail , konteks tambahan dan titik referensi, dinilai apakah informasi tambahan dapat memberikan lebih banyak konteks, dan berpotensi dapat menciptakan kompleksitas, atau jika lebih detail ( Big Data ) mengaktifkan dan menyederhanakan pengambilan keputusan dalam skenario komplek. 2.4 Framework Big Data Berdasarkan State Of The Art Saat Ini Big data memungkinkan pengguna dalam menjalankan query dalam kumpulan data yang besar dengan hasil yang ditampilkan dalam jangka waktu yang singkat dan cloud computing membantu proses tersebut melalui teknologi Hadoop (Hashem, et al., 2015). Hadoop merupakan suatu framework yang memungkinkan dalam pemrosesan kumpulan data yang sangat besar dengan komputasi yang terdistribusi. Dengan menggunakan teknologi Hadoop, kumpulan data yang besar akan diproses dengan menggunakan sekumpulan server dan sistem file terdistribusi yang telah disediakan oleh Hadoop sehingga dapat membantu dalam kecepatan transfer data (Venkatesh, Perur, & Jalihal, 2015). Cloud computing pun menawarkan skalabilitas untuk penggunaan sumber daya, biaya administrasi yang rendah, fleksibilitas dalam pengelolaan biaya, dan mobilitas untuk pengguna. Selain itu, terdapat komponen dari big data yang terkait dengan cloud computing seperti sistem file untuk penyimpanan data besar yang diimplementasikan dalam layer IaaS, DBMS untuk mengatur data yang dapat dilihat antara layer IaaS dan layer PaaS, suatu perangkat untuk mendistribusikan



beban komputasi yang terkait dengan layer PaaS dan sistem query untuk menghasilkan informasi yang berlokasi di antara layer PaaS dan layer SaaS (Fernández, et al., 2014). 2.5 Siklus Manajemen Data Dan Data Warehouse 1. Siklus Manajemen Data Data yang diolah untuk menghasilkan informasi menggunakan model proses yang tertentu. Misalkan suhu dalam fahrenheit diubah ke celcius. Dalam hal ini digunakan model matematikberupa rumus konversi dari derajat fahrenheit menjadi satuan derajat celcius. Data yang diolah melalui suatu model menjadi informasi, kemudian penerima menerima informasi tersebut, yang berarti menghasilakan keputusan dan melakukan tindakan yang lain yang akan membuat sejumlah data kembali. Data tersebut akan ditangkap sebagai input, diproses kembali lewat suatu model dan seterusnya yang disebut dengan siklus informasi (information cycle). Siklus ini juga disebut dengan siklus pengolahan data (data processing cycles). (Japerson Hutahaean, 2015:10-11).



2. Data Warehouse Teknologi data warehouse yang dapat dimanfaatkan dalam bisnis maupun lembaga, organisasi, atau pun korporasi memiliki kemampuan dalam mengumpulkan data dalam kurun waktu tertentu dan dari berbagai sumber, dan informasi hasil



pengolahan data warehouse dapat dimanfaatkan untuk mendukung pengambilan keputusan cepat. Aplikasi pusat data pada data warehouse dengan mengumpulkan berbagai data, informasi, dan pengetahuan dalam kurun waktu tertentu mampu memenuhi kebutuhan pencarian cepat atau query, pelaporan rutin dan berkala atau reporting, dan data mining. Menurut teori dari Han Jiawei (2011) yang mengatakan bahwa data warehouse adalah tempat penyimpanan informasi yang dikumpulkan dari berbagai sumber, disimpan dalam skema yang terpadu dan biasanya berada dalam suatu lokasi / situs. Dengan



demikian,



teknologi data



warehouse dapat



dimanfaatkan



untuk



mendukung pengambilan keputusan cepat, termasuk membantu memberikan informasi dan pengetahuan yang lebih akurat dalam membuat suatu keputusan strategis. Sebagai tahap awal, diperlukan suatu analisis dan perancangan data warehouse untuk mendukung keputusan. Karakteristik Data Warehouse Berdasarkan definisi yang dikemukakan Han Jiawei (2011) tentang data warehouse, maka data warehouse mempunyai empat buah karakteristik yaitu : 1.



Subject Oriented Data warehouse diorganisasikan ke dalam banyak subject yang utama seperti customer, product, dan sales. Data warehouse tidak berkosentrasi pada kegiatan operasional sehari-hari dan proses transaksi pada suatu organisasi, data warehouse fokus terhadap modeling dan analisis data untuk pengambilan keputusan, oleh karena itu, data warehouse menghasilkan pandangan sederhana dan ringkasan terhadap subject tertentu dan mengabaikan data yang tidak relevant terhadap proses pendukung keputusan.



2.



Integrated Data Warehouse biasanya dibangun dengan mengintegrasikan sumber data yang berbeda-beda, seperti relational database, flat files , dan online transactional. Teknik data cleaning dan data integration digunakan untuk memastikan konsistensi dalam konvesi penamaan, struktur pengkodean, ukuran atribut, dan sebagainya. 



3.



Non-volatile



Data warehouse secara fisik memisahkan pengumpulan data dari aplikasi data yang ditemukan dalam operational environment. Di dalam pemisahan data warehouse tidak memerlukan proses transaksi, recovery, dan concurency control mechanism. Biasanya hanya membutuhkan dua operasi dalam mengakses data, initial loading data dan access of data. 4.



Time variant Data disimpan untuk memberikan informasi dari perspektif history (misalnya, 5-10 tahun terakhir). Setiap struktur kunci dalam data warehouse berisi baik secara implisit maupun eksplisit elemen waktu. Komponen Data Warehouse



1. Source Data Source data merupakan gudang data dari berbagai sumber, yakni dari data internal, data eksternal, archived, dan lain-lain. 2. Data Stagging Data yang diekstrak dan load dalam format yang sama yang tidak merubah nilai data. 3. Data Storage Media penyimpanan data yang dihasilkan dari data stagging. 4. Metadata Komponen yang memberi penjelasan  tentang data melebihi kamus data. Metadata terbagi atas Metadata Operasional, Metadata Transformasi & Ekstrak, serta Metadata User. 5. Information Delivery Penyampaian informasi pada pengguna yang mana terdapat teknik online, infraned serta email. 6. Management and Control Merupakan pengelolaan serta pengendalian yang ada pada data stagging serta metadata.



2.6



Contoh Kasus Ekstraksi Insight Dan Pattern Dari Big Data Dalam Berbagai Bidang Aplikasi Jurnal penelitian : Implementasi Big Data Pada Data Transaksi Tiket Elektronik Bus Rapid Transit (BRT) Bagas Prakasa : Teknologi Jaringan, Departemen Teknik Elektro dan Informatika, Sekolah Vokasi, Universitas Gadjah Mada Jl, Yacaranda Sekip Unit IV, Yogyakarta 55281 Indonesia Salah satu bentuk angkutan massal yang ada di Indonesia adalah Bus Rapid Transit (BRT). Penerapan tiket elektronik pada BRT telah diterapkan sejak tahun 2013 hingga saat ini. Data yang dihasilkan dari transaksi tiket elektronik tersebut dapat dikelola untuk memperbaiki rute dan pelayanan dengan lebih maksimal sesuai dengan kebutuhan dari pengguna BRT. Namun, terdapat masalah yaitu data yang dihasilkan dari transaksi tiket elektronik tersebut sangat besar mencapai ratusan gigabyte. Oleh karena itu diperlukan teknologi yang mampu malakukan proses pengolahan, penyimpanan dan analisis data dalam beragam bentuk/format, berjumlah besar dan pertambahan data yang sangat cepat yaitu big data. Dalam penelitian ini akan dibangun infrastruktur big data yang terdiri dari tiga teknologi utama yaitu Apache Kafka, Apache Spark dan Apache Cassandra. Integrasi dari ketiga teknologi tersebut akan membentuk workflow yang mampu mengelola data transaksi tiket elektronik BRT menjadi informasi mengenai asal-



tujuan penumpang. API dari Apache Spark yaitu Spark Streaming sebagai data streaming process akan dikombinasikan dengan java regular expression untuk ekstraksi log data transaksi BRT secara near-realtime. Data ekstraksi akan disimpan pada Apache Cassandra, diolah oleh Apache Spark dan divisualisasikan menggunakan salah satu Business Intelegence tool yaitu Tableau. Informasi yang disajikan Tableau yaitu informasi mengenai asal-tujuan penumpang dalam bentuk grafik.



BAB III PENUTUP 3.1 Kesimpulan Sebagaimana yang diutarakan oleh Burange & Misalkar, 2015 Internet of Things (IOT) adalah struktur di mana objek, orang disediakan dengan identitas eksklusif dan kemampuan untuk pindah data melalui jaringan tanpa memerlukan dua arah antara manusia ke manusia yaitu sumber ke tujuan atau interaksi manusia ke komputer. Internet of Things merupakan perkembangan keilmuan yang sangat menjanjikan untuk mengoptimalkan kehidupan berdasarkan sensor cerdas dan peralatan pintar yang bekerjasama melalui jaringan internet (Keoh, Kumar, & Tschofenig, 2014). Dan terdapat kompleksitas Big Data yaitu big data mampu mengatasi banyaknya data yang perlu dicocokkan, dihubungkan, diubah ataupun dibersihkan. Data perlu diperlakukan demikian karena data berasal dari berbagai sumber yang berbeda. Teknologi data warehouse yang dapat dimanfaatkan dalam bisnis maupun lembaga, organisasi, atau pun korporasi memiliki kemampuan dalam mengumpulkan data dalam kurun waktu tertentu dan dari berbagai sumber Dengan demikian perusahaan harus dapat mengolah data yang perusahaan terima sehingga perusahaan dapat menjadikan data ini sebagai kumpulan informasi dan mendapat keuntungan dari Big Data yang telah di kelola agar perusahaan dapat merencanakan strategi untuk kedepannya, pengambilan keputusan maupun forescasting dan keuntungan lainnya. 3.2 Saran Semoga makalah ini dapat bermanfaat bagi para pembaca. Jika masih terdapat kekurangan dalam penyusunan makalah ini, maka kami berharap dapat kita diskusikan bersama. Semoga makalah ini dapat bermanfaat bagi kita semuanya dan sebagai pedoman untuk belajar.



Daftar Pustaka Apri Junaidi Jurnal Ilmiah Teknologi Informasi Terapan Volume I, No 3, 10 Agustus 2015 http://journal.uinjkt.ac.id/index.php/ti/article/view/8560 Bagas Prakasa jurnal Teknologi Jaringan, Departemen Teknik Elektro dan Informatika, Sekolah Vokasi, Universitas Gadjah Mada Indrajani,S.Kom.,MM.(2011).Pengantar dan Sistem Basis Data.PT Elex Media Komputindo,Jakarta