![Handbook of BPS-QAF [PDF]](https://pdfs.asia/img/200x200/handbook-of-bps-qaf.jpg)
12 0 12 MB
PEDOMAN
KERANGKA PENJAMINAN KUALITAS DATA STATISTIK HANDBOOK OF DATA STATISTICAL QUALITY ASSURANCE FRAMEWORK
Kata Pengantar Sejalan dengan peningkatan ragam produk statistik yang dihasilkan, BPS selalu berupaya meningkatkan kualitas dan pelayanan data/informasi statistik yang lebih cepat (faster), murah (cheaper), mudah diperoleh (easier), dan berkualitas (better) dalam rangka mewujudkan visi BPS sebagai Pelopor Data Statistik Terpercaya Untuk Semua. Dalam rangka mewujudkan data/informasi statistik yang lebih berkualitas, BPS merujuk pada Kerangka Penjaminan Kualitas Nasional (National Quality Assurance Framework, NQAF) dari United Nations Statistical Division (UNSD) dengan memperhatikan bentuk-bentuk penerapan penjaminan kualitas yang diselenggarakan oleh National Statistical Office (NSO) lainnya. Pedomanpedoman tersebut selanjutnya dirangkai dalam suatu “Buku Pedoman Kerangka Penjaminan Kualitas Statistik BPS” (Handbook of BPS-QAF). Panduan ini menyajikan dimensi dan indikator kualitas statistik berikut tata cara pengukuran kualitas data/informasi yang dihasilkan BPS dari sisi output. Panduan ini sekaligus menjadi pedoman yang harus dipatuhi Subject Matter di BPS ketika melakukan sebuah kegiatan statistik. Informasi dalam buku ini disusun secara sederhana dengan harapan agar mudah dimengerti dan dipahami, sehingga lebih mudah diimplementasikan. Semoga buku ini dapat bermanfaat sebagai pedoman umum penjaminan kualitas statistik terutama bagi para Subject Matter di BPS, dan umumnya bagi semua pihak yang akan menyelenggarakan kegiatan statistik. Jakarta, Oktober 2015 KEPALA BADAN PUSAT STATISTIK REPUBLIK INDONESIA
Dr. Suryamin, M.Sc.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
iii
SEKILAS Pedoman Kerangka Penjaminan Kualitas Statistik BPS (Handbook of Quality Assurance Framework BPS, BPS-QAF) A.
Apakah Pedoman Kerangka Penjaminan Kualitas Statistik BPS?
Buku pedoman umum mengenai pelaksanaan pengukuran kualitas dari sisi output terhadap data/informasi statistik yang dihasilkan BPS, dalam rangka penjaminan kualitas statistik BPS. B.
Apa isinya?
Mencakup (1) penjelasan singkat mengenai pengertian kerangka penjaminan kualitas statistik, (2) konsep/definisi dari 6 dimensi kualitas yang digunakan BPS termasuk indikator dan standar ukuran kualitas di dalamnya, (3) tata cara pengukuran kualitas suatu output statistik, serta (4) bentuk pelaporan dan evaluasi hasil pengukuran kualitas. C.
Apa manfaat buku ini?
Sebagai pedoman bagi BPS untuk mengukur kualitas output statistik yang dihasilkan secara obyektif, transparan, dan berdasarkan standar internasional. Pedoman ini harus digunakan oleh setiap Subject Matter di BPS ketika melakukan kegiatan statistik, baik sensus, survei, pendataan administratif, maupun kompilasi statistik. D.
Apa kegunaannya bagi users?
Sebagai penjaminan kepada users bahwa output statistik yang dihasilkan BPS telah memenuhi persyaratan-persyaratan kualitas yang berstandar internasional, sehingga akan lebih meningkatkan kepercayaan mereka, sekaligus meningkatkan kredibilitas BPS sebagai lembaga penyedia data statistik resmi (official statistics).
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
v
Daftar Isi Kata Pengantar ................................................................................................................. iii Sekilas Pedoman Kerangka Penjaminan Kualitas Statistik BPS ...................... v Daftar Isi .............................................................................................................................. vii Daftar Tabel ....................................................................................................................... ix Daftar Gambar .................................................................................................................. ix Daftar Singkatan dan Akronim ................................................................................... xi Bab I
Kerangka Penjaminan Kualitas Statistik ................................. 1 1. Mengapa penjaminan kualitas penting? .................................... 3 2. Pengertian kerangka penjaminan kualitas statistik (QAF) ... 3 3. Standar QAF secara internasional ................................................. 10 4. Pembangunan QAF di BPS ............................................................... 15
Bab II
Dimensi Kualitas Statistik ........................................................ 25 1. Pengertian dan penentuan dimensi kualitas ............................ 27 2. Ragam dimensi kualitas yang digunakan BPS .......................... 27 3. Ragam indikator kualitas dalam dimensi ................................... 38 4. Snapshot BPS-QAF .............................................................................. 41 5. Mapping Link antara dimensi kualitas dan GSBPM ................. 42
Bab III
Instrumen Pengukuran Kualitas Statistik ............................... 65 1. Matriks standar ukuran-ukuran kualitas menurut dimensi.. 67 2. Template kuesioner pengukuran kualitas statistik .................. 91
Bab IV
Implementasi Pengukuran Kualitas Statistik ......................... 93 1. Tahapan implementasi ...................................................................... 95 2. Teknik penghitungan tingkat kualitas ......................................... 103 3. Bentuk pelaporan ............................................................................... 108
Bab V
Penutup ..................................................................................... 111 1. Kesimpulan ............................................................................................ 113 2. Pengembangan Handbook .............................................................. 113
Glossary............................................................................................................................... Daftar Pustaka..................................................................................................................... Lampiran..............................................................................................................................
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
115 121 125
vii
Daftar Tabel Tabel 1. Perkembangan aktivitas pembangunan BPS-QAF ........................ 16 Tabel 2.1 Perbandingan dimensi kualitas antar beberapa NSO terpilih ... 28 Tabel 2.2 Ragam indikator kualitas menurut dimensi ...................................... 39 Tabel 2.3 Penjelasan makna setiap indikator kualitas menurut dimensi ... 39 Tabel 2.4 Pemetaan matrik GSBPM dan dimensi kualitas ............................... 64 Tabel 3.1 Standar pengukuran kualitas statistik menurut dimensi dan indikator kualitas ......................................................................................... 68 Tabel 4.1 Pemetaan tahapan GSBPM menurut survei, sensus, administratif, dan kompilasi statistik .................................................. 97 Tabel 4.2 Besaran weighting dimensi dan indikator jika pengukuran kualitas dilakukan menurut dimensi kualitas ................................... 102 Tabel 4.3 Ilustrasi pengukuran kualitas menurut dimensi dan indikator kualitas ............................................................................................................ 105 Tabel 4.4 Tingkat kualitas menurut tahapan proses bisnis dan dimensi kualitas ............................................................................................................ 107
Daftar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar Gambar
1.1 Pergerakan berkelanjutan pada siklus PDCA ............................. 8 1.2 Empat komponen penjaminan kualitas dalam NQAF ............ 14 1.3 Roadmap pembangunan BPS-QAF tahun 2014-2019 ............ 16 1.4 Contoh penentuan Q-G pada survei Susenas ............................ 23 2.1 Snapshot BPS-QAF ............................................................................... 42 2.2 Generic Statistical Business Process Model (GSBPM) Version 5.0 ............................................................................................................... 45 2.3 Rincian sub-proses pada tahapan penentuan kebutuhan ... 46 2.4 Rincian sub-proses pada tahapan perancangan ...................... 48 2.5 Rincian sub-proses pada tahapan pembangunan ................... 50 2.6 Rincian sub-proses pada tahapan pengumpulan data ......... 51 2.7 Rincian sub-proses pada tahapan pengolahan ........................ 53 2.8 Rincian sub-proses pada tahapan analisis .................................. 55 2.9 Rincian sub-proses pada tahapan diseminasi ........................... 56 2.10 Rincian sub-proses bisnis pada tahapan evaluasi .................... 58 4.1 Tahapan implementasi pengukuran kualitas ............................. 95 4.2 Spider Chart Capaian Kualitas menurut Dimensi ....................... 107
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
ix
Daftar Singkatan dan Akronim ARC BPS BPS-QAF GSBPM KBBI KPKS IBS ISBR ISO MK Monev NQAF NSO PDCA PES PST Q-D Q-G QAF SA SDM Silatik SIRuSa SKD SOP SM UNECE UNSC UNSD
: : : : : : : : : : : : : : : : : : : : : : : : : : : : :
Advance Release Calendar Badan Pusat Statistik BPS-Quality Assurance Framework Generic Statistical Business Process Model Kamus Besar Bahasa Indonesia Kerangka Penjaminan Kualitas Statistik Survei tahunan perusahaan industri besar sedang Indepth-Study Beban Responden International Standards Organization Monitoring Kualitas Monitoring dan Evaluasi National Quality Assurance Framework National Statistical Office Plan Do Check Act Post Enumeration Survey Pelayanan Statistik Terpadu Quality Declaration Quality Gates Quality Assurance Framework Self Assesment Sumber Daya Manusia Sistem Informasi Layanan Statistik Sistem Rujukan Statistik Survei Kebutuhan Data Standard Operation Procedure Subject Matter United Nations Economic Commision for Europe United Nations Statistical Commision United Nations Statistical Division
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
xi
BAB
1 Kerangka Penjaminan Kualitas Statistik
Bab I Kerangka Penjaminan Kualitas Statistik
1.
Mengapa Penjaminan Kualitas Penting?
Seiring peningkatan kebutuhan akan data/informasi statistik yang dihasilkan BPS, BPS berkewajiban memberi jaminan kepada para pengguna bahwa data/ informasi tersebut mampu memenuhi kebutuhan pengguna sesuai dengan kaidah perstatistikan, dan telah memenuhi persyaratan-persyaratan yang seharusnya dilakukan dalam proses produksinya. Sehingga para pengguna dengan penuh keyakinan dapat memanfaatkan data/informasi tersebut dalam beragam kebutuhan mereka. Selain sebagai amanah Undang-undang Nomor 16 Tahun 1997 (tentang Statistik) kepada BPS sebagai lembaga penyedia data, penjaminan kualitas telah menjadi kebulatan tekad seluruh aparatur BPS (pusat maupun daerah) yang tercantum dalam visi dan misi BPS. Dalam visinya, BPS bertekad menjadi pelopor data statistik TERPERCAYA untuk semua pihak. Untuk mewujudkan visi tersebut, salah satu misi yang dilaksanakan adalah meningkatkan KUALITAS pelayanan data statistik untuk semua pihak. Upaya tersebut semakin diperkuat dalam tahap implementasi yaitu terwujudnya Penjaminan Kualitas Data Statistik, sebagai tujuan utama dalam program Reformasi Birokrasi pada Area Perubahan ke-empat (Penataan Tata Laksana). Penjaminan kualitas juga telah menjadi tekad seluruh organisasi atau badan statistik di seluruh dunia (National Statistic Office, NSO), yang tercantum dalam Fundamental Principles of Official Statistics1. Dalam deklarasi tersebut, meskipun tidak dinyatakan secara eksplisit dalam the ten principles, namun seluruh NSO diharuskan memperhatikan kualitas statistik yang dihasilkan, serta lebih menekankan pada manajemen kualitas/mutu dalam penyelenggaraan statistik. Dari sisi pengguna (user), penjaminan kualitas akan meningkatkan keyakinan dan kepercayaan diri para pengguna ketika memanfaatkan data/informasi BPS. Hankley (dalam Beg and Hussain) menyatakan bahwa “tanpa data yang akurat, pengguna akan kehilangan kepercayaan terhadap database dan membuat keputusan-keputusan yang salah”. Sedangkan dari sisi penyedia (respondent), penjaminan kualitas akan meningkatkan partisipasi dan kontribusi mereka, serta hak-hak para responden akan dijamin ketika memberikan data/informasi kepada BPS.
2.
Pengertian Kerangka Penjaminan Kualitas Statistik (QAF)
Sebelum menjelaskan pengertian QAF, akan dijelaskan terlebih dahulu pengertian kualitas, penjaminan kualitas, dan manajemen kualitas. Penjelasan
1 Dideklarasikan oleh komisi statistik PBB (United Nations Statistics Division, UNSD) tahun 1994 Pedoman Kerangka Penjaminan Kualitas Statistik BPS
3
Bab I Kerangka Penjaminan Kualitas Statistik
ini penting sebagai langkah awal untuk mempermudah pembaca dalam memahami QAF. 2.1. Pengertian kualitas (Quality) Kata “quality” atau “kualitas” memiliki beragam pengertian. Dalam Kamus Besar Bahasa Indonesia (KBBI), kualitas berarti: (1) tingkat baik buruknya sesuatu; kadar, atau (2) derajat atau taraf (kepandaian, kecakapan, dsb); mutu. ISO 9000 (2005) mendefinisikan kualitas sebagai suatu tingkatan dimana gabungan dari semua karakteristik saling terkait (inherent characteristics) memenuhi persyaratanpersyaratan yang dibutuhkan. Menurut Juran (1989:16-17), kualitas merupakan ‘kesesuaian untuk penggunaan (fit for purpose)’ yang mencakup kemampuan produk untuk memenuhi kebutuhan konsumen dan bebas dari ketidakefisienan. Mengingat konsep kualitas yang begitu luas, maka cakupan konsep kualitas dalam buku ini lebih dikaitkan dengan output dari kegiatan statistik yang dilakukan BPS, baik berupa data atau informasi2. Dengan demikian, kualitas statistik yang dimaksud di sini adalah “kemampuan data/informasi statistik yang dihasilkan BPS memenuhi standar-standar kualitas dalam rangka memenuhi kebutuhan pengguna”. 2.2. Penjaminan kualitas (Quality Assurance, QA) Dalam Quality Glossary of Eurostat, QA dimaksudkan sebagai jaminan suatu organisasi bahwa produk atau jasa yang dihasilkan telah memenuhi standar kualitas. Sedangkan menurut ISO 9000 (2005), QA merupakan bagian dari manajemen kualitas yang difokuskan pada pemberian kepercayaan kepada pihak-pihak terkait, bahwa persyaratan kualitas telah dipenuhi. Dengan demikian, sebagai konsekuensinya, QA harus mencakup: •• Persyaratan-persyaratan kualitas statistik yang didokumentasikan secara eksplisit. •• Proses pengukuran QA didefinisikan dan diumumkan kepada semua staf, unit kerja, maupun pihak-pihak terkait. •• Implementasi dari proses pengukuran kualitas senantiasa dimonitor dengan baik secara berkesinambungan. •• Tingkat kualitas statistik yang diperoleh dari hasil pengukuran diinformasikan kepada para pengguna. •• Metode pengukuran kualitas yang digunakan senantiasa dikembangkan melalui perencanaan, implementasi, maupun evaluasi yang dilakukan secara baik dan memperhatikan perkembangan ilmu pengetahuan dan teknologi. 2 Cakupan statistik ini untuk mengakomodir adanya perbedaan pendapat, apakah output statistik yang dihasilkan BPS (termasuk NSO lainnya) berupa data ataukah informasi. Selain itu, pengukuran kualitas tidak hanya fokus pada output statistik saja, tapi juga memperhatikan tahapan proses dalam kegiatan statistik (dikenal sebagai Generic Statistical Business Process Model, GSBPM).
4
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
Ketika suatu organisasi melakukan suatu kegiatan statistik, Arumwaty (2011) mengusulkan tiga hal penting berkenaan dengan penjaminan kualitas, yaitu: •• Penjaminan input data/informasi Penjaminan ini terkait dengan sumber atau dari mana suatu data/informasi statistik diperoleh. Apakah melalui sensus/survei (berupa data primer), dari pihak lain (data sekunder), ataukah data administrasi? Oleh karena itu, kesediaan pihak lain (responden) untuk memberikan data/informasi statistik secara jujur dan benar merupakan kunci sukses penjaminan kualitas data/ informasi tersebut. Di sisi lain, perlu diperhatikan bahwa muatan kuesioner yang berlebihan, baik jumlah maupun jenis pertanyaan, dapat menjadi beban bagi responden yang pada akhirnya juga akan mempengaruhi kualitas. •• Penjaminan proses statistik (statistical process) Penjaminan proses statistik dimulai dari perencanaan hingga diperoleh hasil (output), meliputi kegiatan perencanaan, desain kuesioner, penyusunan metodologi, pengumpulan data, pengolahan, analisis, penyajian/diseminasi, dan evaluasi. Setiap tahapan tersebut harus diukur dan dijamin kualitasnya, karena hasil dari suatu tahapan akan berpengaruh terhadap proses dan kualitas pada tahapan berikutnya. •• Penjaminan kualitas produk (output) Meskipun kedua proses sebelumnya telah dijamin, namun output statistik yang dihasilkan (berupa data/informasi) juga harus tetap dijamin kualitasnya, untuk mereduksi dan atau menghilangkan error-error yang masih terjadi. Apakah penjaminan kualitas merupakan hal baru di BPS? Tidak. Pada dasarnya BPS telah melaksanakan banyak hal untuk menjamin kualitas statistik yang dihasilkan. Namun, istilah penjaminan kualitas mungkin masih merupakan hal baru bagi sebagian besar aparatur BPS. Sebagai contoh, dalam tahapan pelaksanaan kegiatan statistiknya, BPS telah melakukan antara lain: •• Menampung kebutuhan para pengguna data. Sebelum sebuah kegiatan statistik akan dilakukan, BPS senantiasa berkomunikasi dengan para pengguna utama (pemerintah maupun swasta) berkenaan dengan data/informasi apa saja yang mereka butuhkan. Misalnya, data/informasi apa saja yang dibutuhkan dari kegiatan Susenas. Hal ini bertujuan agar data/informasi yang dihasilkan benar-benar dapat digunakan dan bermanfaat bagi mereka. •• Penggunaan metode sampling yang tepat serta konsep/definisi berstandar internasional. Penggunaan metode sampling yang tepat sesuai kaidah perstatistikan,
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
5
Bab I Kerangka Penjaminan Kualitas Statistik
serta penggunaan konsep/definisi berstandar internasional senantiasa dilakukan BPS agar proses pengumpulan data dapat dilakukan secara tepat dan menghasilkan data/informasi yang akurat, serta dapat dibandingkan dengan negara-negara lain. •• Desain kuesioner sesuai standar internasional dan penggunaan buku pedoman pelaksana. Pada setiap kegiatan statistik terutama survei atau sensus, BPS selalu menggunakan kuesioner yang didesain sesuai standar internasional. Kuesioner berfungsi sebagai instrumen untuk memperoleh data/informasi statistik secara akurat. Oleh karena itu, item-item pertanyaan maupun konsep/definisi yang digunakan dalam kuesioner harus dapat dipahami secara mudah, baik oleh petugas maupun responden. Untuk itu, tatacara pengisian kuesioner maupun pelaksanaan survei/sensus senantiasa dilengkapi dengan buku pedoman pelaksana. Buku pedoman antara lain mencantumkan dasar hukum dan cakupan survei/sensus; konsep/definisi yang digunakan; metodologi pelaksanaan survei; tata cara pengisian kuesioner, pemeriksaan, dan pengolahan; serta informasi-informasi lain yang terkait dengan pelaksanaan survei/sensus tersebut. •• Pengumpulan data BPS mensyaratkan kualifikasi petugas, pelatihan/ refreshing, dan pengawasan. Penyelenggaraan survei/sensus BPS senantiasa mensyaratkan kualifikasi dari calon petugas yang akan dilibatkan, khususnya petugas mitra BPS. Kualifikasi tersebut antara lain mencakup tingkat pendidikan minimal, pengalaman sebagai petugas survei/sensus, lulus dalam pelatihan, dan sebagainya. Melalui petugas yang berkualitas, diharapkan kegiatan survei/ sensus dapat menghasilkan output yang berkualitas. Sebelum melakukan pengumpulan data (pencacahan), para calon petugas diwajibkan mengikuti pelatihan/refreshing. Untuk menjamin agar pelaksanaan pencacahan sesuai Standard Operation Procedure (SOP), petugas pencacah didampingi pengawas/pemeriksa. Pengawas/pemeriksa tersebut bertugas membantu, membimbing, dan memonitor pencacah untuk memastikan bahwa pencacah telah melakukan tugasnya dengan benar, dan isian kuesioner telah sesuai dengan SOP. Sehingga dapat mereduksi atau meminimalisir kesalahan-kesalahan yang mungkin terjadi. •• Penggunaan teknologi komunikasi dan informasi dan rule validation system dalam proses pengolahan. BPS selalu menggunakan sarana teknologi komunikasi dan informasi (information and communications technologies, ICT) terbaru dalam proses 6
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
pengolahan data hasil pencacahan, agar pengolahan dapat dilaksanakan secara lebih efektif dan efisien, serta menghasilkan output yang lebih berkualitas. Untuk mengurangi atau menghilangkan kesalahan dalam proses pengolahan, digunakan rule validation system. Sistem ini secara otomatis akan memberi warning dan menyaring kesalahan-kesalahan yang terjadi. Untuk itu, para petugas pengolahan diwajibkan mengikuti pelatihan atau refreshing mengenai tata cara pengolahan. •• Pengecekan akurasi dan koherensi dalam proses analisis. Dalam proses analisis, selalu dilakukan pengecekan tingkat akurasi maupun koherensi dari data/informasi statistik yang dihasilkan. Beberapa teknik statistik juga diterapkan untuk meningkatkan kualitas maupun mengurangi kesalahan yang terjadi, seperti seasonal adjustment untuk mengeliminasi pengaruh musim dalam beberapa jenis data tertentu, seperti data pertanian tanaman pangan. •• Kemudahan akses data; ketepatan ARC; ketersediaan ragam format publikasi, website, PST, Metadata SIRuSa, Katalog Mikrodata, dan Silastik. Hasil kegiatan statistik di BPS disajikan dalam beragam format publikasi, baik berupa buku, softcopy, maupun website. Informasi-informasi pendukung juga dicantumkan untuk memudahkan pengguna memahami suatu data/ informasi, seperti metadata SIRuSa (Sistem Rujukan Statistik) dan Katalog Mikrodata. Akses untuk memperoleh data/informasi semakin dipermudah melalui website BPS maupun Silatik (Sistem Informasi Layanan Statistik). Jadwal rilis (Advance Release Calendar, ARC) ditampilkan secara transparan agar para pengguna dapat mengetahui kapan suatu data/informasi statistik dirilis BPS. Seluruh kemudahan dan pelayanan tersebut diintegrasikan dalam suatu pelayanan prima yang disebut Pelayanan Statistik Terpadu (PST). •• Evaluasi kegiatan statistik (PES, MK, Monev, Self Assesment, ISBR, SKD) Terdapat beragam teknik yang dilakukan BPS dalam rangka mengevaluasi suatu kegiatan statistik, seperti PES (Post Enumeration Survey), MK (Monitoring Kualitas), Monev (Monitoring dan Evaluasi), SA (Self Assesment, Penilaian Mandiri), ISBR (Indepth-Study Beban Responden), atau SKD (Survei Kebutuhan Data). Berdasarkan ragam evaluasi tersebut, dapat diperoleh input sebagai bahan evaluasi dan perencanaan kegiatan statistik periode berikutnya. Mengingat penjaminan kualitas statistik di BPS mencakup keseluruhan tahapan dalam kegiatan statistik yang dilaksanakan oleh beragam unit kerja di BPS, maka penjaminan kualitas merupakan tanggung jawab dan membutuhkan peran serta dari semua unit kerja dan aparatur BPS, dari level
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
7
Bab I Kerangka Penjaminan Kualitas Statistik
terendah hingga pimpinan tertinggi. Oleh karena itu, penerapan manajemen kualitas statistik menjadi suatu keniscayaan untuk diterapkan di BPS. 2.3. Manajemen kualitas Manajemen kualitas statistik merupakan suatu sistem yang mencakup semua unsur-unsur yang terlibat dalam proses kegiatan statistik yang saling berkaitan dalam menghasilkan statistik yang berkualitas. Prinsip kerja sistem manajemen kualitas mengikuti suatu siklus tertentu yang berputar secara berulang-ulang, sehingga dapat berfungsi untuk mengecek/mengontrol dan memperbaiki aktivitas atau output yang menjadi titik terjadinya suatu kesalahan. Siklus kerja ini dikenal dengan “Plan Do Check Act (PDCA)”. Siklus PDCA adalah suatu proses pemecahan masalah yang terdiri dari empat langkah yang biasa digunakan dalam pengendalian kualitas. Bila suatu organisasi ingin menghasilkan suatu produk atau jasa yang berkualitas, maka roda siklus PDCA harus dijamin dapat berputar sesuai standar dan persyaratan yang berlaku. Berikut urutan dari siklus PDCA:
Continuous Improvement
Gambar 1.1. Pergerakan Berkelanjutan pada Siklus PDCA
1. Plan (perencanaan): mengidentifikasi dan menganalisis masalah. Beberapa management tools yang bisa digunakan dalam tahap ini antara lain: Drill Down, Cause & Effect Diagrams, dan The 5 Whys. 2. Do (kerjakan): mengembangkan dan menguji beberapa solusi yang potensial. Tahap ini melibatkan beberapa kegiatan: • Membangun beberapa solusi yang memungkinkan. • Memilih solusi yang terbaik, dapat menggunakan Impact Analysis. • Menerapkan/menguji solusi tersebut pada skala kecil, area yang terbatas, atau pada suatu contoh kondisi yang dirancang sesuai dengan masalah yang dihadapi. 8
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
3. Check (cek): mengukur tingkat efektifitas dari hasil uji tes yang telah dilakukan (pada tahap Do), dan menganalisis apakah hal itu bisa diterapkan dengan cara lain. 4. Act (tindaklanjuti): diimprovisasi.
menerapkan
sepenuhnya
solusi
yang
telah
2.4. Kerangka penjaminan kualitas (Quality Assurance Framework, QAF) QAF (juga disebut framework for statistics production) bertujuan untuk membangun suatu sistem yang mengkoordinasi metode-metode dan alat-alat yang dibutuhkan/dipersyaratkan, serta menjamin terpenuhinya persyaratan minimum akan kualitas pada proses dan produk statistik (EuroStat, 2007). EuroStat membedakan QAF dengan kerangka kerja institusi (institutional framework). QAF lebih diaplikasikan pada tahapan proses produksi dan output statistik secara individual/parsial, sedangkan fokus dari institutional framework adalah terjaminnya kualitas sistem statistik secara keseluruhan. Menurut UNSD, QAF adalah suatu struktur yang sistematis yang digunakan sebagai implementasi kegiatan penjaminan kualitas dalam suatu organisasi. QAF tidak hanya berfungsi sebagai laporan perkembangan kualitas suatu output atau proses statistik, tapi juga dapat berfungsi sebagai suatu sistem dan prosedur pengukuran yang ditempatkan pada setiap tahap kegiatan statistik (dikenal sebagai Quallity Gates). Bagi BPS, pembangunan QAF sangat penting untuk menjamin kualitas data/ informasi statistik yang dihasilkan. Melalui QAF, BPS dapat memonitor dan mengukur tingkat kualitas; mengidentifikasi permasalahan yang terjadi, yang berdampak pada rendahnya kualitas statistik yang dihasilkan; menentukan langkah-langkah untuk mengatasi permasalahan kualitas, atau untuk meningkatkan kualitas; menentukan mekanisme untuk memonitor perbaikan kualitas; dan sebagainya. Beberapa manfaat/keuntungan pembangunan QAF bagi BPS: •• QAF menyediakan ruang untuk merekam atau sebagai referensi atas berbagai macam konsep kualitas, kebijakan, dan praktek pengukuran kualitas secara komprehensif. •• Menyediakan mekanisme yang sistematis untuk melakukan identifikasi tingkat kualitas secara berkelanjutan, sekaligus menyediakan alternatif solusi atas permasalahan kualitas yang terjadi. •• Sebagai upaya transparansi akan kualitas statistik yang dihasilkan BPS, sehingga lebih memperkuat kredibilitas BPS sebagai penyedia statistik yang berkualitas. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
9
Bab I Kerangka Penjaminan Kualitas Statistik
•• Memberikan pondasi awal untuk menciptakan dan memelihara budaya ‘menjaga’ kualitas dalam lingkungan BPS maupun dalam proses produksi statistik di BPS. •• Sebagai salah satu sarana pertukaran informasi atau gagasan mengenai manajemen kualitas atau penjaminan kualitas statistik dengan produsen data lainnya dalam sistem statistik nasional di Indonesia, maupun dengan NSO-NSO atau organisasi internasional lainnya.
3.
Standar QAF secara Internasional
Pembangunan QAF di BPS merujuk pada standar internasional yang disediakan UNSD, yaitu National Quality Assurance Framework (NQAF)3. Panduan ini mencakup empat pengelolaan dalam penjaminan kualitas: (1) pengelolaan sistem statistik; (2) pengelolaan lingkungan kelembagaan; (3) pengelolaan proses statistik, dan (4) pengelolaan output statistik4. 3.1. Pengelolaan sistem statistik Pengelolaan sistem statistik mencakup tiga kegiatan NQAF, yaitu: •• [NQAF 1] Mengkoordinasi sistem statistik nasional (coordinating the national statistical system) Koordinasi kerja antar anggota sistem statistik nasional sangat penting untuk meningkatkan dan mempertahankan kualitas statistik yang dihasilkan oleh berbagai NSO. •• [NQAF 2] Mengelola hubungan dengan pengguna data dan penyedia data (managing relationships with data users and data providers) NSO harus membangun dan menjaga hubungan yang sangat baik dengan semua pemangku kepentingan (stakeholders) utama, termasuk pengguna, penyedia data, lembaga pendonor, para pejabat senior pemerintah, organisasi masyarakat yang relevan, media, dan pihak-pihak lainnya. •• [NQAF 3] Mengelola standar-standar statistik (managing statistical standards) Standar statistik merupakan seperangkat konsep/definisi statistik yang komprehensif, dan digunakan untuk mencapai keseragaman perlakuan dalam masalah statistik dalam suatu survei atau antar survei, dan antar ruang dan waktu. Standar tersebut berguna dalam memaksimalkan efektivitas output statistik dan efisiensi proses produksi dalam hal antar waktu, komparabilitas, dan koherensi statistik, yang bersifat nasional maupun internasional. 3 NQAF merupakan panduan yang memuat struktur umum penjaminan kualitas statistik yang dapat diadaptasi dan dikembangkan secara individu oleh suatu NSO sesuai kebutuhan masing-masing (UNSD, 2012:1)
4 Penjelasan bagian ini merujuk pada web UNSD (http://unstats.un.org/unsd/dnss/QualityNQAF/nqaf.aspx) 10
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
3.2. Pengelolaan lingkungan kelembagaan (managing the institutional environment) Pengelolaan lingkungan kelembagaan mencakup enam kegiatan NQAF, yaitu: •• [NQAF 4] Menjamin independensi yang profesional (assuring professional independence) NSO harus mengembangkan, memproduksi dan menyebarluaskan statistik tanpa tekanan dan gangguan politis yang berpotensi menimbulkan konflik kepentingan, baik dari instansi pemerintah lainnya atau badan pembuat kebijakan, peraturan, atau administratif lainnya; sektor swasta atau badan usaha; maupun individu. Profesionalisme yang bebas dari pengaruh negatif (tidak layak) akan menjamin kredibilitas output statistik resmi. Hal ini harus diterapkan dalam suatu NSO. •• [NQAF 5] Menjamin netralitas dan obyektivitas (assuring impartiality and objectivity) NSO harus mengembangkan, memproduksi, dan menyebarkan output statistik berdasarkan independensi ilmiah yang dilakukan secara profesional, transparan, netral, dan tidak bias, dimana semua pengguna output statistik diperlakukan secara adil. •• [NQAF 6] Menjamin transparansi (assuring transparency) Hal-hal yang terkait dengan kebijakan dan pelaksanaan statistik oleh NSO, termasuk syarat dan ketentuan yang menjadi dasar pengembangan statistik (seperti dasar hukum dan tujuan kebutuhan data), proses produksi statistik, dan diseminasi statistik (termasuk revisi statistik, jika ada), harus didokumentasikan dan tersedia bagi pengguna, responden, dan masyarakat. •• [NQAF 7] Menjamin kerahasiaan dan keamanan statistik (assuring statistical confidentiality and security) NSO harus menjamin agar privasi dari sumber data (orang, rumah tangga, perusahaan, lembaga administrasi, dan responden lainnya) akan dilindungi. Data/informasi yang diberikan sumber data senantiasa dijaga kerahasiaannya, tidak dapat diakses oleh pengguna yang tidak sah, dan hanya digunakan untuk keperluan statistik. Suatu statistik dianggap sebagai rahasia ketika suatu unit statistik dimungkinkan dapat diidentifikasi (baik secara langsung atau tidak langsung) yang akan menyingkap informasi individu dari sumber data. •• [NQAF 8] Menjamin komitmen kualitas (assuring the quality commitment) NSO harus berupaya keras menjamin kualitas produknya dan mengidentifikasi segala kekuatan dan kelemahannya. Upaya ini dilakukan secara sistematis, konsisten dan berkesinambungan untuk meningkatkan kualitas proses dan produk statisitik.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
11
Bab I Kerangka Penjaminan Kualitas Statistik
•• [NQAF 9] Menjamin kecukupan sumber daya (assuring adequacy of resourcers) Sumber daya keuangan, sumber daya manusia, dan teknologi informasi yang dibutuhkan suatu NSO harus tersedia secara memadai, baik kuantitas maupun kualitasnya, serta cukup untuk memenuhi kebutuhan-kebutuhan yang berhubungan dengan pengembangan, produksi, dan diseminasi statistik. 3.3. Pengelolaan proses-proses statistik (managing statistical processes) Pengelolaan proses-proses statistik terdiri dari empat kegiatan NQAF, yaitu: •• [NQAF 10] Menjamin kekuatan metodologis (assuring methodological soundness) Dalam mengembangkan dan menghasilkan suatu statistik, NSO harus menggunakan metodologi statistik yang dapat diandalkan, berdasarkan standar dan pedoman internasional, dan konsisten dengan prinsip-prinsip ilmiah. Prosedur statistik yang efektif dan efisien harus dilaksanakan di seluruh tahapan proses produksi statistik. •• [NQAF 11] Menjamin efektivitas biaya (assuring cost-effectiveness) NSO harus menjamin bahwa sumber daya yang dimilikinya telah digunakan secara efektif dan efisien. NSO juga harus mampu menjelaskan sejauhmana suatu kegiatan statistik dapat diselenggarakan dengan biaya yang wajar. •• [NQAF 12] Menjamin kekuatan pelaksanaan (assuring soundness of implementation) Dalam rangka menghasilkan statistik yang tepat waktu, dapat diandalkan, dan akurat, NSO harus teliti dalam melakukan perencanaan kegiatan statistik. Selain itu, pelaksanaan kegiatan statistik harus berdasarkan standar dan pedoman internasional, dan menggunakan metodologi yang handal dan dapat dipertanggujawabkan secara ilmiah. •• [NQAF 13] Mengelola beban responden (managing the respondent burden) Individu, rumah tangga, perusahaan, atau instansi pemerintah yang menjadi sumber data pada suatu kegiatan statistik merupakan kontributor yang sangat penting dan mempengaruhi kualitas statistik yang dihasilkan. Kebutuhan akan pengumpulan data/informasi oleh NSO harus seimbang dengan biaya dan beban yang ditanggung responden. Selain itu, NSO harus memperhatikan elemen-elemen penting lainnya dalam upaya peningkatan kualitas seperti senantiasa menjaga hubungan baik dengan para responden/ sumber data, dan menyediakan mekanisme untuk menangani beban yang dihadapi para responden akibat pelaksanaan suatu kegiatan statistik.
12
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
3.4. Mengelola output statistik (managing statistical outputs) Pengelolaan output statistik mencakup enam kegiatan NQAF, yaitu: •• [NQAF14] Menjamin relevansi (assuring relevance) Relevansi mencerminkan sejauh mana data/informasi yang disediakan oleh NSO dapat memenuhi kebutuhan dan berguna bagi para pengguna. Relevansi juga mencakup kehandalan metodologi yang digunakan, khususnya sejauhmana konsep/definisi, dan klasifikasi dapat sesuai dengan kebutuhan pengguna. Dengan demikian terdapat tiga komponen penting dalam relevansi, yaitu: kelengkapan, kebutuhan pengguna, dan kepuasan pengguna. •• [NQAF15] Menjamin akurasi dan reliabilitas (assuring accuracy and reliability) NSO harus mengembangkan, memproduksi, dan menyebarkan output statistik yang dapat menggambarkan realitas secara akurat dan terpercaya. Keakuratan merujuk pada kemampuan data/informasi menjelaskan fenomena secara tepat. Tingkat akurasi dapat diketahui melalui ukuranukuran statistik, berupa sampling error atau non-sampling error. Reliabilitas erat kaitannya dengan konsistensi statistik dalam mengukur realitas dari waktu ke waktu. Realitas tersebut dapat ditunjukkan melalui output statistik yang dihasilkan. •• [NQAF16] Menjamin aktualitas dan tepat waktu (assuring timeliness and punctuality) NSO harus meminimalkan keterlambatan dalam penyediaan suatu produk statistik. Aktualitas mengacu pada seberapa cepat produk statistik dapat dirilis, baik untuk diseminasi maupun untuk pengolahan lebih lanjut. Ketepatan waktu menunjukkan bahwa produk statistik dapat dirilis sesuai waktu yang dijanjikan dalam kalender rilis resmi (ARC). •• [NQAF17] Menjamin aksesibilitas dan kejelasan (assuring accessibility and clarity) NSO harus memastikan bahwa statistik dan metadata yang dikembangkan, diproduksi, dan didiseminasikan dapat diakses secara mudah oleh seluruh pengguna tanpa diskriminasi (dengan cara yang sama), dalam berbagai format yang mudah digunakan, pada harga yang terjangkau (jika tidak ditawarkan secara gratis), serta disajikan dengan jelas sehingga mudah dipahami. •• [NQAF18] Menjamin koherensi dan keterbandingan (assuring coherence and comparability) NSO harus mengembangkan, memproduksi, dan mendiseminasi statistik yang konsisten dari waktu ke waktu, dengan menggunakan konsep/definisi,
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
13
Bab I Kerangka Penjaminan Kualitas Statistik
klasifikasi, ruang lingkup, dan unit statistik yang berdasarkan standar-standar umum. Sehingga output statistik yang diperoleh dapat menggambarkan fenomena yang selaras dengan output statistik yang dihasilkan oleh lembaga lainnya. Keterbandingan merujuk pada perbandingan output statistik antara suatu wilayah/negara dengan wilayah/negara lainnya, atau dibandingkan antar periode waktu. Untuk meningkatkan komparabilitas output statistik pada level internasional, diperlukan penerapan konsep, klasifikasi, alat ukur, proses pengukuran, dan data dasar yang juga berstandar internasional. •• [NQAF19] Mengelola metadata (managing metadata) NSO harus menyediakan informasi-informasi pendukung atas suatu output statistik yang dihasilkan. Informasi tersebut antara lain mencakup (1) konsep dasar, variabel dan klasifikasi yang digunakan, (2) metodologi pengumpulan data dan pengolahan, (3) identifikasi kualitas statistik secara umum, (4) informasi lainnya yang memungkinkan pengguna memahami semua atribut statistik, termasuk keterbatasannya. Informasi tersebut sangat penting bagi pengguna sebagai dasar pengambilan keputusan. Di BPS, implementasi dari pengelolaan ke-empat (mengelola output statistik) telah dikaji dan dikembangkan oleh Subdit Konsistensi Statistik. Subdit ini mengkaji, menyusun, mengembangkan, dan mengimplementasikan dimensi dan indikator kualitas yang digunakan dalam pengukuran kualitas output statistik BPS. Jumlah dan ragam dari dimensi kualitas yang digunakan BPS sedikit berbeda dengan dimensi pada komponen ke-empat NQAF. Informasi rinci terkait hal ini akan dibahas dalam Bab berikutnya.
MANAGING STATISTICAL SYSTEM
MANAGING STATISTICAL PROCESS
MANAGING STATISTICAL OUTPUTS
P1. Coordinating NSS P2. Relationship with data users and data providers P3. Managing statistical standards
P10. Methodology
P14. Relevance
P11. Cost effectiveness
P15. Accuracy and reliability
P12. Soundness of implementation
P16. Timeliness and Punctuality
MANAGING INSTITUTIONAL ENV.
P13. Respondent burden
P4. Professional independence P5. Impartiality and Objectivity P6. Transparency P7. Confidentiality & security P8. Quality commitment P9. Adequacy of resources
P17. Accessibility and clarity P18. Coherence and comparability P19. Metadata
Gambar 1.2. Empat Komponen Penjaminan Kualitas dalam NQAF
14
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
Adapun pengelolaan kualitas pada bidang lainnya, seperti sistem statistik dan lingkungan kelembagaan (termasuk beberapa bagian terkait pengelolaan proses statistik) dilakukan melalui program-program kerja dalam Statcap Cerdas dan Reformasi Birokrasi BPS. Hal ini bertujuan untuk mempercepat terwujudnya produk statistik BPS yang berkualitas sesuai visi BPS.
4.
Pembangunan QAF di BPS
Pembangunan QAF di BPS telah dilakukan sejak 2009, dimulai dengan menentukan cakupan-cakupan yang akan dicantumkan dalam desain BPSQAF berupa Initial Scoping of QA Framework Design for BPS oleh Maman A Djauhari, dilanjutkan dengan technical assistance oleh Kusmadi Saleh (2009) dan Cassandra Gligore beserta tim pada tahun 2009-2010. Informasi rinci terkait sejarah pembangunan BPS-QAF hingga tahun 2014 disajikan pada Tabel 1.1. Berdasarkan roadmap pembangunan BPS-QAF (Gambar 1.3), pada 2014 mulai dilakukan penyusunan handbook BPS-QAF yang difokuskan pada: •• Penetapan dimensi, indikator dan standar kualitas yang digunakan untuk mengukur kualitas statistik BPS. •• Penjelasan seluruh indikator dan standar kualitas dalam setiap dimensi. •• Penentuan teknik pengukuran kualitas berdasarkan equal weigthing, baik menurut dimensi kualitas maupun tahapan GSBPM. •• Menentukan alat sosialisasi BPS-QAF berupa Snapshot5. Selama tahun 2015 - 2019, BPS akan mengkaji dan membangun Quality Declaration (Q-D) dan Quality Gates (Q-G). Q-D merupakan instrumen penyampaian penjaminan kualitas statistik yang dihasilkan BPS kepada pemerintah, pengguna data, responden, stakeholders, dan pihak-pihak terkait lainnya dalam bentuk online, sehingga dapat diakses dengan mudah. Informasi yang terdapat dalam Q-D diperoleh dari pengukuran kualitas yang telah dilakukan pada setiap kegiatan statistik. Sedangkan Q-G merupakan salah satu instrumen penjaminan kualitas yang digunakan untuk menjamin bahwa setiap tahapan-tahapan dalam suatu kegiatan atau produk statistik telah memenuhi persyaratan yang harus dipenuhi. Suatu proses tidak dapat dilanjutkan ke tahap berikutnya apabila persyaratan tersebut tidak dipenuhi, atau minimal memenuhi batas toleransi yang telah ditetapkan/disepakati. Penjelasan sekilas mengenai Q-D dan Q-G disajikan pada bagian berikutnya, sedangkan uraian rinci terkait instrumen yang dibutuhkan dan tata cara 5 Pembahasan secara rinci mengenai ke-empat hal ini akan disajikan pada bab-bab berikutnya. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
15
Bab I Kerangka Penjaminan Kualitas Statistik
Tabel 1. Perkembangan Aktivitas Pembangunan BPS-QAF Kegiatan
Tahun
Output
Initial Scoping by Maman A. Djauhari
2009
Initial Scoping of QA Framework design for BPS
Technical assistance by Kusmadi Saleh
2009
KPI for each product lines
Technical assistance by Cassandra Gligore, Julian Whitting, Keith Blackburn, Barbara Dunlop, david Collins and John Blanchette
2009-2010
Disussion and Development of BPS QAF assisted by Michael Colledge
2010
Using Michael Colledge’s inputs, Dennis Trewin built PenyusunanFrameworkPembangunan a Results Monitoring through a series of Quality Declaration Handbook discussions with subject matters in BPS
2010-2011
Review and recommendation for improvements in SUSENAS, national accounts, export-import, price statistics, and manufacturing statistics Draft of BPS-QAF Results Monitoring Framework
Pembangunan Quality Gates
Wiwiek Arumwaty (QA Local Expert)
2010-2012 MengenaliOnline dan Memahami BPS “Statistical Quality Uji Coba Q-G Q-G Assurance Framework” (Stat-QAF)
Online BPS-KOSTAT Technical Cooperation Program
Instrument Q-G
2011-2012
Q-D
MoU between BPS and KOSTAT
Directorate of Statistical Analysis as a care taker of NQAF 2011-2012 Handbook2019 of BPS-QA(Kiblat ke Korstat) Instrument 2018 Q-D �o�ine� 2017 program
2016
Handbook
Pilot Study SurveiBPS-QAF Beban Responden (SBR) dan Self 2015 Assesment (SA)
2012
- Pedoman Pelaksanaan ISBR dan SA - Laporan Pilot Study
ISBR dan SA untuk Survei Hotel dan Survei Harga Konsumen
2014
Laporan ISBR dan SA
2014-2015
Handbook of BPS-QA
ISBR dan SA untuk2014 Survei Perusahaan Industri B/S dan Road Map 2013Pembangunan Laporan ISBR dan SA BPS-QAF Susenas
Penyusunan Handbook BPS-QAF
Penyusunan Handbook
Pembangunan Quality Declaration
Pembangunan Quality Gates
Instrument Q-G
Uji Coba Q-G
Online Q-D Instrument Q-D �o�ine� Handbook BPS-QAF
2015
2016
2014
2017
2018
Online Q-G
2019
Road Map Pembangunan BPS-QAF
Gambar 1.3. Roadmap Pembangunan BPS-QAF Tahun 2014-2019
16
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
mengimplementasikan Q-D dan Q-G akan disajikan secara terpisah dalam suatu buku panduan teknis. 4.1. Quality Declaration (Pernyataan Kualitas) Quality Declaration (Q-D) sering dinyatakan sebagai suatu pernyataan/statemen dari suatu organisasi/lembaga yang menghasilkan suatu produk, bahwa output yang dihasilkan telah memenuhi persyaratan-persyaratan kualitas. Dengan demikian bagi BPS, Q-D ini merupakan pernyataan bahwa output statistik BPS telah memenuhi persyaratan ke-6 dimensi dalam penjaminan kualitas yang digunakan (BPS-QAF), yaitu relevance, accuracy, timeliness/punctuality, accessibility, coherence/comparability, dan interpretability. Q-D ditujukan untuk pihak-pihak di luar SM pelaksanaan kegiatan statistik (user oriented) baik internal maupun eksternal BPS, dan umumnya ditampilkan dalam bentuk website. Saat ini BPS belum membangun Q-D. Q-D direncanakan mulai dibangun pada tahun 2015. Pada tahun tersebut akan dilakukan hal-hal antara lain: menyiapkan template pengukuran kualitas yang harus diisi para SM, dan melakukan simulasi pengukuran kualitas menurut dimensi dan tahapan GSBPM. Mengingat template pengukuran kualitas tersebut akan ditempatkan pada Website BPS-QAF, maka akan dibangun sistem onlinenya. Seiring dengan persiapan tersebut, sosialisasi dan training kepada SM harus dilakukan. Selanjutnya dilakukan uji coba pengukuran kualitas dan pengisian template Q-D pada beberapa SM terpilih. Pada tahun 2016, uji coba pengisian akan diperluas kepada seluruh SM di BPS. Diharapkan pada tahun tersebut, BPS sudah dapat me-launching Q-D secara online. Beberapa hal yang akan dicakup dalam website Q-D: •• Sekilas info mengenai Q-D dan proses pembangunannya di BPS. •• Informasi umum terkait penjaminan kualitas yang digunakan BPS, yaitu konsep/ definisi dari setiap dimensi dan indikator kualitas, beserta penjelasan lainnya yang diperlukan. •• Informasi mengenai tata cara pengukuran kualitas output statistik, mencakup template pengukuran, formula, dan teknik pengukuran. •• Format laporan penjaminan kualitas setiap output statistik BPS, mencakup tingkat kualitas yang dicapai dan informasi pendukung lainnya, baik menurut ke-enam dimensi penjaminan kualitas, maupun menurut tahapan GSBPM. •• Informasi-informasi lainnya yang diperlukan dan berkaitan dengan Q-D BPS. Bagian ini juga mencakup referensi-referensi yang digunakan BPS dalam pembangunan dan implementasi BPS-QAF.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
17
Bab I Kerangka Penjaminan Kualitas Statistik
4.2. Quality Gates 4.2.1.
Pengertian
Kualitas dari suatu output statistik sangat dipengaruhi oleh kualitas dari proses produksinya. Dalam rangka menjamin kualitas dari sisi proses ini, BPS akan mengembangkan Quality Gates (Q-G). Istilah ini masih merupakan hal baru bagi sebagian besar pegawai BPS. Namun sebenarnya, ketika SM melakukan suatu kegiatan statistik, pada dasarnya SM tersebut telah melakukan sebagian dari elemen-elemen Q-G, hanya istilah tersebut belum dikenal. Sebagai bukti, ketika ABS melakukan sosialisasi terkait Q-G di BPS pada tahun 2013, dimana contoh yang digunakan adalah Tabel Input-Output (Tabel I-O), setelah dibandingkan antara tahapan-tahapan proses di Q-G yang diimplementasi oleh ABS dengan tahapan proses pada Tabel I-O yang disusun BPS, ternyata terdapat kemiripan sebesar 90%. Perbedaan yang terjadi lebih diakibatkan oleh perbedaan karakteristik data yang dimiliki, yang berakibat adanya perbedaan pada implementasi tahapan Q-G. Q-G yang saat ini sedang dikembangkan di NSO-NSO seluruh dunia secara umum ditujukan sebagai peringatan dini terhadap kesalahan data maupun prosedur dalam proses produksi statistik. Dengan demikian, Q-G merupakan kumpulan persyaratan dan standar kecukupan yang harus dipenuhi dari suatu output, mewakili kesesuaian pelaksanaan dari suatu tahapan proses yang telah direncanakan (John Aaron, 2009). Istilah “gates” yang digunakan dalam instrumen ini merujuk pada suatu checkpoint atau titik pengambilan keputusan di berbagai area strategis dalam proses statistik, dimana kualitas proses (dan data) pada atau sampai saat itu secara eksplisit dinilai (ABS, 2010). Vladimir Ambartsoumian, dkk (2011), menggambarkan Q-G sebagai suatu “gerbang” yang digunakan untuk menandai akhir dari suatu proses tertentu secara formal dalam suatu proyek, atau merupakan “gerbang” dari satu tahap ke tahap selanjutnya dalam suatu proyek. Dengan demikian, output statistik yang dihasilkan telah melalui beberapa checkpoint validasi dengan persyaratan-persyaratan tertentu. Apabila persyaratan tersebut tidak dipenuhi, maka akan berpengaruh terhadap kualitas output tersebut. 4.2.2.
Tujuan dan manfaat Quality Gates
Kredibilitas organisasi merupakan hal yang sangat penting dalam informasi statistik, dimana informasi yang tidak dapat dipercaya tidak akan ada gunanya (Fellegi, 1996). Suatu output statistik yang berkualitas tentunya dihasilkan melalui proses yang juga berkualitas. Implementasi dari Q-G bertujuan untuk memastikan kualitas dari proses statistik yang sedang berjalan, dengan
18
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
melakukan mitigasi terhadap resiko proses sedini mungkin, sehingga dampak dari resiko yang mungkin terjadi dapat dikontrol dan dapat segera diambil keputusan dengan tidak membiarkan permasalahan berlanjut ke tahap proses berikutnya. Hal ini akan meningkatkan efisiensi dalam waktu pelaksanaan, tenaga, dan maupun biaya, jika dibandingkan apabila permasalahan yang terjadi baru diketahui pada akhir proses. Manfaat utama dari Q-G adalah meningkatkan penjaminan kualitas output statistik yang dihasilkan. Pengecekan dan kontrol pada setiap gate yang dilakukan sejak awal proses dapat mereduksi dan bahkan menghilangkan kesalahan-kesalahan yang terjadi. Hal ini tentunya bermanfaat untuk menghindari pengeluaran biaya yang tidak direncanakan, dan atau inefisiensi penggunaan sumber daya dan waktu. Pada akhirnya, Q-G berperan penting dalam menunjang keberhasilan pelaksanaan proses produksi statistik secara keseluruhan. Meskipun Q-G juga merupakan salah satu instrumen penjaminan kualitas, namun implementasi Q-G lebih bersifat internal (internal oriented). Hasil monitoring Q-G tidak dipublikasi kepada publik, tapi digunakan sebagai bahan evaluasi, monitoring, dan perencanaan pembangunan kualitas statistik dalam internal BPS. Bahkan terdapat pembatasan kewenangan bagi pihak-pihak yang dapat mengetahui hasil Q-G tersebut, misalnya hanya eselon II terkait dan seluruh eselon I. Hasil implementasi Q-G dapat digunakan sebagai pendukung Q-D sehingga lebih meningkatkan kepercayaan publik, pengguna, atau stakeholders dalam menggunakan output statistik tersebut, dan pada akhirnya meningkatkan kredibilitas BPS. 4.2.3.
Komponen Quality Gates
Merujuk pada implementasi Q-G di ABS, terdapat enam komponen yang harus dilakukan dalam pelaksanaan Q-G. Ke-enam komponen tersebut dapat dipandang sebagai urutan tahapan yang harus dilakukan dalam Q-G, yaitu: 1. Placement (Penempatan). Komponen pertama yang harus dilakukan adalah menentukan tahapantahapan mana sajakah dari kegiatan statistik (GSBPM) yang akan dikelompokkan sebagai satu gate. Penempatan gate tersebut perlu memperhatikan potensi resiko kesalahan yang mungkin terjadi, yang perlu dicek kualitasnya. Untuk menentukan di mana tempat/tahapan tersebut, dapat digunakan pertanyaan berikut: • Apakah yang dapat menimbulkan suatu kesalahan? • Kapan kesalahan tersebut terjadi?
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
19
Bab I Kerangka Penjaminan Kualitas Statistik
• Apakah dampak yang timbul apabila kesalahan tersebut terjadi? • Hal-hal lain yang perlu menjadi pertimbangan dalam penempatan suatu gate. • Pada lokasi atau tahapan manakah terjadi perpindahan data dari suatu pihak ke pihak lainnya, atau dilakukannya integrasi data dari beragam sumber. • Kapan dilakukan perubahan atau transformasi terhadap data; dan • Pada lokasi atau tahapan manakah terjadi perubahan proses, metode, dan sistem. 2. Quality Measures (ukuran kualitas). Ukuran kualitas yang dimaksud di sini adalah sekumpulan indikator yang digunakan untuk mengontrol dan atau mengukur kualitas, sekaligus memberikan informasi mengenai tingkat kualitas dari suatu gate yang telah ditentukan. Penentuan ukuran-ukuran kualitas tersebut harus memperhatikan resiko-resiko yang menjadi prioritas untuk diselesaikan dan informasi apa yang harus disediakan jika terjadi suatu kesalahan/ permasalahan. Dengan demikian, suatu gate dapat mencakup serangkaian ukuran kualitas yang berperan dalam penyelesaian kesalahan/masalah yang terjadi. Sebagai contoh, ukuran-ukuran kualitas yang digunakan dalam satu gate dapat terdiri dari beberapa ukuran seperti response rates, non-response rate, imputation rates, dan check-list tingkat validasi. Oleh karena itu, perlu dirumuskan konsep/definisi dari ukuran indikator tersebut, dan bagaimana pengukurannya. Jika diperlukan, dapat dilakukan penelusuran relevansi ukuran terhadap masalah, sehingga ukuran yang digunakan benar-benar dapat mengindikasi permasalahan yang mungkin terjadi. 3. Roles (peran). Komponen ini mengindikasi area-area atau pihak-pihak yang terkait secara langsung dalam pengukuran kualitas dan teknik operasional yang sedang berlangsung pada suatu gate. Siapa yang menjadi pelaksana operasional, siapa yang bertanggung jawab, dan siapa yang akan terkena dampak jika permasalahan pada tahapan proses tersebut terjadi dan tidak dapat diselesaikan. Hal ini penting untuk diyakinkan bahwa pihak-pihak atau area-area yang diidentifikasi tersebut memang sangat tergantung pada keberhasilan proses yang sedang dilakukan. Identifikasi ini dapat mempertimbangkan tiga hal, yaitu:
20
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
a. Pihak pelaksana operasional (gate keeper) Yaitu orang yang bertanggungjawab untuk merangkum seluruh informasi terkait pelaksanaan proses statistik dalam suatu gate dan menjamin bahwa semua ukuran kualitas sudah berjalan sesuai prosedur. Pihak ini bertugas mendokumentasi pelaksanaan gate tersebut dan menyalin semua informasi dalam suatu living document. b. Stakeholder, Stakeholder di sini dapat mencakup pihak-pihak yang secara langsung terkait dengan penyediaan informasi dalam suatu gate, atau pihak-pihak lain yang memiliki kepentingan atau interest akan hasil dari suatu gate dan data/informasi yang dihasilkan. c. A sign off person, Yaitu pihak yang bertanggung jawab untuk mengesahkan (signing off) hasil dari suatu gate dan memutuskan apakah proses dapat berlanjut ke tahap berikutnya. Sebaiknya, pihak ini dipilih dari pihak-pihak yang independen dari pelaksanaan Q-G, memiliki pengetahuan yang baik terhadap proses yang dilakukan beserta pengukuran kualitasnya, dan memiliki kedudukan yang lebih tinggi dari pihak pelaksana proses. Pihak ini dapat terdiri dari satu orang atau lebih, tergantung kebutuhan. 4. Tolerance (toleransi). Toleransi adalah menentukan nilai/level kualitas yang dapat diterima, yang digunakan untuk menentukan apakah hasil dari suatu proses pada suatu gate dapat dilanjutkan atau tidak. Level tersebut dapat bersifat kuantitatif (misalnya minimal 85%) atau kualitatif (ya atau tidak). Penentuan toleransi ini berdasarkan kebutuhan dan ekspektasi dari pengguna dengan mempertimbangkan besaran variasi pada umumnya, sampling errors, tingkat ketelitian, dan tingkat kepentingan terhadap suatu output. Besaran nilai toleransi seharusnya telah ditentukan sejak awal, yaitu ketika menentukan spesifikasi kebutuhan pengguna. 5. Actions (tindakan). Adalah menentukan tindakan apa yang harus dilakukan (What needs to be done?) dan siapa saja yang harus diberi informasi (Who needs to be informed?) jika suatu gate mengalami kegagalan atau terjadi kesalahan/permasalahan. Penentuan jenis tindakan apa saja yang akan dilakukan, apakah proses dapat dilanjutkan atau tidak?, apakah proses dapat dilanjutkan dengan perbaikan?, didasarkan pada tingkatan permasalahan yang terjadi dan konsekuensi/dampak dari permasalahan tersebut. Oleh karena itu,
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
21
Bab I Kerangka Penjaminan Kualitas Statistik
dibutuhkan suatu perencanaan yang matang sebagai antisipasi jika suatu gate mengalami kegagalan atau terjadi kesalahan/permasalahan yang fatal. Dalam rangka menentukan tindakan apa saja yang harus dilakukan, BPS dapat mengikuti instrumen yang telah digunakan ABS, yaitu menggunakan “traffic light”, dimana warna “hijau” menunjukkan bahwa ukuran kualitas telah tercapai dalam suatu gate. Warna “kuning” mengindikasi ukuran kualitas berada pada rentang toleransi dan memerlukan perhatian atau investigasi lebih lanjut, meskipun proses masih dapat dilanjutkan pada tahap berikutnya. Sedangkan warna “merah” menunjukkan bahwa ukuran kualitas berada di bawah rentang minimum dari toleransi yang diberikan. Hal ini berarti bahwa proses harus dihentikan, dan dilakukan investigasi dan penyelesaian terhadap permasalahan yang terjadi. Setelah hal ini dilakukan, dapat dilakukan pengukuran kualitas kembali. Apabila hasilnya menunjukkan warna “hijau” atau “kuning”, maka proses dapat dilanjutkan pada tahap berikutnya. 6. Evaluation (evaluasi). Evaluasi dilakukan pada tahap akhir pada setiap gate, untuk menjamin apakah semua proses telah berjalan dengan baik atau tidak, dan apakah suatu perbaikan perlu dilakukan. Berdasarkan hasil evaluasi ini, dapat dilakukan perencanaan perbaikan ke depan untuk menghasilkan peningkatan kualitas output statistik yang berkelanjutan. 4.2.4.
Contoh penentuan Quality Gates pada Susenas
Contoh penentuan Q-G di Susenas pada Gambar di bawah ini merupakan hasil diskusi antara tim QAF yang mengikuti training QAF dengan instruktur dari ABS (Narrisa Gilbert). Penentuan Q-G ini bersifat fleksibel tergantung keputusan bersama seluruh pihak yang terlibat dalam survei Susenas. Pada gambar tersebut, kegiatan Susenas dibagi menjadi enam gates. Q-G1 meliputi beragam kegiatan persiapan Susenas, seperti metodologi sampling, desain kuesioner, penyusunan kuesioner, pelatihan, dan penyiapan program pengolahan. Q-G2 mencakup kegiatan pengumpulan data dan entry data di BPS Kabupaten/Kota. Q-G3 mencakup kegiatan-kegiatan yang dilakukan di BPS Provinsi, terutama mengenai kompilasi dan agregasi data pada level provinsi. Selanjutnya Q-G4 hingga Q-G6 lebih dilakukan di BPS Pusat, yang mencakup kegiatan kompilasi data pada level nasional, pengecekan konsistensinya, agregasi data (Q-G4), analisis dan penyusunan publikasi (QG5), dan diseminasi (Q-G6).
22
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab I Kerangka Penjaminan Kualitas Statistik
Sumber: Hasil Diskusi dalam Training QAF di ABS Australia, 2014 Gambar 1.4 Contoh Penentuan Q-G pada Survei Susenas
4.2.5.
Pembangunan Quality Gates di BPS
Sebagaimana dibahas dalam sub-bab 4 (Pembangunan BPS-QAF), dinyatakan bahwa pembangunan Q-G di BPS akan mulai dilakukan pada tahun 2017. Pembangunan tersebut dimulai dengan penyusunan instrumen-instrumen yang diperlukan, seperti pedoman Q-G, template isian Pedoman Kerangka Penjaminan Kualitas Statistik BPS
23
Bab I Kerangka Penjaminan Kualitas Statistik
dan format laporan Q-G, studi kasus Q-G pada beberapa kegiatan statistik terpilih, dan sosialisasi/training/workshop Q-G. Oleh karena itu, konten terkait Q-G pada handbook ini hanya bersifat teoritis dan informatif saja. Panduan Q-G secara rinci akan disusun secara terpisah. Selanjutnya pada tahun 2018 akan dilakukan uji coba Q-G pada seluruh SM di BPS, sekaligus pelatihan penyusunan Q-G sesuai kegiatan statistiknya. Pada tahun tersebut, juga akan dilakukan uji coba pengisian template Q-G dan dokumen laporan Q-G secara offline. Sosialisasi/training/workshop Q-G dalam skala yang lebih luas akan dilakukan. Akhirnya, pada tahun 2019, BPS diharapkan sudah dapat me-launching Q-G secara online, terutama untuk produk-produk statistik yang strategis dan banyak digunakan oleh publik. Selanjutnya pada tahun-tahun berikutnya, SM dapat secara rutin melakukan Q-G secara mandiri dan melaporkan hasilnya secara online. Belajar dari pengalaman ABS ketika membangun Q-G, terdapat beberapa hal penting yang harus menjadi perhatian, yaitu: •• Pemahaman para SM di BPS akan Q-G merupakan kunci pertama yang harus diraih. Untuk itu, penyebaran dan pendalaman informasi terkait Q-G melalui kegiatan sosialisasi/training/workshop harus dilakukan secara intensif dan berkesinambungan. •• Kesadaran dan kesediaan para SM untuk terlibat dalam pembangunan Q-G sangat penting dan diperlukan. Beban kerja yang semakin berat dan keterbatasan waktu pada setiap SM perlu dikelola agar mereka dapat melaksanakan Q-G dengan baik. •• Kejujuran dalam pelaksanaan Q-G. Mengingat hasil Q-G juga dapat digunakan sebagai cerminan kinerja suatu SM dalam memproduksi suatu output statistik, maka dimungkinkan terjadi Moral Hazard dalam melakukan Q-G. Apalagi unit pelaksana penjaminan kualitas memiliki keterbatasan untuk memonitor proses pengisian Q-G secara langsung. Namun, dengan semangat bahwa pelaksanaan penjaminan kualitas (dalam hal ini Q-G) tidak bertujuan untuk mencari-cari kesalahan suatu SM, tetapi merupakan tekad bersama dalam membangun dan meningkatkan kualitas produk statistik BPS, maka permasalahan-permasalahan tersebut di atas, diharapkan tidak akan terjadi.
24
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
BAB
2 Dimensi Kualitas Statistik
Bab II Dimensi Kualitas Statistik
1.
Pengertian dan Penentuan Dimensi Kualitas
Sebagaimana dikemukakan pada bab sebelumnya, penjaminan kualitas dilakukan pada setiap tahapan kegiatan statistik. Tanpa mengetahui proses dan mekanisme yang dilakukan pada tiap tahapan, kita tidak dapat melakukan pengukuran sekaligus menjamin kualitasnya. Selain itu, kemampuan untuk mengukur juga menjadi suatu syarat penting, karena tanpa kemampuan tersebut maka pengelolaan (pengukuran) terhadap kualitas tidak dapat dilakukan (Stvilia, dkk., 2007:1720; English, 2009:28-29; Xiuxia & Zhongwen, 2007:1; Lee, dkk, 2002:134). Mengingat kualitas suatu output dapat ditinjau dari berbagai sudut pandang/ dimensi, maka pengukuran kualitas ditentukan melalui pemenuhan sekumpulan dimensi kualitas (Statistik Korea, n.d.:10; Helfert & Foley, 2009:187). Hal ini sejalan dengan kesepakatan NSO-NSO anggota UNSD, bahwa konsep kualitas data/ informasi statistik bersifat multi-dimensi dan tidak hanya melibatkan satu jenis ukuran (dimensi) saja dalam pengukuran kualitasnya. Dengan demikian, dapat dipahami bahwa dimensi kualitas statistik mencakup beberapa dimensi yang harus dipenuhi oleh suatu NSO untuk mengukur dan menjamin kualitas statistiknya.
2.
Ragam Dimensi Kualitas yang Digunakan BPS
Mengingat pembangunan BPS-QAF merujuk pada NQAF dari UNSD, maka dimensi-dimensi yang digunakan juga merujuk pada dimensi-dimensi pada NQAF yang telah disesuaikan dengan kebutuhan BPS. Penentuan dimensidimensi dalam BPS-QAF mempertimbangkan tiga hal, yaitu: 2.1. Memilih dimensi-dimensi yang secara umum digunakan oleh NSONSO. Berdasarkan Tabel 2.1 di bawah, terdapat 8 dimensi yang paling banyak digunakan NSO, yaitu relevance, accuracy, timeliness, punctuality, accessibility, coherence, comparability, dan interpretability. Dengan demikian, agar kualitas statistik BPS dapat dibandingkan dengan kualitas statistik dari NSO lain, maka ke-8 dimensi tersebut digunakan BPS. Langkah berikutnya, ditentukan apakah terdapat dimensi-dimensi yang perlu digabung? Apabila ada, apakah argumentasi yang paling kuat dan umum untuk penggabungan tersebut?
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
27
Bab II Dimensi Kualitas Statistik
Tabel 2.1. Perbandingan Dimensi Kualitas antar Beberapa NSO Terpilih EUROSTAT (2009)
Canada (2009)
Australia (2009)
Inggris (2013)
Jepang
Afrika Selatan (2010)
Korea
UNSD* (2012)
BPS (2014)
1. Relevance 2. Accuracy 3. Timeliness
√ √ √
√ √ √
√ √ √
√ √ √
√ √ √
√ √ √
√ √ √
√ √ √
√ √ √
4. Punctuality
√
√
√
√
5. 6. 7. 8.
√ √ √
√ √
√ √
√ √ √
√ √ √
√ √ √
√ √ √
√ √ √
√ √ √
√
√
√
√
√
√
√
√
√
√ √
√
Dimensi Pengukuran
Accessibility Coherence Comparability Interpretability / Clarity 9. Reliability 10. Integrity 11. Effectiveness 12. Methodological Soundness 13. Institutional Environment
√
√
√
√ √
14. Metadata
√ Dimensi yang digabung
Keterangan
• 3 & 4
• 2 & 9 • 6 & 7 • 6 & 7
• 3 & 4
• 2 & 9
• 3 & 4
• 5 & 8
• 3 & 4
• 5 & 8
• 3 & 4
• 6 & 7
• 6 & 7
• 5 & 8
• 5 & 8
• 6 & 7
• 6 & 7
Ket*: Dimensi kualitas UNSD yang disajikan di sini hanya mencakup dimensi pengukuran output statistik 2.2. Menentukan dimensi-dimensi yang digabung argumentasi yang paling kuat dan umum.
berdasarkan
Berdasarkan Tabel 2.1, terdapat tiga kelompok gabungan dimensi yang paling banyak digunakan antar NSO, yaitu 3 & 4 (timeliness dan punctuality), 5 & 8 (accessibility dan interpretability); dan 6 & 7 (coherence dan comparability). Berikut argumentasi dari masing-masing penggabungan dimensi tersebut. 1)
Penggabungan timeliness dan punctuality. Secara umum, timelines digabung dengan punctuality dalam implementasi penjaminan kualitas pada kebanyakan NSO, karena punctuality merupakan aspek pengukuran dari timeliness (Brackstone, 1999:144). Bahkan, walaupun Canada (2009:73) dan Australia6 secara eksplisit tidak mencantumkan punctuality dalam QAF mereka, namun dimensi ini pada dasarnya dimasukkan sebagai komponen pengukuran timelines.
6 http://www.abs.gov.au/ausstats/[email protected]/Latestproducts/1520.0Main Features5May 2009?opendocument &tabname=Summary&prodn o=1520.0&issue=May 2009&num=&view= (diakses pada 21 Agustus 2014).
28
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
2)
Penggabungan coherence dan comparability. Dimensi lain yang digabung oleh beberapa NSO adalah coherence dan comparability. UNSD (2012:45), Eurostat (2009:82), Inggris (2013:8), Jepang7, dan Afrika Selatan (2010:5) menggabungkan coherence dan comparability menjadi satu dimensi. Meskipun Canada (2009:7) dan Australia8 hanya menyebut dimensi coherence, namun definisi coherence yang digunakan juga mencakup konsep comparability. Bahkan Eurostat (2009:82) menyatakan bahwa comparability sebagai suatu kasus spesial dari coherence, dimana output statistik yang dihasilkan merujuk pada data yang selaras dan dapat dikombinasikan untuk menghasilkan keterbandingan antar waktu, wilayah, atau domain lainnya. Sedangkan Korea Selatan (n.d.:11-12), mengemukakan perbedaan antara konsep coherence dan comparability, comparability membandingkan data statistik dari beberapa populasi yang berbeda, sementara coherence membandingkan data statistik antar populasi yang selaras atau mirip.
3)
Penggabungan accessibility dan interpretability. UNSD (UNSD, 2012:42; de Vries, 2002:9), Eurostat (2009:78), Inggris (2013:8), dan Korea Selatan (n.d.:12) menggabung accessibility dengan interpretability dalam satu dimensi. Penggabungan ini berdasarkan konsep kesatuan antara data dan metadata (Vale, 2008:5). Maksudnya, ketersediaan data/informasi statistik harus didukung dengan ketersediaan metadata yang cukup, sehingga pengguna dapat memahami dan memanfaatkan informasi statistik secara tepat. Sedangkan Canada (2009:7), Australia9 , Jepang10, dan Afrika Selatan (2010:4) memisahkan accessibility dengan intepretability. Pemisahan ini didasarkan pada konsep bahwa accessibility lebih merujuk pada ketersediaan format dan media untuk kemudahan akses, serta kemudahan untuk memperoleh data/informasi statistik yang ada. Sementara intepretability menggambarkan ketersediaan metadata yang dibutuhkan pengguna agar lebih mudah memahami dan memanfaatkan data/informasi statistik yang disajikan.
7 http://www.stat.go.jp/ english/index/seido/pdf/qa_gl.pdf (diakses pada 21 Agustus 2014). 8 http://www.abs.gov.au/ausstats/[email protected]/Latestproducts/1520.0Main Features7May 2009?opendocument& tabname=Summary&prodn o=1520.0&issue=May 2009&num=&view= (diakses pada 21 Agustus 2014).
9 http://www.abs.gov.au/ausstats/[email protected]/Latestproducts/1520.0Main Features2May 2009? (diakses pada 21 Agustus 2014). 10 http://www.stat.go.jp/ english/index/seido/pdf/qa_gl.pdf (diakses pada 21 Agustus 2014). Pedoman Kerangka Penjaminan Kualitas Statistik BPS
29
Bab II Dimensi Kualitas Statistik
2.3. Memilih dimensi-dimensi yang digabung berdasarkan argumentasi paling kuat dan penggunaan penggabungan dimensi-dimensi tersebut. Berdasarkan ketiga kelompok di atas, diketahui bahwa penggabungan timeliness dan punctuality memiliki argumentasi yang kuat, dan tidak terdapat bantahan, maka BPS menggabungkan kedua dimensi tersebut, dan ditulis sebagai timeliness & punctuality. Penulisan punctuality secara eksplisit bertujuan agar pihak lain mengetahui bahwa BPS juga menggunakan dimensi ini dalam penjaminan kualitas. Selanjutnya akan dipilih satu dimensi diantara kelompok (2) atau (3). Terdapat tiga pertimbangan yang digunakan dari sisi jumlah penggunaan yaitu kelompok (2) lebih banyak digunakan dari kelompok (3). Dari sisi argumentasi, tampaknya argumentasi penggabungan kelompok (2) lebih realistis. Pertimbangan terakhir, dari sisi pelaksana kegiatan (dalam organisasi BPS) dimensi accessibility dilaksanakan oleh Direktorat Sistem Informasi Statistik (SIS), dan dimensi interpretability oleh Direktorat Diseminasi bersama subject matter terkait. Sedangkan untuk dimensi coherence dan comparability, tidak terdapat pemisahan pelaksanaan secara khusus di BPS. Dengan demikian, apabila penjaminan kualitas diimplementasi di BPS, maka baik dari sisi teknis maupun non-teknis, pemisahan dimensi accessibility dengan intepretability lebih memberikan manfaat daripada penggabungannya. Dengan kata lain, penggabungan coherence dan comparability lebih dipilih. Bertolak dari uraian di atas, maka ragam dimensi kualitas yang digunakan BPS adalah: 1) 2) 3) 4) 5) 6)
Relevance (relevansi) Accuracy (akurasi) Timeliness (aktualitas) & Punctuality (tepat waktu) Accessibility (aksesibilitas) Coherence (koherensi) & Comparability (keterbandingan) Interpretability (interpretabilitas)
Adapun konsep/definisi dari setiap dimensi kualitas dalam BPS-QAF adalah: 1)
Relevansi Relevansi dalam perspektif statistik adalah sejauh mana suatu output statistik dapat memenuhi kebutuhan pengguna baik dari aspek cakupan maupun konten (isi). Menurut Eurostat (2009:28), relevansi menunjukkan seberapa baik output statistik dapat memenuhi kebutuhan pengguna, mengacu pada apakah semua statistik yang diperlukan telah diproduksi, dan sejauh mana konsep-konsep (definisi, klasifikasi, dll) yang digunakan
30
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
dapat mencerminkan kebutuhan pengguna. Tingkat relevansi yang tinggi menunjukkan bahwa semua output statistik yang diperlukan pengguna telah diproduksi oleh suatu NSO, tidak ada statistik yang tidak diperlukan yang diproduksi, serta konsep dan klasifikasi yang digunakan telah memenuhi kebutuhan pengguna dan mengikuti standar internasional. Beberapa pertanyaan yang berkaitan dengan penjaminan kualitas dalam dimensi relevansi11 yang terdapat dalam NQAF (UNSD) antara lain: •• Tingkat lembaga -- Apakah terdapat prosedur yang membimbing pengguna untuk mengetahui isi program kerja dari suatu kegiatan statistik? -- Apakah NSO memiliki dewan penasehat untuk memberikan saran tentang prioritas statistik secara keseluruhan? •• Tahap desain program -- Apakah terdapat mekanisme untuk mengidentifikasi kebutuhan pengguna dan menjelaskan bagaimana hubungan antara data dengan kebutuhan mereka? -- Apakah informasi mengenai ragam pengguna beserta kebutuhannya dapat diketahui dan ditelusuri secara berkala? -- Apakah terdapat prosedur yang digunakan untuk memperoleh informasi mengenai ragam data/informasi utama yang dibutuhkan para pengguna? -- Apakah kepuasan pengguna diukur secara teratur dan ditindaklanjuti secara sistematis? •• Tahap implementasi program -- Apakah produk diseminasi statistik sesuai dengan kebutuhan pengguna? -- Apakah metadata diuraikan dan tersedia bagi para pengguna? •• Tahap evaluasi pasca pengumpulan data -- Apakah terdapat evaluasi pasca pengumpulan data, yang mencakup kesesuaian antara output dengan kebutuhan pengguna, pemberian informasi kepada pengguna terkait isu-isu penting, menyediakan metode umpan balik untuk perbaikan pengumpulan data di masa datang? -- Apakah rencana-rencana yang telah disusun, dapat diimplementasi untuk meningkatkan relevansi dan memenuhi kebutuhan pengguna yang muncul? 11 Dikutip dari Guidelines for the Template for A Generic National Quality Assurance Framework (oleh UNSD), hanya disajikan beberapa poin penting saja.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
31
Bab II Dimensi Kualitas Statistik
•• Mekanisme pendukung untuk menjamin relevansi yang efektif: -- Undang-undang atau ketentuan resmi lainnya mengenai kewajiban untuk berkonsultasi dengan para pengguna statistik. -- Pedoman/panduan kualitas yang memuat pertimbanganpertimbangan yang diperlukan dan memberikan pedoman dalam merancang keputusan. -- Proses konsultasi yang terstruktur dan berkala dengan para stakeholder dan pengguna, untuk membahas kegunaan dari data/ informasi yang tersedia dan mengidentifikasi kebutuhan data/ informasi yang mendesak. -- Ikut berpartisipasi dalam pertemuan dan seminar statistik yang diadakan oleh organisasi internasional, regional maupun profesional. -- Mengkaji program regular 2)
Akurasi Akurasi merujuk pada seberapa dekat nilai estimasi dari survei terhadap nilai sebenarnya (true value) yang tidak pernah diketahui. Jika semakin dekat, maka statistik yang dihasilkan semakin akurat. Akurasi dapat diukur melalui kesalahan yang disebabkan oleh teknik sampling (sampling errors) dan teknik non-sampling (non-sampling errors). Derajat kekonsistenan hasil estimasi antar waktu (yang sering disebut sebagai reliabilitas) merupakan salah satu aspek dari akurasi. Berikut beberapa pertanyaan kunci yang berkaitan dengan penjaminan kualitas dalam dimensi akurasi yang terdapat dalam NQAF (UNSD): •• Tingkat lembaga -- Apakah sistem penilaian dan validasi sumber data, hasil antara dan output statistik telah dikembangkan dan dikelola? -- Apakah sumber data, hasil antara dan output statistik secara teratur dinilai dan divalidasi? -- Apakah terdapat prosedur dan pedoman untuk menilai kualitas? dan apakah prosedur dan panduan tersebut difokuskan/ditujukan pada masalah akurasi? -- Apakah terdapat prosedur dan pedoman mengenai bagaimana mengukur dan mengurangi kesalahan? •• Tahap desain program -- Apakah rancangan penjaminan kualitas menggambarkan kegiatan quality control yang bertujuan mencegah, mengawasi, dan mengevaluasi kesalahan yang disebabkan oleh non-sampling errors?
32
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
-- Apakah kebijakan revisi pada setiap survei mengikuti prosedur standar (SOP) dan transparan? •• Tahap implementasi program -- Apakah melakukan prosedur statistik seperti kompilasi, adjustment, dan transformasi; dan analisis statistik dikerjakan melalui teknik statistik yang dikenal secara internasional? -- Apakah terdapat metode dan alat untuk mencegah dan mengurangi kesalahan yang disebabkan oleh non-sampling errors? -- Apakah sampling errors dan non-sampling errors diukur, dievaluasi, dan didokumentasi secara sistematik? •• Tahap evaluasi pasca pengumpulan data -- Apakah error yang ditemukan dalam publikasi statistik segera diperbaiki dan kemudian dipublikasikan kembali? -- Apakah estimasi sampling dan non-sampling dianalisis dari waktu ke waktu dan diambil tindakan perbaikan? -- Apakah umpan balik dari pengguna digunakan untuk menilai kesesuaian dengan tujuan statistik? •• Mekanisme pendukung -- Tersedianya standar, panduan dan buku pedoman untuk penilaian kualitas dan penyusunan laporan. -- Dokumentasi kebijakan untuk melakukan revisi. 3)
Aktualitas & tepat waktu Aktualitas mengacu pada perbedaan antara waktu suatu data/informasi statistik dihasilkan dengan waktu data/informasi tersebut didiseminasikan. Semakin pendek jangka waktu tersebut, maka data/informasi tersebut semakin aktual. Tepat waktu menunjukkan apakah suatu data/informasi statistik didiseminasi atau dirilis sesuai jadwal yang telah ditetapkan (ARC), dimana jadwal tersebut telah diinformasikan terlebih dahulu kepada para pengguna. Berikut beberapa pertanyaan kunci yang berkaitan dengan penjaminan kualitas dalam dimensi aktualitas dan tepat waktu yang terdapat dalam NQAF (UNSD): •• Tingkat lembaga -- Apakah ARC dibuat dengan melibatkan pihak pengguna utama? -- Apakah terdapat prosedur untuk mengawasi dan mengevaluasi ketepatan waktu rilis berdasarkan ARC? -- Apakah pengguna diberi informasi mengenai segala keterlambatan dari ARC?
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
33
Bab II Dimensi Kualitas Statistik
•• Tahap desain program -- Apakah terdapat alternatif untuk menghadapi masalah darurat yang dapat menghambat waktu rilis data? -- Apakah para staf dan pengguna menentukan dan mengetahui jumlah waktu maksimum yang ditolerir antara akhir periode acuan dan ketersediaan data? •• Tahap implementasi program -- Apakah terdapat kesepakatan dengan penyedia data/informasi mengenai rencana kapan data/informasi diserahkan? -- Apakah terdapat prosedur yang menjamin aliran data/informasi yang efektif dan tepat waktu dari provider? -- Apakah terdapat prosedur yang menjamin ketepatan penerimaan data/informasi? •• Tahap evaluasi pasca pengumpulan data -- Apakah indikator kualitas pada dimensi aktualitas & tepat waktu telah diukur, diawasi, dipublikasi, dan ditindaklanjuti secara berkala? •• Mekanisme pendukung -- Undang-undang atau ketentuan resmi yang mengatur penyusunan ARC. -- Masyarakat diberitahu mengenai data/informasi yang akan dirilis dan diberitahu bagaimana cara mengakses data tersebut (melalui internet atau publikasi). -- Kebijakan tertulis terkait rilis atau diseminasi dipublikasikan kepada publik. -- Tersedia panduan tentang bagaimana menangani keterlambatan data administratif untuk kepentingan statistik. -- Tersedia prosedur untuk berkonsultasi dengan para pengguna secara berkala. -- Indikator kualitas pada dimensi aktualitas dan tepat waktu diukur, diawasi, dipublikasi dan ditindaklanjuti secara berkala. 4)
Aksesibilitas Aksesibilitas menunjukkan seberapa mudah pengguna dapat mengakses data/informasi (berikut metadata) melalui media akses yang disediakan oleh NSO. Semakin mudah akses tersebut, maka semakin tinggi nilai dimensi ini. Berikut beberapa pertanyaan kunci yang berkaitan dengan penjaminan kualitas dalam dimensi aksesibilitas yang terdapat dalam NQAF (UNSD):
34
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
•• Tingkat lembaga -- Apakah terdapat kebijakan dan proses penjaminan bahwa ouput statistik yang dirilis dapat diakses dengan mudah, dan senantiasa memperbaharui konsep, cakupan, klasifikasi, sumber data, metode kompilasi, dan teknik statistik, sehingga data/informasi mudah dipahami? -- Apakah NSO menerima masukan dari pengguna mengenai format diseminasi yang lebih disukai pengguna? -- Apakah NSO menyediakan katalog publikasi dan layanan lainnya? •• Tahap desain program -- Apakah terdapat kesepakatan dengan stakeholders mengenai data/ informasi yang dirilis maupun metadata dari data yang berhasil dikumpulkan? -- Apakah terdapat proses yang menjamin bahwa metadata didokumentasikan sesuai standar sistem metadata dan diperbaharui secara teratur? •• Tahap implementasi program -- Apakah publikasi cetak atau elektronik tersedia sesuai permintaan pengguna? -- Apakah ouput statistik disajikan secara jelas dan mudah dipahami? •• Tahap evaluasi pasca pengumpulan data -- Apakah dilakukan penilaian untuk menjamin bahwa pengaturan diseminasi telah sesuai dengan kebutuhan pengguna? -- Apakah terdapat laporan terkait kualitas hasil statistik yang berorientasi pada pengguna?, agar pengguna mengetahui kualitas statistik yang dihasilkan. •• Mekanisme pendukung -- Website yang mudah digunakan untuk akses data/informasi dan metadata. -- Pelayanan informasi yang memudahkan pengguna untuk melakukan permintaan data/informasi atau mendapatkan jawaban atas pertanyaan seputar data/informasi. -- Survei kepuasan pengguna, Focus Group Discussion (FGD), atau mekanisme lain untuk mengetahui feedback dari para pengguna terhadap output statistik, format diseminasi, dan sebagainya. -- Katalog publikasi bagi pengguna data. 5)
Koherensi & keterbandingan Koherensi merujuk pada data/informasi yang berasal dari sumber dan metode yang berbeda, tetapi menghasilkan output yang selaras mengenai
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
35
Bab II Dimensi Kualitas Statistik
suatu fenomena yang sama. Menurut NSO Inggris (2013:8), koherensi menunjukkan sejauh mana proses statistik yang dilakukan, seperti konsep dan metodologi yang digunakan, dapat menghasilkan informasi statistik yang dapat digabungkan dengan informasi statistik lainnya dalam penggunaan yang lebih luas. Keterbandingan bermakna apakah data statistik yang diagregasi berdasarkan konsep, klasifikasi, alat ukur, proses pengukuran, dan data dasar yang sama dapat dibandingkan dengan data statistik lain yang berbeda waktu dan wilayah. Komparabilitas digunakan untuk memeriksa apakah suatu data dapat dibandingkan dengan data negara atau kota lain, atau dibandingkan antar waktu. Untuk meningkatkan komparabilitas internasional, diperlukan penerapan standar internasional pada klasifikasi dan metode penilaian. Berikut beberapa pertanyaan kunci yang berkaitan dengan penjaminan kualitas dalam dimensi koherensi dan keterbandingan, merujuk pada NQAF: •• Tingkat lembaga -- Apakah terdapat prosedur dan pedoman untuk menjamin dan memantau koherensi dan konsistensi internal? -- Apakah terdapat prosedur dan pedoman untuk menjamin dan mengawasi koherensi dan konsistensi antar sektor? -- Apakah terdapat tempat penyimpanan umum mengenai konsep/ definisi, unit, dan klasifikasi; atau apakah terdapat mekanisme lain untuk mempromosi koherensi & komparabilitas output statistik? -- Apakah terdapat standar umum yang berkaitan dengan konsep/ definisi, unit, dan klasifikasi dalam rangka meningkatkan koherensi & komparabilitas output statistik? -- Apakah output statistik senantiasa terbandingkan (ketersediaan output secara time series) selama jangka waktu tertentu? •• Tahap desain program -- Apakah sumber dari konsep/definisi, unit dan klasifikasi didiskusikan saat merancang program baru mengenai suatu output statistik? -- Apakah mengetahui dan mengikuti standar nasional dan atau internasional terkait konsep/definisi, unit, dan klasifikasi? •• Tahap implementasi program -- Apakah terdapat prosedur dan pedoman khusus yang menjamin bahwa output statistik bersifat koheren secara internal? -- Apakah perubahan dalam metode yang digunakan telah diidentifikasi dan diukur secara jelas untuk memudahkan rekonsiliasi?
36
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
•• Pada tahap evaluasi pasca-pengumpulan -- Apakah terdapat penilaian mengenai efek dari perubahan dalam metodologi pada perkiraan akhir estimasi, dan apakah pengguna diberi informasi yang tepat mengenai hal tersebut? -- Apakah output statistik dibandingkan dengan sumber-sumber statistik atau administrasi lain yang sama atau informasi yang sama pada subyek yang sama, dan apakah perbedaan yang ada diidentifikasi dan dijelaskan kepada pengguna? •• Mekanisme pendukung -- Panduan atau prosedur internal dikembangkan dalam rangka menjamin dan memantau koherensi dan konsistensi internal. -- Tempat penyimpanan umum mengenai konsep/definisi, unit dan klasifikasi disusun dan di-update secara berkala. -- Data statistik (tersedia dalam time series) dapat diperbandingkan dalam rentang waktu tertentu. -- Membandingkan dengan data/informasi lain yang bersesuaian sebelum suatu data/informasi dipublikasi. 6)
Interpretabilitas Interpretabilitas mengacu pada kemudahan pengguna untuk memahami data/informasi yang dihasilkan suatu NSO, dimana data/informasi tersebut disajikan dalam format yang jelas serta mudah dipahami pengguna. Sehingga, bila suatu data/informasi semakin mudah dipahami, maka data/ informasi tersebut semakin interpretable. Disamping format yang jelas, setiap publikasi juga harus disertai dengan informasi tambahan berupa metadata. Berikut beberapa pertanyaan kunci yang berkaitan dengan penjaminan kualitas dalam dimensi interpretabilitas yang merujuk pada NQAF: •• Tingkat lembaga -- Apakah data dan metadatanya disajikan dalam format yang mudah dipahami? -- Apakah melakukan pelatihan bagi para staf untuk meningkatkan keterampilan menulis mengenai statistik (untuk press release, publikasi, dll)? •• Tahap desain program -- Apakah proses yang ada sudah menjamin bahwa metadata telah didokumentasikan sesuai sistem yang standar? -- Apakah prosedur yang ada memberikan informasi/keterangan apabila terdapat perbedaan antara pedoman yang digunakan dengan standar internasional?
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
37
Bab II Dimensi Kualitas Statistik
•• Tahap implementasi program -- Apakah data/informasi statistik disajikan dengan jelas dan mudah dipahami? -- Apakah terdapat catatan penjelasan yang menyertai penyajian data/ informasi? -- Apakah pengguna diberi informasi mengenai metodologi dari proses produksi statistik dan penggunaan data administratif? •• Mekanisme pendukung -- Dokumen mengenai metodologi (konsep, cakupan, klasifikasi, sumber data, metode kompilasi dan teknik statistik) tersedia bagi publik. -- Pelatihan pegawai dan pengembangan program keterampilan menulis tentang statistik.
-3.
Ragam Indikator Kualitas dalam Dimensi
Dalam rangka implementasi pengukuran tingkat kualitas statistik pada suatu dimensi, diperlukan indikator kualitas statistik12. Indikator-indikator ini ditentukan dengan mempertimbangkan (1) kemampuan suatu indikator dalam merepresentasikan suatu dimensi13, (2) penggunaan indikator kualitas di NSO-NSO lainnya, dan (3) implementasi pengukuran. Hal ini bertujuan agar indikator tersebut dapat diterapkan dalam pengukuran kualitas di BPS, karena terdapat banyak indikator kualitas yang secara ideal digunakan untuk mengukur kualitas, namun sangat sulit atau membutuhkan biaya besar ketika akan diimplementasikan. Dalam handbook ini tidak dijelaskan proses pemilihan indikator secara detail sebagaimana dilakukan pada pemilihan dimensi, karena jumlah indikator yang sedemikian banyak dan proses penetapan yang cukup kompleks. Adapun ragam indikator kualitas per-dimensi dalam BPS-QAF disajikan pada Tabel 2.2, dan konsep/definisi setiap indikator disajikan pada Tabel 2.314. Sedangkan teknik pengukuran kualitas statistik secara rinci akan disajikan pada bab berikutnya.
12 UNSD (2012 : 48-49), Statistics South Africa (2010: 3) dan Korean Statistics (Handbook, 50) mendefinisikan indikator kualitas
statistik sebagai elemen-elemen yang spesifik dan terukur secara objektif dalam pelaksanaan produksi statistik yang dapat digunakan untuk mencirikan kualitas statistik
13 Beragam referensi digunakan dalam handbook ini untuk menentukan indikator-indikator mana saja yang akan digunakan pada suatu dimensi kualitas.
14 Penulisan nama indikator kualitas dalam bahasa aslinya bertujuan untuk menghindari kesalahpahaman arti atau makna dari suatu indikator jika diterjemahkan ke bahasa Indonesia.
38
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
Tabel 2.2 Ragam Indikator Kualitas menurut Dimensi
Dimensi Relevance (Revelansi)
Accuracy (Akurasi) Timeliness & Punctuality (Aktualitas & Tepat Waktu) Accessibility (Aksesibilitas)
Indikator Kualitas • Mendeskripsikan dan mengklasifikasi pengguna utama • Identifikasi kebutuhan pengguna utama • Perbedaan antara output yang dihasilkan dengan kebutuhan pengguna utama • Kesalahan sampling • Kesalahan non-sampling • Rentang waktu antara periode referensi dengan rilis data • Ketepatan waktu antara rencana dan realisasi penerbitan publikasi • Kebijakan mengenai pengaksesan data dan metadata • Media akses • Format data dan metada • Tersedia jadwal rilis publikasi • Tersedia katalog publikasi
Interpretability (Interpretabilitas)
• • • •
Tersedia ringkasan temuan penting Tersedia contact point Tersedia metadata/informasi pendukung Standar dari format publikasi
Coherence & Comparability (Koherensi & Keterbandingan)
• • • •
Definisi dan standar [klasifikasi, metodologi] yang digunakan Series data yang dapat diperbandingkan Keterbandingan dengan output statistik lainnya Keterbandingan antar item data
Tabel 2.3. Penjelasan Makna Setiap Indikator Kualitas menurut Dimensi
Dimensi Kualitas Indikator Relevance 1. Describe & classify key user (Revelansi) (mendeskripsikan dan mengklasifikasi pengguna utama)
Accuracy (Akurasi)
Penjelasan Makna dalam setiap pelaksanaan kegiatan statistik harus dilakukan identifikasi siapa saja yang menjadi pengguna data hasil kegiatan tersebut. Kemudian pengguna data tersebut disusun ke dalam kelompokkelompok atau klasifikasi-klasifikasi dari pengguna data (pengguna utama dan pengguna lainnya) informasi tentang kebutuhan statistik dari setiap pengguna utama harus diidentifikasi, di-update, dan dianalisis, agar diperoleh informasi kebutuhan pengguna utama secara komprehensif perbedaan (gap) yang terjadi karena ketidaksesuaian antara output statistik yang dihasilkan dengan perancangan (desain)
2. Identify user needs (identifikasi kebutuhan pengguna utama) 3. Gaps output & needs (perbedaan antara output yang dihasilkan dengan kebutuhan pengguna utama) 1. Sampling errors (kesalahan seberapa besar perbedaan antara nilai populasi dengan hasil estimasi sampling) dari sampel yang diambil dari populasi tersebut dengan menggunakan metode sampling. Dengan kata lain, sampling error adalah error yang muncul sebagai akibat dari pengambilan sampel dengan menggunakan teknik-teknik sampling tertentu. 2. Non-sampling errors non-sampling error merupakan error yang terjadi karena hal-hal di luar (kesalahan non-sampling) penggunaan teknik sampling, seperti coverage error (kesalahan cakupan), non-respon errors (kesalahan non-respon), processing error (kesalahan pengolahan data), measurement error (kesalahan pengukuran), dan assumption model error (kesalahan asumsi model). Pedoman Kerangka Penjaminan Kualitas Statistik BPS
39
Bab II Dimensi Kualitas Statistik
Dimensi Kualitas
Timeliness & punctuality (Aktualitas & Tepat Waktu)
Accessibility (Aksesbilitas)
Indikator
Penjelasan Makna
1. Time lag from reference date/ period to release (rentang waktu antara periode referensi dengan rilis data)
merupakan rentang waktu antara data/informasi statistik (yang dihasilkan) dirilis ke publik dengan waktu dari fenomena yang dijelaskan oleh data/informasi tersebut
2. Punctuality of time schedule of effective publication (ketepatan waktu antara rencana dan realisasi penerbitan publikasi)
merupakan rentang waktu/jarak antara rencana penerbitan publikasi (diseminasi) dari suatu data/ informasi statistik dengan realisasi penerbitannya.
1. Policies for data accessbility, and metadata (kebijakan mengenai pengaksesan data dan metadata)
kebijakan dari BPS terkait hak pengaksesan data dan metadata, baik secara internal (BPS) maupun eksternal. Secara internal, hal ini antara lain berkaitan dengan integritas data (misal, siapa yang berhak merubah suatu data). Secara eksternal, antara lain berkaitan dengan kerahasiaan data (misal, ragam data yang dapat diakses oleh pihak-pihak tertentu, dan ragam data yang dapat diakses oleh publik).
2. Media access (media akses)
ragam dan bentuk media yang sudah disepakati dengan pengguna utama untuk mengakses data/informasi dan metadata
3. Format of data and metadata (format data dan metada)
penyusunan data dan metadata ke dalam bentuk format yang sesuai kesepakatan dengan pengguna utama
4. Availability of publication release schedule (tersedia jadwal rilis publikasi)
tersedianya jadwal rilis publikasi yang dapat diketahui oleh publik, sehingga dapat diketahui apakah output statistik yang dipublikasikan sesuai tepat waktu atau tidak
5. Availability of catalog of katalog merupakan buku/sistem yang memuat informasi tertentu dan publication (tersedia katalog berkaitan dengan publikasi, yang disusun secara berurutan dan teratur, publikasi) biasanya berdasarkan alfabet. Katalog ini berfungsi membantu pencarian suatu publikasi, sehingga memudahkan pengguna dalam mengakses output statistik yang diinginkan. Interpretability 1. Summary of key findings (tersedia ringkasan temuan (Interpretabilitas) penting)
ringkasan yang memuat hasil/temuan penting yang dapat memudahkan pengguna memahami hasil output statistik secara cepat dan komprehensif.
2. Availability of contact point (tersedia contact point)
contact point merupakan salah satu layanan kepada pengguna untuk berkonsultasi atau memperoleh informasi lebih lanjut terkait suatu data/ informasi statistik, sehingga diharapkan dapat membantu pengguna tersebut dalam memahami dan menginterpretasi data/informasi tersebut.
3. Availability of metadata/ supplementary information (tersedia metadata/informasi pendukung)
metadata sering disebut sebagai data yang menjelaskan tentang data atau informasi yang menjelaskan tentang suatu data/informasi statistik. Ketersediaan metadata dapat memperjelas makna dari data/informasi yang disajikan.
4. Standard of publication format format publikasi statistik disusun sesuai standar yang berlaku sehingga (standar dari format publikasi) mempermudah pengguna dalam memahami suatu hasil publikasi. Format yang dimaksud mencakup susunan beserta isi yang terkandung di dalamnya.
40
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
Dimensi Kualitas
Coherence/ Comparability (Koherensi/ Keterbandingan)
Indikator
1. Definition and standards (classification, metodologi) used (Definisi dan standar [klasifikasi, metodologi] yang digunakan)
Penjelasan Makna
konsep/definisi, klasifikasi, dan metodologi yang digunakan dalam suatu kegiatan statistik harus mengikuti suatu standar, agar dapat menghasilkan output statistik dengan tingkat koherensi dan keterbandingan yang tinggi.
2. Length of comparable time- keterbandingan data antar waktu pada suatu wilayah tertentu. Data series (series data yang dapat dapat di-series-kan jika memiliki kesamaan konsep/definisi; klasifikasi; diperbandingkan) dan metodologi yang digunakan. 3. Comparison with other product available (keterbandingan dengan output statistik lainnya)
keterbandingan dengan output statistik lainnya dimaksudkan untuk melihat tingkat koherensi antar output statistik. Koherensi menunjukan sejauh mana proses statistik yang dilakukan, seperti konsep dan metodologi yang digunakan, dapat menghasilkan output statistik yang dapat digabungkan dengan output statistik lainnya dalam penggunaan yang luas.
4. Comparison across data item (keterbandingan antar item data)
koherensi antar item data (koherensi internal) merupakan koherensi yang merujuk pada item data yang dihasilkan oleh satu kegiatan statistik (dapat terjadi antar segmen) dalam satu periode dan wilayah tertentu
4.
Snapshot BPS-QAF
Berdasarkan uraian-uraian yang telah dikemukakan di atas, disimpulkan bahwa dalam rangka pengukuran dan penjaminan kualitas statistik, BPS menggunakan enam dimensi kualitas yaitu relevance, accuracy, timeliness & punctuality, accessibility, coherence & comparability, dan interpretability, dimana setiap dimensi mencakup satu atau lebih indikator kualitas untuk mengukur tingkat kualitas pada setiap dimensinya. Pemikiran yang muncul adalah bagaimana menempatkan seluruh dimensi beserta indikator-indikator tersebut ke dalam suatu bagan atau gambar yang sederhana, lengkap, dan dapat dengan mudah dipahami dan disosialisasikan kepada para pegawai BPS maupun pihak-pihak terkait. Maka, disusunlah sebuah Snapshot BPS-QAF. Snapshot ini berbentuk lingkaran yang terdiri dari 3 baris. Baris pertama menunjukkan nama dimensi kualitas, diikuti baris ke-dua yang menjelaskan konsep/definisi secara singkat dari masing-masing dimensi. Pada baris terakhir, dicantumkan indikator-indikator kualitas yang digunakan untuk mengukur kualitas tiap dimensinya.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
41
Bab II Dimensi Kualitas Statistik
BPS
Quality Assurance Framework
Gambar 2.1 Snapshot BPS-QAF
5.
Mapping Link antara dimensi kualitas dan GSBPM
Sebagaimana telah dikemukakan, dimensi kualitas digunakan untuk mengukur dan menjamin kualitas output statistik yang dihasilkan dari suatu kegiatan statistik yang dilakukan BPS, dimana proses tersebut merujuk pada GSBPM. Oleh karena itu harus dilakukan mapping antara dimensi kualitas dan GSBPM. Agar pembahasan dalam bagian ini dapat dipahami, maka terlebih dahulu disajikan pembahasan mengenai GSBPM.
42
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
5.1. GSBPM Ketika menyelenggarakan suatu kegiatan survei/sensus, suatu NSO melakukan beberapa tahapan kegiatan, mulai dari perencanaan, pelaksanaan, hingga evaluasi kegiatan. Tahapan-tahapan tersebut harus disusun secara sistematik dan saling berkaitan dalam suatu proses bisnis sehingga dapat menghasilkan data/informasi statistik yang berkualitas. Untuk itu, diperlukan suatu standarisasi mengenai model proses bisnis dalam kegiatan statistik yang dapat digunakan sebagai pedoman/panduan bagi seluruh NSO. Beberapa NSO seperti Selandia Baru, Australia, Swedia, Norwegia, Belanda, dan anggota UNECE15 mengembangkan suatu rancangan proses bisnis statistik yang selanjutnya disebut GSBPM. Saat ini, GSBPM telah digunakan oleh lebih dari 50 organisasi statistik di dunia untuk mengelola dan mendokumentasikan proses kegiatan statistik. Sejak Desember 2013, telah disajikan GSBPM versi 5 sebagai revisi dari versi sebelumnya. 5.1.1.
Arti GSBPM
GSBPM (singkatan dari Generic Statistical Business Process Model) adalah suatu matriks yang menjelaskan tahapan proses kegiatan yang seharusnya dilakukan suatu lembaga statistik (NSO) ketika menyelenggarakan suatu kegiatan statistik. Tahapan tersebut dimulai dari perencanaan (yaitu berupa identifikasi kebutuhan pengguna), pelaksanaan, hingga tahap evaluasi. Dalam setiap proses, dirinci beragam sub-proses yang harus dilakukan untuk menunjang pelaksanaan tahapan proses tersebut. Dengan demikian, GSBPM terdiri dari urutan-urutan langkah yang logis dalam proses bisnis statistik tersebut menjadi pedoman pelaksanaan survei/sensus. Namun, urutan-urutan langkah dalam setiap proses dapat berbeda-beda, dan memungkinkan terjadinya suatu perulangan (loop) jika terjadi peninjauan kembali pada suatu proses (UNECE, 2013:3). 5.1.2.
Manfaat GSBPM
Mengingat GSBPM disusun sebagai bentuk standarisasi dari proses bisnis dalam kegiatan statistik, maka GSBPM bermanfaat sebagai pedoman/panduan bagi SM di BPS ketika akan menyelenggarakan suatu survei atau sensus. Tahapan kegiatan yang tercantum dalam setiap proses maupun sub-prosesnya dapat digunakan sebagai rujukan maupun referensi dalam penyusunan rencana kegiatan.
15 United Nations Economic Commision for Europe (UNECE) Pedoman Kerangka Penjaminan Kualitas Statistik BPS
43
Bab II Dimensi Kualitas Statistik
Selain itu, GSBPM juga bermanfaat bagi para NSO ketika melakukan pembandingan proses pelaksanaan suatu survei atau sensus antar lembaga statistik. Pembandingan ini penting dalam rangka evaluasi maupun perencanaan pengembangan kegiatan statistik yang akan dilakukan suatu NSO. Disamping itu, GSBPM juga bersifat fleksibel dan dinamis. Fleksibel berarti bahwa suatu NSO diperbolehkan untuk memodifikasi tahapan-tahapan proses bisnis dalam GSBPM sesuai struktur organisasinya atau kondisi di negaranya. Hal ini penting agar kegiatan statistik tersebut dapat dilaksanakan secara lebih optimal, efektif, dan efisien. Sedangkan dinamis merujuk pada konten GSBPM yang senantiasa mengalami evaluasi dan perbaikan, mengikuti perkembangan statistik dan kebutuhan pengguna, dalam rangka peningkatan kualitas statistik. 5.1.3.
Peran penting GSBPM
Salah satu prinsip dasar dalam penjaminan kualitas statistik adalah keharusan untuk memperhatikan seluruh proses bisnis yang dilakukan ketika memproduksi suatu data/informasi statistik. Informasi terkait proses bisnis yang dibutuhkan tersebut telah tersedia secara sistematik, terstruktur, dan komprehensif dalam GSBPM. Melalui GSBPM, pengelolaan kualitas yang komprehensif semakin dipermudah dan jelas. Dengan demikian, GSBPM tidak hanya berperan sebagai penyedia informasi mengenai prosedur yang harus dilakukan pada tahapan proses/sub-proses dalam suatu kegiatan statistik, GSBPM juga berperan sebagai alat evaluasi sekaligus mengukur kualitas pelaksanaan kegiatan tersebut. Tahapan-tahapan proses bisnis pada GSBPM dapat di-link-kan dengan dimensi pengukuran kualitas (dalam bentuk matriks) untuk mengukur seberapa besar kualitas yang telah dicapai. Oleh karena itu, pengelolaan kualitas statistik menuntut semua sel matriks antara dimensi kualitas dan proses bisnis dipertimbangkan/ diperhatikan. Hal ini merujuk pada prinsip bahwa kualitas harus dibangun di setiap proses karena kualitas bersifat multidimensi (NSO Kanada, 2009:10). 5.1.4.
Cakupan umum GSBPM
Secara umum, GSBPM terdiri dari delapan proses bisnis statistik, yaitu penentuan kebutuhan (specify needs), perancangan (design), pembangunan (build), pengumpulan data (collect), pengolahan (process), analisis (analyse), diseminasi (disseminate), dan evaluasi (evaluate). Selanjutnya, setiap proses dibagi menjadi beberapa sub-proses yang harus dilakukan. Cakupan secara rinci dalam GSBPM ini, disajikan pada Gambar 2.2, sedangkan penjelasan detil mengenai proses dan sub-proses disajikan pada Bagian 5.2 mengenai “Komponen dalam GSBPM”.
44
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
Quality Management/Metadata Management Specify needs (Penentuan kebutuhan)
Design (Perancangan)
Build (Pembangunan)
Collect (Pengumpulan Data)
Process (Pengolahan)
Analyse (Analisis)
Diseminate (Diseminasi)
Evaluate (Evaluasi) Gather evaluation inputs (Mengumpulkan masukan informasi) Conduct evaluation (Melakukan evaluasi)
Identify needs (Mengidentifikasi kebutuhan)
Design output (Merancang output)
Build collection instrument (Membangun instrumen pengumpulan data)
Create frame & select sample (Membuat kerangka dan memilih sampel)
Integrate data (Integrasi data)
Prepare draft Update output output (Persiapan systems draft output) (Memperbarui sistem output)
Consult and confirm need (Mengkonsultasi dan mengkonfirmasi kebutuhan pengguna) Establish output objectives (Menetapkan tujuan output statistik)
Design variable description (Merancang deskripsi variabel)
Build/enhance process components (Membangun/ meningkatkan komponen proses)
Set up collection (Persiapan pengumpulan data)
Classify & code (Klasifikasi dan pengkodean)
Validate output (Validasi output)
Design collection (Merancang pengumpulan data)
Run collection (Pelaksanaan Pengumpulan data)
Review & validate Interpret & explain (Review dan output validasi) (menginterpretasi & menjelaskan output)
Identify concepts (Identifikasi konsep)
Design frame and sample (Merancang kerangka dan sampel)
Build/enhance dissemination component (Membangun/ meningkatkan komponen diseminasi) Configurre workflows (Mengkonfigurasi alur kerja)
Finalize collection (Finalisasi pengumpulan data)
Edit & impute (Mengedit & mengimputasi)
Check data availability (Memeriksa ketersediaan data)
Design processing & analysis (Merancang proses & analisis)
Test production systems (Pengujian sistem produksi)
Prepare business case (Mempersiapkan proses bisnis)
Design production systems & workflow (Merancang sistem produksi & alur kerja)
Test statistical business process (Pengujian proses bisnis statistik)
Finalize production systems (Finalisasi sistem produksi)
Produce dissemination products (Menghasilkan produk diseminasi) Manage release of dissemination products (Mengelola rilis produk diseminasi)
Agree an action plan (Persetujuan rencana tindak lanjut hasil evaluasi)
Apply disclosure control (Penerapan pengendalian keterbukaan)
Promote dissemination products (Mempromosi produk diseminasi) Derive new Finalize outputs Manage variables and (Finalisasi output) user support units (Pemben(Mengelola tukan variabel dukungan dan unit statistik pengguna) baru) Calculate weights (Menghitung penimbang)
Calculate aggregate (Menghitung agregat) Finalize data files (Finalisasi file data)
Sumber: United Nations Economic Commision for Europe (UNECE), Desember 2013
Gambar 2.2. Generic Statistical Business Process Model (GSBPM) Version 5
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
45
Bab II Dimensi Kualitas Statistik
5.2. Komponen dalam GSBPM Komponen GSBPM terdiri dari dua level. Level pertama menunjukan delapan tahapan proses bisnis yang harus dilakukan, mulai dari penentuan kebutuhan (specify needs) hingga evaluasi (evaluate). Level kedua terdiri dari beberapa subproses yang harus dilakukan dalam implementasi dari suatu tahapan proses bisnis. Misalnya, pada tahapan penentuan kebutuhan pengguna, terdapat enam sub-proses yang harus dilakukan seperti (1) mengidentifikasi kebutuhan pengguna, (2) mengkonsultasi dan mengonfirmasi kebutuhan pengguna, (3) menetapkan tujuan output statistik, (4) mengidentifikasi konsep, (5) memeriksa ketersediaan data, dan (6) mempersiapkan proses bisnis. Penjelasan secara rinci setiap proses dan sub-proses dalam GSBPM (versi 5) sebagai berikut: 1. Menentukan kebutuhan (specify needs) Tahap ini mencakup lima sub-proses yang dilakukan pada tahapan identifikasi kebutuhan para pengguna, yaitu: 1. Penentuan Kebutuhan 1.1. Mengidentifikasi kebutuhan pengguna
1.2. Mengkonsultasi dan mengonfirmasi kebutuhan
1.3. Menetapkan tujuan output statistik
1.4. Mengidentifikasi konsep
1.5. Memeriksa ketersediaan data
1.6. Mempersiapkan proses bisnis
Gambar 2.3 Rincian Sub-Proses pada Tahapan Penentuan Kebutuhan
1)
Mengidentifikasi kebutuhan pengguna Identifikasi kebutuhan ini meliputi investigasi awal dan identifikasi output statistik apa saja yang diperlukan oleh para pengguna utama (baik internal maupun eksternal BPS). Selanjutnya diidentifikasi apakah output statistik tersebut telah tersedia. Apabila belum tersedia, dapat dipertimbangkan apakah BPS mampu menghasilkan output statistik tersebut. Apabila mampu, maka dapat dilakukan sub-proses berikutnya.
2)
Mengkonsultasi dan mengkonfirmasi kebutuhan Sub-proses ini fokus pada kegiatan konsultasi dengan para pengguna utama dan mengkonfirmasi secara rinci kebutuhan mereka akan suatu output statistik. Tingkat pemahaman yang baik mengenai kebutuhan para pengguna sangat diperlukan agar BPS dapat mengetahui dengan baik, tidak hanya output statistik ‘apa?’ saja yang dibutuhkan para pengguna, tetapi juga ‘kapan?’, ‘bagaimana?’, dan mungkin yang paling penting adalah
46
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
‘mengapa?’ Pada konsultasi dan konfirmasi yang selanjutnya (iterasi), fokus utama yang perlu dibangun adalah menentukan apakah kebutuhan pengguna yang diidentifikasi sebelumnya telah berubah. Dengan demikian, pemahaman secara rinci mengenai kebutuhan para pengguna merupakan bagian terpenting dari sub-proses ini. 3)
Menetapkan tujuan output statistik Sub-proses ini mengidentifikasi output statistik yang diperlukan pengguna, pada sub-proses 1.2. Hal penting lainnya adalah kesesuaian output statistik yang dihasilkan. Pada sub-proses ini, kerangka hukum (misalnya berkaitan dengan kerahasiaan) dan ketersediaan sumber daya sering menjadi kendala/hambatan pada saat menetapkan tujuan dari output statistik tersebut.
4)
Mengidentifikasi konsep Pada sub-proses ini dilakukan identifikasi konsep-konsep yang relevan, variabel apa saja yang diperlukan, serta mengklarifikasi/memastikan konsep-konsep yang akan digunakan dari sudut pandang pengguna.
5)
Memeriksa ketersediaan data Pada sub-proses ini dilakukan pemeriksaan ketersediaan data dan/atau metodologi yang dimiliki supaya dapat memenuhi kebutuhan yang telah diidentifikasi sebelumnya
6)
Mempersiapkan proses bisnis Pada sub-proses ini dilakukan dokumentasi atas temuan-temuan yang diperoleh dari proses ‘Penentuan Kebutuhan (specify needs)’. Selanjutnya diputuskan apakah akan melaksanakan suatu kegiatan statistik yang baru atau cukup hanya memperbaiki suatu proses saja. Hal yang perlu diperhatikan di sini, antara lain: •• Uraian informasi mengenai bagaimana statistik yang ada saat ini diproduksi, serta menyoroti setiap in-efisiensi dan masalah yang harus ditangani. •• Merinci bagaimana suatu proses bisnis statistik akan dikembangkan untuk menghasilkan suatu statistik yang baru atau hanya berupa revisi. •• Penilaian terkait biaya dan manfaat, serta kendala eksternal yang mungkin terjadi.
2. Perancangan (Design) Pada proses ini dilakukan pendeskripsian kegiatan pengembangan dan perancangan, serta penelitian yang dibutuhkan untuk mendefinisikan output, Pedoman Kerangka Penjaminan Kualitas Statistik BPS
47
Bab II Dimensi Kualitas Statistik
konsep, metodologi, instrumen pengumpulan, dan proses operasional mengenai kegiatan statistik yang akan dilakukan. Pada kegiatan statistik yang dilakukan secara reguler, proses ini biasanya dilakukan pada iterasi pertama, dan pada iterasi selanjutnya dimungkinkan hanya akan dilakukan perbaikanperbaikan setelah melewati proses evaluasi pada iterasi sebelumnya. Adapun sub-proses pada proses ‘Perancangan’ ini adalah: 2. Perancangan 2.1 Merancang output
2.2 Merancang deskripsi variabel
2.3 Merancang pengumpulan data
2.4 Merancang kerangka dan sampel
2.5 Merancang proses & analisis
2.6 Merancang sistem produksi dan alur kerja
Gambar 2.4. Rincian Sub-Proses Bisnis pada Tahapan Perancangan
1)
Merancang output Berisi rancangan yang rinci mengenai output statistik yang akan dihasilkan, termasuk pembangunan, penyusunan sistem, dan tools yang digunakan dalam diseminasi. Output tersebut harus didesain agar mengikuti bentuk standar yang ada. Untuk mencapai hal ini, dapat digunakan metadata yang sesuai dengan output tersebut, standar-standar internasional, maupun informasi mengenai praktek penyelenggaraan kegiatan statistik yang relevan dari NSO-NSO lainnya.
2)
Merancang deskripsi variabel Pada sub-proses ini dilakukan pendefinisian mengenai variabel statistik yang akan dikumpulkan melalui instrumen pengumpul data, termasuk variabel baru, unit statistik ,dan klasifikasi yang akan digunakan. Oleh karena itu, diharapkan tersedia standar nasional dan internasional yang dapat digunakan sebagai rujukan atau pedoman. Dalam implementasinya, sub-proses ini dapat dilaksanakan secara paralel dengan sub-proses “Merancang pengumpulan data” terutama dalam hal-hal pendefinisian variabel yang akan dikumpulkan dan penentuan instrumen pengumpul data, karena kedua sub-proses tersebut dimungkinkan saling berkaitan.
3)
Merancang pengumpulan data Pada sub-proses ini dilakukan penentuan metode pengumpulan dan instrumen yang paling tepat untuk digunakan dalam pengumpulan data, misalnya wawancara dengan bantuan laptop/ipad, kuesioner, data administrasi, atau teknik integrasi data. Desain pertanyaan dan template jawaban disusun secara logis dan sistematis dengan memperhatikan variabel dan klasifikasi yang telah dirancang pada sub-proses “Merancang deskripsi variabel”.
48
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
Pengumpulan data dapat juga dilakukan melalui MoU antara BPS dengan instansi lain dalam bentuk kerjasama, berupa permintaan data sekunder dari BPS ke instansi tersebut. 4)
Merancang kerangka dan sampel Pada sub-proses ini dilakukan identifikasi dan penentuan populasi, pendefinisian kerangka sampel, dan penentuan kriteria pengambilan sampel dan metodologi yang paling tepat. Sumber umum yang digunakan dapat berupa data administrasi, sensus, dan survei. Pada sub-proses ini, juga dijelaskan bagaimana sumber-sumber tersebut dikombinasikan (seandainya diperlukan).
5)
Merancang proses dan analisis Sub-proses ini mendesain metode pengolahan statistik yang akan diterapkan pada tahapan “pengolahan (process), dan analisis (analyse)”, mencakup spesifikasi untuk coding, editing, imputasi, estimasi, integrasi, validasi, dan finalisasi data.
6)
Merancang sistem produksi dan alur kerja Sub-proses ini menentukan alur kerja mulai dari pengumpulan data hingga diseminasi, merancang semua proses yang diperlukan dalam kerangka kerja proses produksi statistik (statistical production process framework), dan memastikan bahwa seluruh proses tersebut dapat berjalan secara efisien tanpa adanya kesalahan. Jika terdapat kesalahan, maka kesalahan tersebut harus segera diidentifikasi dan dirancang solusi penyelesaiannya. Juga perlu diperhatikan beragam sistem dan database yang diperlukan selama proses tersebut berlangsung. Sehingga perlu dipertimbangkan bagaimana staf dapat berinteraksi dengan sistem tersebut, dan siapa yang akan bertanggung jawab untuk ‘apa’ dan ‘kapan’.
3. Pembangunan (build) Kegiatan pada tahap ini adalah membangun dan melakukan tes pada sistem produksi untuk mengetahui sejauhmana kesiapannya untuk digunakan dalam lingkungan yang sebenarnya. Pada output-output statistik yang dihasilkan secara rutin, tahap ini biasanya dilakukan pada iterasi pertama, dan selanjutnya ditinjau ulang atau mengalami perubahan pada metodologi atau teknologi. Sub-proses pada tahapan ini adalah: 1)
Membangun intrumen pengumpulan data Sub-proses ini menggambarkan aktivitas-aktivitas yang dilakukan untuk
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
49
Bab II Dimensi Kualitas Statistik
3. Pembangunan 3.1 Membangun instrumen pengumpulan data
3.2 Membangun atau meningkatkan komponen proses
3.3 Membangun atau meningkatkan komponen diseminasi
3.4 Mengkonfigurasikan alur kerja
3.5 Pengujian sistem produksi
3.6 Pengujian proses bisnis statistik
Gambar 2.5 Rincian Sub-Proses pada Tahapan Pembangunan
membangun instrumen yang akan digunakan dalam tahap pengumpulan data. Instrumen pengumpulan data tersebut dibangun berdasarkan spesifikasi-spesifikasi rancangan yang telah dibuat pada tahap design. Subproses ini meliputi penyusunan dan pengujian isi dan fungsi instrumen (misalnya, menguji pertanyaan-pertanyaan dalam kuesioner). Disarankan untuk mempertimbangkan hubungan langsung dari instrumen pengumpulan data ke sistem metadata statistik, sehingga metadata dapat lebih mudah dicakup dalam tahap pengumpulan. Jika terdapat perubahan pada kuesioner, maka juga harus dilakukan perbaikan pada metadata. 2)
Membangun atau meningkatkan komponen proses Sub-proses ini menggambarkan kegiatan-kegiatan untuk membangun, menguji serta meningkatkan ketersediaan dan fungsi dari komponenkomponen yang diperlukan dalam proses kegiatan statistik sebagaimana yang dirancang pada tahap “Perancangan”. Komponen-komponen tersebut meliputi fungsi dashboard dan fitur, repositori data, alat transformasi, kerangka alur kerja, jasa penyediaan, dan manajemen metadata.
3)
Membangun atau meningkatkan komponen diseminasi Sub-proses ini menggambarkan kegiatan untuk membangun atau meningkatkan komponen yang diperlukan dalam rangka penyebaran output statistik sebagaimana telah dirancang pada sub-proses “perancangan output”.
4)
Mengkonfigurasi alur kerja Sub-proses ini mengkonfigurasi alur kerja, sistem, dan transformasi yang digunakan dalam proses kegiatan statistik, mulai pengumpulan data hingga diseminasi output statistik. Hal ini diperlukan untuk memastikan bahwa alur kerja yang ditentukan akan benar-benar berjalan ketika diimplementasikan.
5)
Pengujian sistem produksi Pada sub-proses ini dilakukan pengujian terhadap komponen maupun
50
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
3.7 Finalisasi sistem produksi
Bab II Dimensi Kualitas Statistik
instrumen yang akan digunakan dalam proses kegiatan statistik. Pengujian dilakukan secara individual terhadap setiap komponen atau instrumen, serta mencakup pengujian terhadap interaksi antar komponen, dan memastikan bahwa sistem produksi dapat bekerja dengan baik. 6)
Pengujian proses bisnis statistik Selain pengujian secara parsial terhadap komponen maupun instrumen, pengujian juga harus dilakukan terhadap seluruh bisnis proses yang akan dilakukan pada suatu kegiatan statistik. Pengujian pada sub-proses ini antara lain mencakup pengujian metode pengumpulan data dalam skala kecil, uji kuesioner, pengolahan, analisis dan diseminasi. Hal ini bertujuan untuk mengetahui kelebihan maupun kekurangan yang dapat terjadi, sekaligus memastikan bahwa keseluruhan proses bisnis tersebut dapat terlaksana dengan baik.
7)
Finalisasi sistem produksi Sub-proses ini mencakup kegiatan yang diperlukan untuk menyempurnakan hal-hal yang telah dilakukan sebelumnya. Termasuk modifikasi atau hal-hal baru yang diperoleh selama proses pembangunan (build). Kegiatan yang dilakukan pada sub proses ini adalah : •• Melakukan dokumentasi terhadap komponen proses, termasuk dokumentasi hal-hal teknis dan pedoman. •• Melakukan pelatihan bagaimana menjalankan proses yang telah dirancang. •• Mentransformasi komponen-komponen proses ke dalam kondisi yang riil dan memastikan bahwa proses-proses tersebut dapat berjalan sesuai harapan (bagian ini juga dapat dilaksanakan pada sub-proses 3.5 ).
4. Pengumpulan Data (collect) Pada tahap ini dilakukan pengumpulan seluruh data dan informasi yang diperlukan dari setiap responden, baik rumah tangga perusahaan, lembaga pemerintahan, swasta dsb. Data/informasi yang dikumpulkan dapat berupa kuantitatif maupun kualitatif. Empat sub-proses pada tahapan ini adalah : 4. Pengumpulan Data 4.1 Membuat kerangka dan memilih sampel
4.2 Persiapan pengumpulan data
4.3 Pelaksanaan pengumpulan data
4.4 Finalisasi pengumpulan data
Gambar 2.6 Rincian Sub-Proses Pada Tahapan Pengumpulan Data Pedoman Kerangka Penjaminan Kualitas Statistik BPS
51
Bab II Dimensi Kualitas Statistik
1)
Membuat kerangka dan memilih sampel Menetapkan kerangka sampel dan melakukan pemilihan sampel sebagaimana ditentukan dalam sub-proses 2.4 (merancang kerangka dan sampel). Termasuk mengkoordinasi sampel yang akan dikumpulkan, baik dari survei yang sama (agar tidak terjadi tumpang tindih sampel) ataupun berbeda (agar tidak membebani responden). Penjaminan kualitas juga dilakukan terutama dalam penetapan dan pemeliharaan frame (updating) dan pemilihan sampel.
2)
Persiapan pengumpulan data Sub-proses ini memastikan bahwa SDM, proses, dan teknologi yang diperlukan telah disiapkan untuk melakukan pengumpulan data dengan menggunakan model-model yang telah dirancang. Sub-proses ini meliputi: •• Mempersiapkan strategi pengumpulan data. •• Pelatihan petugas . •• Memastikan semua sumber daya yang dibutuhkan untuk proses pengumpulan data telah tersedia, misalnya kuesioner, pedoman, laptop (bila diperlukan) . •• Mengkonfigurasi sistem pengumpulan data, baik untuk permintaan maupun penerimaan data. •• Menjamin keamanan data yang akan dikumpulkan. •• Mempersiapkan instrumen pengumpulan seperti kuesioner.
3)
Pelaksanaan pengumpulan data Kegiatan pengumpulan data dilakukan dengan menggunakan instrumeninstrumen yang telah dipersiapkan. Termasuk menghubungi responden pada kontak (komunikasi) awal, dan kontak-kontak berikutnya untuk mengingat responden agar mengisi kuesioner hingga data yang diminta dapat dipenuhi. Sub-proses ini juga mencakup pengelolaan responden yang terlibat, memastikan bahwa hubungan antara organisasi dan para responden tetap berjalan baik dan positif, serta mencakup kegiatan menanggapi komentar, pertanyaan, dan keluhan baik dari responden maupun petugas.
4)
Finalisasi pengumpulan data Pada tahapan ini, seluruh data/informasi yang dikumpulkan dipersiapkan untuk memasuki tahapan berikutnya, yaitu pengolahan. Data dipersiapkan agar sesuai dengan sistem pengolahan yang digunakan. Misalnya, pada pengolahan dengan scanner yang mensyaratkan bentuk-bentuk standar dalam penulisan angka maupun huruf, maka perbaikan penulisan tersebut
52
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
dilakukan pada tahapan ini. 5. Pengolahan (process) Tahap ini mendeskripsi aktivitas-aktivitas terkait ‘pembersihan’ atau validasi data, dan penyiapan data untuk dianalisis, seperti pemeriksaan hasil input data, validasi, imputasi, dan akitivitas lainnya. Aktivitas-aktivitas tersebut dapat dilakukan secara berulang dan paralel dengan tahap “analisis”. Sub-proses pada tahapan ini adalah: 5. Pengolahan 5.1 Integrasi data
5.2 Klasifikasi dan pengkodean
5.3 Review dan validasi
5.4 Mengedit & mengimputasi
5.5 Pembentukan variabel dan unit statistik baru
5.6 5.7 Menghitung Menghitung penimbang agregat
5.8 Finalisasi file data
Gambar 2.7 Rincian Sub-Proses Pada Tahapan Pengolahan
1)
Integrasi data Sub-proses ini mengintegrasi data yang dikumpulkan dari satu sumber atau lebih pada tahapan “pengumpulan data” menjadi satu set data. Aktivitas yang dilakukan pada sub-proses ini meliputi: •• Penggabungan data dari beragam sumber. •• Pencocokan/matching yaitu menghubungkan data yang mengacu pada unit yang sama tetapi dari sumber yang berbeda. •• Penetapan prioritas atau penentuan data mana yang dipilih, terutama ketika terjadi perbedaan nilai pada suatu variabel yang sama tetapi berasal dari sumber yang berbeda.
2)
Klasifikasi dan pengkodean Sub-proses ini mengklasifikasi dan memberi kode pada data/informasi yang akan di-input atau di-entry, baik yang dilakukan secara otomatis oleh program yang sudah dibangun maupun secara manual.
3)
Review dan validasi Pada tahap ini, dilakukan pengecekan (review) dan pengujian data (validasi) terhadap data-data yang telah dikumpulkan, untuk mengidentifikasi potensi masalah, kesalahan, dan penyimpangan (misalnya outlier, nonrespon item, atau terjadinya kesalahan coding). Validasi dapat dilakukan berulang kali sesuai kebutuhan. Umumnya, validasi dilakukan pada tahap “pengolahan”, namun dalam prakteknya, beberapa elemen dari validasi juga diterapkan pada kegiatan pengumpulan data, seperti pengecekan konsistensi isian oleh pengawas. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
53
Bab II Dimensi Kualitas Statistik
4)
Mengedit dan mengimputasi Edit dan imputasi biasanya dilakukan pada data yang kurang lengkap atau tidak dapat dipercaya. Langkah-langkah yang dilakukan antara lain meliputi: identifikasi kesalahan dan gap/kesenjangan, memilih data untuk dimasukkan/dikeluarkan dalam imputasi, melakukan imputasi dengan menggunakan satu atau lebih metode yang telah ditetapkan seperti hotdeck (setiap kali menemukan missing data langsung diimputasi) atau cold-deck (ketika menemukan data yang tidak lengkap, tidak langsung diimputasi), menulis kembali data imputasi, dan memproduksi metadata. Data yang diimputasi harus ditandai dalam database dan proses imputasi yang dilakukan harus tercatat dalam metadata.
5)
Pembentukan variabel baru dan unit statistik Pada sub-proses ini dilakukan pengaturan terhadap variabel dan unit statistik yang tidak diatur dalam pengumpulan data tetapi diperlukan untuk menghasilkan output yang diperlukan.
6)
Menghitung penimbang Penghitungan penimbang dilakukan sesuai metodologi yang telah dirancang dalam sub-proses 2.5 (merancang proses dan analisis). Pembobotan digunakan untuk “gross-up” hasil survei agar dapat mewakili populasi sasaran16, atau untuk menyesuaikan tingkat non-respon dalam penghitungan agregat.
7)
Menghitung agregat Pada sub-proses ini dilakukan penghitungan aggregate dan total data populasi dari data mikronya. Sub-proses ini mencakup penjumlahan data dengan karakteristik tertentu, menentukan ukuran rata-rata, penyebaran, dan mengaplikasikan penimbang yang telah ditentukan guna mendapatkan aggregate yang sesuai. Juga dihitung sampling error dan hal-hal lain yang berhubungan dengan penghitungan aggregate (untuk survei sampel).
8)
Finalisasi file data Menyatukan hasil dari beragam proses pengolahan dalam satu file data. Hasil sub-proses ini merupakan hasil akhir apabila didiseminasikan dalam bentuk raw data, atau sebagai input yang digunakan dalam proses ‘Analisis’.
16 Karena setiap rumah tangga sampel pada hakikatnya mewakili sekian banyak populasi sehingga penimbang harus dihitung/di gross-up agar dapat menggambarkan populasi.
54
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
6. Analisis (analyse) Dalam proses ini, statistik yang dihasilkan dinilai secara detail sehingga siap untuk proses diseminasi. Sub-proses pada proses Analisis ini adalah: 6. Analisis 6.1 Persiapan draft output
6.2 Validasi output
6.3 Mengintepretasi dan menjelaskan output
6.4 Penerapan pengendalian keterbukaan
6.5 Finalisasi output
Gambar 2.8 Rincian Sub-Proses Pada Tahapan Analisis
1)
Persiapan draft output Pada sub-proses ini, data yang telah dikumpulkan ditranformasi menjadi suatu draft output statistik, mencakup pembuatan ukuran-ukuran tambahan seperti indeks, trend atau series musiman yang disesuaikan (seasonally adjusted series), juga pencatatan karakteristik-karakteristik kualitas (recording of quality characteristics).
2)
Validasi output Pada tahap ini, kualitas dari output statistik di validasi sesuai dengan kerangka kualitas umum dan harapan/target. Kegiatan validasi ini mencakup: •• Memastikan bahwa tingkat cakupan populasi dan respon telah sesuai kebutuhan. •• Membandingkan output dengan siklus sebelumnya (jika ada). •• Memastikan bahwa metadata dan paradata (proses metadata) tersedia dan sesuai dengan harapan. •• Membandingkan output terhadap data yang relevan lainnya (baik internal maupun eksternal). •• Menyelidiki inkonsistensi dalam output. •• Melakukan editing secara makro. •• Memvalidasi output terhadap hipotesis awal dan keilmuan yang terkait.
3)
Menginterpretasikan dan menjelaskan output Pada sub-proses ini diperlukan pemahaman yang mendalam mengenai output yang dihasilkan. Pemahaman ini diperlukan untuk menginterpretasikan dan menjelaskan output tersebut, dengan cara menilai seberapa baik output tersebut mencerminkan harapan awal, meninjau statistik dari semua perspektif dengan menggunakan alat dan media yang berbeda, dan melaksanakan analisis secara mendalam.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
55
Bab II Dimensi Kualitas Statistik
4)
Penerapan pengendalian keterbukaan Sub-proses ini memastikan bahwa data/informasi yang akan disebarluaskan telah sesuai dan tidak melanggar aturan kerahasiaan. Tingkat dan metode pengendalian ini dapat bervariasi antar jenis output, misalnya pendekatan yang digunakan untuk mikrodata untuk tujuan penelitian akan berbeda dengan pendekatan untuk publikasi atau peta.
5)
Finalisasi output Sub-proses ini memastikan bahwa statistik dan informasi yang dihasilkan telah sesuai dengan tujuan, telah mencapai tingkat kualitas yang ditentukan, serta siap untuk digunakan. Hal ini termasuk: •• Pemeriksaan konsistensi. •• Penentuan tingkat rilis dan menerapkan peringatan. •• Penyusunan informasi pendukung yang diperlukan, termasuk interpretasi, pendapat pakar, catatan teknis, penjelasan, ukuran ketidakpastian dan metadata lainnya. •• Pembuatan dokumen internal yang mendukung. •• Diskusi pra-rilis dengan para ahli atau subject matter yang relevan. •• Persetujuan isi output yang akan dirilis.
7. Diseminasi (disseminate) Inti kegiatan pada proses Diseminasi adalah pengelolaan penyebaran statistik yang telah dihasilkan kepada pihak luar. Sub-proses pada proses ini: 7. Diseminasi 7.1 Memperbaharui sistem output
7.2 Menghasilkan produk diseminasi
7.3 Mengelola rilis produk statistik
7.4 Mempromosikan produk statistik
7.5 Mengelola dukungan pengguna
Gambar 2.9 Rincian Sub-Proses Pada Tahapan Diseminasi
1)
Memperbarui sistem output Sub-proses ini mengelola sistem update dimana data dan metadata disimpan untuk tujuan diseminasi. Kegiatan pada sub-proses ini antara lain: •• Pemformatan data dan metadata hingga siap untuk dimasukkan ke dalam database output. •• Peng-input-an data dan metadata ke dalam database output. •• Memastikan bahwa data yang dihasilkan memiliki keterkaitan dengan metadata yang relevan.
56
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
Catatan: kegiatan memformat, meng-input, dan mengaitkan metadata sebaiknya dilakukan diawal tahapan diseminasi, tetapi (bagi produk statistik yang dilakukan secara rutin) sub-proses ini sudah mencakup pemeriksaan bahwa metadata sudah siap untuk didiseminasikan. 2)
Menghasilkan produk diseminasi Sub-proses ini menghasilkan produk yang telah dirancang sebelumnya guna memenuhi kebutuhan pengguna. Produk ini dapat berbentuk publikasi cetak dan/atau soft copy, siaran pers serta situs web. Langkah umum dalam sub-proses ini mencakup: •• Penyiapan komponen-komponen dari produk (antara lain penjelasan, tabel, grafik, dll) •• Penyusunan komponen-komponen tersebut ke dalam produk •• Pengeditan dan pemeriksaan produk statistik agar sesuai standar publikasi •• Pembuatan produk ke dalam berbagai bentuk seperti publikasi cetak dan/atau soft copy, siaran pers serta situs website.
3)
Mengelola rilis produk diseminasi Pada sub-proses ini dilakukan kegiatan pengelolaan waktu rilis dan dipastikan bahwa semua elemen untuk rilis telah siap. Selain itu, juga dilakukan kegiatan pengarahan kepada kelompok tertentu, seperti media massa dan pemerintahan. Sub-proses ini juga mencakup kegiatan penyediaan produk ke pelanggan.
4)
Mempromosi produk diseminasi Pada sub-proses ini dilakukan promosi produk secara menyeluruh, termasuk promosi aktif dari produk statistik yang dihasilkan, sehingga produk statistik dapat mencapai khalayak seluas mungkin. Agar pengguna data dapat menjangkau produk yang dihasilkan, perlu digunakan alat-alat manajemen komunikasi dengan pelanggan, serta alat-alat komunikasi seperti website, wiki, dan blog untuk memfasilitasi proses komunikasi informasi statistik dengan para pengguna.
5)
Mengelola dukungan pengguna Sub-proses ini memastikan bahwa seluruh permintaan pengguna telah dicatat, serta tenggat waktu untuk menanggapi permintaan tersebut telah ditetapkan. Diperlukan review secara rutin guna mengidentifikasi kebutuhan pengguna, baik berupa kebutuhan yang baru ataupun perubahan kebutuhan sebelumnya.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
57
Bab II Dimensi Kualitas Statistik
8. Evaluasi (evaluate) Pada proses ini dilakukan manajemen evaluasi terhadap seluruh proses bisnis statistik, dengan tujuan perbaikan dilakukan pada setiap proses. Untuk mewujudkannya, dilakukan sub-proses sebagai berikut: 8. Evaluasi 8.1. Mengumpulkan masukan informasi
8.2. Melakukan evaluasi
8.3. Persetujuan rencana tindak lanjut hasil evaluasi
Gambar 2.10 Rincian Sub-Proses Pada Tahapan Evaluasi
1)
Mengumpulkan masukan evaluasi Pada sub-proses ini dilakukan pengumpulan bahan evaluasi (yakni umpan balik dari para pengguna, proses bisnis statistik, dan masukan dari internal). Laporan progress terhadap rencana yang telah ditetapkan sebelumnya juga dapat dijadikan sebagai input evaluasi. Jadi, inti kegiatan pada sub-proses ini adalah mengumpulkan semua masukan, sehingga dapat digunakan sebagai bahan evaluasi.
2)
Melakukan evaluasi Sub-proses ini menganalisis bahan evaluasi dan mencantumkannya ke dalam laporan evaluasi. Laporan evaluasi harus menyertakan catatan kejadian secara spesifik dan juga rekomendasi yang diperlukan. Rekomendasi dapat mencakup perubahan untuk setiap proses atau subproses pada pelaksanaan periode selanjutnya, atau dapat juga berupa saran bahwa proses tidak perlu diulang.
3)
Persetujuan rencana tindak lanjut hasil evaluasi Pada sub-proses ini dilakukan penyatuan keputusan rencana tindak lanjut berdasarkan laporan evaluasi, termasuk mekanisme pertimbangan untuk memantau dampak yang mungkin timbul dari keputusan tersebut.
5.3. Pemetaan Matrik GSBPM dan Dimensi Kualitas Setelah membahas tahapan proses dalam GSBPM, pertanyaan berikutnya adalah bagaimana melakukan pengukuran kualitas pada setiap tahapan GSBPM tersebut? Karena dalam pengukuran kualitas statistik digunakan dimensidimensi kualitas, maka untuk menjawab hal ini, perlu ditentukan dimensidimensi apa saja yang relevan digunakan untuk mengukur kualitas suatu tahapan dalam GSBPM. 58
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
5.3.1.
Mengidentifikasi kebutuhan (specify needs)
Menurut NSO Kanada (2014: 14-15), NSO Korea Selatan (50-51) dan NSO Inggris (2013: 14-18), dimensi kualitas yang terlibat pada tahap ini adalah relevansi17. Relevansi mengukur sejauh mana suatu output statistik yang akan dihasilkan dapat memenuhi kebutuhan pengguna utama. Sedangkan Afrika Selatan (2010: 74) berpendapat bahwa selain dimensi relevansi, dimensi yang terlibat pada tahap ini adalah aktualitas, aksesibilitas, dan integritas18. Keterlibatan dimensi aktualitas dikarenakan dimensi ini berguna untuk menjaring apakah suatu NSO akan menghasilkan suatu statistik secara periodik. Keterlibatan dimensi aksesibilitas mencakup ketersediaan peraturan/ kebijakan dalam mengakses data-data yang telah tersedia untuk memenuhi kebutuhan pengguna. Mengingat konsep relevansi sangat terkait dengan kebutuhan data dan banyak digunakan oleh NSO lainnya, maka BPS menggunakan dimensi ini sebagai pengukur pada tahapan mengidentifikasi kebutuhan. 5.3.2.
Perancangan (design)
Menurut Kanada (2014:19-31), dimensi yang terlibat pada tahap ini adalah relevansi, akurasi, koherensi (mencakup keterbandingan), dan interpretabilitas. Relevansi terkait dengan perancangan output statistik yang diharapkan dapat memenuhi kebutuhan pengguna utama, baik dari sisi cakupan maupun isian. Keterlibatan akurasi pada tahap ini untuk mengukur kesesuaian antara perancangan kerangka sampel (sampling frame) suatu survei dengan populasinya, sehingga diharapkan output statistik yang dihasilkan dapat mencerminkan keadaan sebenarnya. Demikian juga, perancangan metodologi pengumpulan data, desain kuesioner, pengolahan, dan alur kerja juga ditujukan agar output statistik dapat mencerminkan keadaan yang sebenarnya.
Koherensi pada tahap ini berkaitan dengan penggunaan konsep/definisi suatu variabel (misalnya, menggunakan konsep standar internasional atau nasional), metodologi, dan desain kuesioner. Komponen-komponen ini akan memastikan apakah output statistik yang dihasilkan dapat memenuhi koherensi, serta apakah terdapat keterbandingan antar waktu dan wilayah. Keterlibatan interpretabilitas pada tahap ini mencakup ketersediaan penjelasan konsep/definisi, ukuran statistik, populasi, variabel, cakupan, dan referensi 17 Untuk selanjutnya penyebutan nama suatu NSO cukup disebutkan namanya saja. 18 Dari referensi yang digunakan, hanya 2 NSO yang menggunakan dimensi ini. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
59
Bab II Dimensi Kualitas Statistik
waktu, yang harus dipersiapkan dalam mendesain suatu kegiatan statistik. Komponen-komponen ini juga akan membantu pengguna untuk memahami dengan mudah output statistik tersebut ketika disajikan. Bila dibandingkan dengan NSO lainnya, Inggris (2013: 19-24) menggunakan tiga dimensi untuk tahap ini, yaitu relevansi, akurasi, dan koherensi, tanpa interpretabilitas. Afrika Selatan (2010: 74-76) menggunakan akurasi dan koherensi, juga dimensi methodological soundness19. Adapun Korea Selatan (5051), hanya melibatkan dimensi akurasi saja pada tahap ini. Berdasarkan referensi-referensi di atas, terdapat empat dimensi yang secara umum digunakan, yaitu dimensi relevansi, akurasi, koherensi (termasuk keterbandingan), dan interpretabilitas. Namun bila merujuk pada esensi dari tahapan desain yang merencanakan segala sesuatu yang akan dilaksanakan, maka tahapan ini seharusnya mencakup seluruh dimensi yang akan dilakukan. Selanjutnya, kelak pada tahapan evaluasi, seluruh dimensi tersebut akan dinilai, apakah telah sesuai dengan desain yang telah disusun. Sehingga terdapat direct link antara tahapan desain dengan evaluasi. Dengan mempertimbangkan hal ini, maka BPS menggunakan seluruh dimensi untuk mengukur kualitas statistik pada tahapan perancangan. 5.3.3.
Pembangunan (build)
Beberapa NSO menyatakan bahwa pada tahap ini dimensi kualitas yang terlibat adalah akurasi20, karena jika tahap ini tidak dilaksanakan sesuai dengan rancangan yang telah dibangun, akan berpengaruh pada keakuratan output statistik yang dihasilkan. Oleh karena itu, akurasi digunakan BPS untuk mengukur kualitas pada tahap ini. 5.3.4.
Pengumpulan data (collect)
Pada tahap ini, Kanada (2014: 33-38), Inggris (2013: 25-34) maupun Korea Selatan (50-51), menggunakan dimensi akurasi sebagai pengukur kualitas dengan alasan bahwa data yang dikumpulkan harus dapat menggambarkan/ merepresentasikan populasi secara tepat, atau akurat. Tingkat akurasi pada tahap ini sangat berpengaruh pada kualitas akhir dari output statistik yang dihasilkan. Selain itu, masalah waktu juga menjadi pertimbangan penting pada tahapan pengumpulan data. Semakin besar perbedaan waktu antara data yang dikumpulkan dengan waktu rilis, maka manfaat data yang diperoleh semakin 19 Melalui konsep/definisi, dan metodologi yang digunakan, dapat diketahui apakah dimensi methodological soundness ini telah mengikuti standar, pedoman, atau best practices standard baik nasional, internasional, atau standar berdasarkan kesepakatan. Hal ini tampaknya sejalan dengan konsep pada dimensi relevansi.
20 60
NSO tersebut adalah Kanada (2014:33-38), Korea Selatan (50-51) dan Inggris (2013: 19-24)
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
berkurang. Jadwal pengumpulan data juga perlu dipertimbangkan dengan baik agar dapat memberi kesempatan yang cukup kepada petugas maupun responden dalam menyiapkan data/informasi yang dibutuhkan. Dengan demikian, dua dimensi yang digunakan sebagai pengukur pada tahap ini adalah akurasi dan aktualitas. 5.3.5.
Pengolahan (process)
Pada tahap ini, Kanada (2014: 33-38), menggunakan dimensi akurasi, aktualitas (mencakup ketepatan waktu), koherensi (mencakup keterbandingan), dan interpretabilitas sebagai pengukur. Proses pengkodean, edit, validasi, imputasi, dan pembobotan yang dilakukan akan mempengaruhi keakuratan output statistik. Jika volume data yang diolah sangat besar sehingga membutuhkan waktu lama, maka hal ini akan mempengaruhi rentang waktu yang dibutuhkan pada tahapan berikutnya. Kondisi ini tentunya berpengaruh pada kualitas dimensi ketepatan waktu. Dalam proses pengolahan, dimungkinkan dilakukan imputasi terutama untuk data yang non-respon. Pelaksanaan imputasi ini harus mempertimbangkan koherensi dan keterbandingan data/informasi yang dihasilkan sumber-sumber lainnya. Disamping itu, semua informasi mengenai teknik editing, entri, validasi, maupun imputasi (bila digunakan) harus disediakan dalam sistem pengolahan, beserta penjelasan yang mudah dipahami oleh para pengguna sistem tersebut. Ragam dimensi kualitas yang digunakan Kanada pada tahap pengolahan ini sedikit berbeda dengan NSO lainnya. Misalnya, Afika Selatan (2010: 76) hanya menggunakan dimensi koherensi dan keterbandingan, sedangkan Inggris (2013: 35-38) dan Korea Selatan (50-51) hanya menggunakan dimensi akurasi saja. Mengingat ke-empat dimensi yang digunakan Kanada sangat penting dalam pengukuran kualitas pada tahapan pengolahan, maka BPS menggunakan keempat dimensi tersebut. 5.3.6.
Analisis (analyze)
Pada tahap ini Kanada (2009: 82-89) menggunakan empat dimensi kualitas, yaitu relevansi, akurasi, aksesibilitas, dan interpretabilitas. Pada tahap ini dilakukan proses transformasi dari data yang telah dikumpulkan menjadi output statistik yang dibutuhkan pengguna. Jika terjadi kesalahan dalam melakukan transformasi tersebut, maka hasil analisis yang dihasilkan tidak akan sesuai dengan kebutuhan pengguna. Oleh karena itu, dimensi relevansi harus digunakan pada tahap ini. Keterkaitan akurasi merujuk pada hasil analisis yang harus menggambarkan
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
61
Bab II Dimensi Kualitas Statistik
fenomena yang sebenarnya. Dalam proses analisis, dimungkinkan adanya penggunaan beragam data/informasi yang berasal dari beragam sumber yang berbeda untuk memperkuat tujuan analisis, serta sering dilakukan perbandingan antar data/informasi tersebut. Oleh karena itu dimensi koherensi dan keterbandingan juga memainkan peran strategis dalam pengukuran kualitas pada tahap ini. Selanjutnya, hasil analisis ini harus disajikan dalam format publikasi yang mudah diakses para pengguna. Gaya penulisan analisis juga harus mudah dipahami oleh para pengguna dari beragam latar belakang, dan dilengkapi dengan informasi-informasi pendukung lainnya. Dengan demikian, dimensi aksesibilitas dan interpretabilitas dapat digunakan sebagai pengukur kualitas pada tahap ini. Sedikit berbeda dengan Kanada, Inggris (2013: 39-66) dan Korea Selatan (50-51) menggunakan dimensi relevansi, akurasi, koherensi dan keterbandingan pada tahap ini. Sedangkan Afrika Selatan (2010: 76-77) hanya menggunakan dimensi akurasi, koherensi, dan keterbandingan. Ketika melakukan analisis, faktor aktualitas dari data/informasi yang dianalisis perlu menjadi perhatian. Semakin aktual suatu data/informasi, semakin besar manfaat yang dapat diperoleh penggunanya, terutama untuk kebutuhan perencanaan maupun penelitian. Bertolak dari uraian di atas, disimpulkan bahwa seluruh dimensi kualitas dapat digunakan pada tahap analisis ini. 5.3.7.
Diseminasi (disseminate)
Untuk mengukur kualitas pada tahapan diseminasi, Kanada (2009: 82-86) menggunakan dimensi relevansi, aktualitas (mencakup ketepatan waktu), dan aksesibilitas. Pada tahap ini dilakukan persiapan dan rilis output statistik seperti menyiapkan format diseminasi, menyediakan metadata, dan sebagainya, yang dapat diakses dengan mudah oleh para pengguna. Pada tahap ini, juga harus diperhatikan jarak waktu (time lag) antara waktu data/informasi tersebut dikumpulkan dengan waktu data/informasi tersebut dirilis, dengan harapan agar output statistik tersebut masih aktual. Selain itu, juga perlu diperhatikan jadwal ARC yang sudah ditentukan untuk merilis output statistik tersebut. Ketiga dimensi di atas juga digunakan oleh Inggris (2013: 67-79) dan Korea Selatan (50-51) dengan penambahan dimensi koherensi, dengan alasan bahwa pada tahap ini dimungkinkan dilakukan perbandingan antara output statistik NSO tersebut dengan output statistik lain, dan atau dengan NSO lainnya yang memiliki karakteristik yang sama. Adapun Afrika Selatan (2010: 77-79) menggunakan dimensi aktualitas,
62
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab II Dimensi Kualitas Statistik
aksesibilitas, interpretabilitas, methodological soundness, dan integrity pada tahap ini. Penggunaan interpretabilitas mempertimbangkan alasan bahwa diseminasi yang dilakukan harus dapat dipahami dengan mudah oleh para pengguna, misalnya dengan mencantumkan metadata maupun informasi pendukung Dengan demikian, dalam pengukuran kualitas pada tahap diseminasi, BPS menggunakan empat dimensi, yaitu relevansi, aktualitas (mencakup ketepatan waktu), aksesibilitas, dan interpretabilitas. Adapun dimensi koherensi tidak dilibatkan pada tahap diseminasi karena telah diukur pada tahap analisis. 5.3.8.
Evaluasi (evaluate)
Pada tahap ini seluruh dimensi kualitas digunakan sebagai pengukur, karena evaluasi terhadap suatu kegiatan statistik dilakukan pada seluruh tahapan proses GSBPM. Poin utama evaluasi dari setiap dimensi adalah membandingkan apakah seluruh dimensi kualitas yang telah dirancang pada tahap desain telah dilaksanakan dengan baik pada tahapan build hingga disseminate. Pengukuran kualitas pada tahap evaluasi lebih ditujukan untuk kebutuhan internal BPS, khususnya untuk perbaikan pelaksanaan kegiatan statistik tersebut pada periode berikutnya. Oleh karena itu, nilai kualitas yang di-declare ke publik hanya mencakup hasil pengukuran kualitas dari tahapan build hingga disseminate. Sedangkan nilai kualitas keseluruhan tahapan (termasuk evaluasi) ditujukan sebagai laporan internal BPS. Berdasarkan uraian di atas, disusunlah suatu matrik yang menggambarkan ragam dimensi kualitas yang digunakan untuk mengukur kualitas masingmasing tahapan proses dalam GSBPM yang digunakan BPS, yaitu:
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
63
Bab II Dimensi Kualitas Statistik
Tabel 2.4 Pemetaan Matrik GSBPM dan Dimensi Kualitas
Dimensi Kualitas GSBPM
64
Relevance
Specify Needs
V
Design
V
Accuracy
Timeliness & Punctuality
Coherence & Comparability
Accessibility
Interpretability
V
V
V
V
V
Build
V
Collect
V
V
Proccess
V
V
V
V
V
V
Analyze
V
Disseminate
V
Evaluate
V
V V
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
V
V
V V
V
V
V
V
V
BAB
3 Instrument Pengukuran Kualitas Statistik BPS
Bab III Instrument Pengukuran Kualitas Statistik BPS
1.
Matriks standar ukuran-ukuran kualitas menurut dimensi
Setelah menentukan dimensi dan indikator kualitas yang akan digunakan dalam BPS-QAF, langkah berikutnya adalah menentukan standar-standar kualitas (quality standards) yang digunakan pada setiap indikator. Secara umum, literaturliteratur terkait penjaminan kualitas pada NSO-NSO tidak mencantumkan secara eksplisit standar kualitas yang digunakan. Informasi yang disajikan lebih membahas konsep/definisi dari dimensi kualitas yang digunakan. Pada beberapa sumber tertentu, disajikan indikator kualitas berbentuk pertanyaan atau checklist yang bersifat kualitatif. Padahal, pengukuran kualitas secara kuantitatif sangat penting dan bermanfaat dalam penjaminan kualitas, karena lebih obyektif dan terukur. Bertolak dari hal ini, dalam rangka penjaminan kualitas output statistik, BPS semaksimal mungkin menggunakan ukuran-ukuran yang bersifat kuantitatif. Tabel 3.1 di bawah menyajikan standar-standar pengukuran kualitas menurut dimensi dan indikator. Standar ini merujuk pada teknik pengukuran kualitas yang dilakukan South African Statistical Office21. Namun, indikator dan standar kualitas yang tercantum dalam tabel tersebut telah dimodifikasi dan dipilih sesuai ragam dimensi dan indikator kualitas yang digunakan BPS. Demikian pula, pada beberapa level pengukuran kualitas dilakukan sedikit perubahan, dengan tujuan agar teknik pengukuran ini lebih implementatif dan aplikatif untuk BPS. Pemilihan teknik dari Afrika Selatan ini karena (1) tidak hanya menyajikan persyaratan-persyaratan standar kualitas yang harus dipenuhi dalam suatu indikator untuk mencapai level kualitas tertentu, juga (2) pembagian level kualitas menjadi empat level (statistik berkualitas, dapat diterima, dipertanyakan, dan buruk) sangat penting untuk mengetahui progress kualitas dari suatu output statistik di BPS antar periode pengukuran. Informasi tersebut sangat bermanfaat sebagai bahan evaluasi maupun perencanaan bagi penjaminan kualitas statistik di BPS.
21 Tercantum dalam South African Statistical Quality Assessment Framework, diterbitkan tahun 2010. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
67
68
Terdapat proses yang telah dilakukan secara resmi untuk mengidentifikasi data/informasi statistik yang dibutuhkan oleh para pengguna utama. Hasil dari proses yang telah dilakukan tersebut harus didokumentasi dan dilaporkan kepada pimpinan atau pejabat-pejabat terkait.
Tersedia dokumen mengenai data/ informasi statistik yang dibutuhkan pengguna utama, dimana dokumen tersebut telah di-update.
Hasil evaluasi dari kegiatan statistik sebelumnya digunakan sebagai bahan acuan untuk perbaikan. Informasi terkait pemanfaatan evaluasi tersebut didokumentasi.
Tersedia analisis mengenai kebutuhan pengguna utama dan manfaat/ penggunaan dari data/informasi statistik yang akan dihasilkan. Hasil analisis tersebut harus dicatat dalam bentuk dokumentasi dan dilaporkan.
2.1. Terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama, dimana hasilnya didokumentasi dan dilaporkan.
2.2. Tersedia informasi kebutuhan pengguna utama yang didokumentasi dan up to date.
2.3. Hasil evaluasi dari kegiatan statistik sebelumnya digunakan sebagai bahan acuan untuk perbaikan, dan informasi tersebut didokumentasi.
2.4. Tersedia analisis kebutuhan pengguna utama dan manfaat dari data/informasi statistik yang dihasilkan, serta hasil analisis tersebut didokumentasikan dan dilaporkan.
2. Identifikasi kebutuhan pengguna utama
Terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama. Dokumen/database harus up to date dan lengkap.
Terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama, yang up to date & lengkap.
1. Mendeskripsikan dan mengklasifikasi pengguna utama
Statistik berkualitas (Level 4)
Standar
Indikator
1. Dimensi Relevansi
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Tersedia analisis mengenai kebutuhan pengguna utama dan manfaat dari data/informasi statistik akan yang dihasilkan, dimana hasil analisis telah didokumentasi, tetapi belum/tidak dilaporkan.
Hasil evaluasi dari kegiatan statistik sebelumnya telah digunakan sebagai bahan acuan untuk perbaikan. Namun, informasi-informasi terkait hal ini tidak dicatat dalam suatu dokumen.
Tersedia dokumen mengenai data/ informasi statistik yang dibutuhkan pengguna utama namun tidak diupdate.
Proses identifikasi kebutuhan pengguna utama telah dilakukan secara resmi. Hasil dari proses tersebut telah didokumentasi, tetapi dokumen tersebut belum/tidak dilaporkan kepada pimpinan atau pejabat-pejabat terkait.
Terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama. Dokumen/database tersebut telah up to date dan lengkap, namun belum mencakup informasi minimal yang dipersyaratkan.
Statistik dapat diterima (Level 3)
Tersedia analisis mengenai kebutuhan pengguna utama dan manfaat dari data/informasi statistik yang akan dihasilkan, namun hasil analisis tersebut belum/tidak didokumentasi.
Hasil evaluasi dari kegiatan statistik sebelumnya sebenarnya telah tersedia, namun tidak digunakan sebagai bahan acuan untuk perbaikan kegiatan statistik berikutnya (baik didokumentasi atau tidak).
Tersedia informasi mengenai data/ informasi statistik yang dibutuhkan pengguna utama, namun belum didokumentasi (baik up to date atau tidak).
Proses identifikasi kebutuhan pengguna utama telah dilakukan secara resmi, namun hasilnya belum/ tidak didokumentasi. Termasuk pada level ini, jika proses identifikasi telah dilaporkan namun bukan dalam bentuk dokumen (hanya secara lisan).
Terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama, tetapi belum up to date (baik database-nya telah lengkap atau tidak/belum lengkap).
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak melakukan analisis mengenai kebutuhan para pengguna utama dan manfaat dari data/ informasi statistik yang akan dihasilkan.
Tidak tersedia hasil evaluasi dari kegiatan statistik sebelumnya.
Informasi mengenai data/informasi statistik yang dibutuhkan pengguna utama tidak tersedia.
Tidak terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama.
Tidak terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama.
Statistik buruk (Level 1)
Tabel 3. Standar Pengukuran Kualitas Statistik menurut Dimensi dan Indikator Kualitas
Menentukan kebutuhan (specify needs)
Menentukan kebutuhan (specify needs)
Menentukan kebutuhan (specify needs)
Menentukan kebutuhan (specify needs)
Menentukan kebutuhan (specify needs)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
3. Perbedaan (gap) antara output yang dihasilkan dengan kebutuhan pengguna
Indikator
Penjelasan mengenai ketidaksesuaian antara output dengan desain awal telah disampaikan kepada pengguna utama, tetapi penjelasan tersebut tidak didokumentasi.
Penjelasan mengenai ketidaksesuaian antara output yang dihasilkan dengan desain awal telah disampaikan kepada pengguna utama, dan didokumentasi. Atau output yang dihasilkan sesuai dengan desain awal.
3.2. Penjelasan mengenai ketidaksesuaian antara output dengan desain awal telah disampaikan kepada pengguna utama, dan didokumentasi.
Hanya sebagian proses perancangan yang dikonsultasikan ke pengguna utama. Informasi mengenai proses perancangan dan hasil konsultasi tersebut telah didokumentasi.
Output hasil analisis telah sesuai dengan desain awal, tetapi informasi tersebut tidak didokumentasi.
Seluruh proses perancangan yang sedang/telah dilakukan senantiasa dikonsultasikan ke pengguna utama. Semua informasi terkait proses perancangan dan hasil konsultasi tersebut didokumentasi.
2.6. Seluruh proses perancangan (perancangan kuesioner, tabulasi, analisis, dan diseminasi output) dikonsultasikan ke pengguna utama, dimana informasi terkait hal ini dan hasil konsultasi didokumentasi.
Gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan telah dikonfirmasikan ke pengguna utama, tetapi hasil konfirmasi tersebut belum/tidak didokumentasi.
Statistik dapat diterima (Level 3)
Penjelasan mengenai ketidaksesuaian antara output yang dihasilkan dengan desain awal belum/tidak disampaikan kepada pengguna utama.
Output hasil analisis berbeda dengan desain awal. Bagian-bagian yang telah sesuai maupun tidak sesuai dicantumkan beserta alasan penyebab ketidaksesuaian tersebut dalam bentuk dokumentasi.
Sebagian atau seluruh proses perancangan telah dikonsultasikan ke pengguna utama, tetapi informasi terkait proses perancangan tersebut beserta hasil konsultasi tidak didokumentasi.
Gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan telah dikonfirmasi ke pengguna utama. Namun gap tersebut tidak disetujui oleh pengguna utama (baik didokumentasi atau tidak).
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
3.1. Output hasil analisis Hasil output dari tahapan analisis telah sesuai dengan desain awal telah sesuai dengan desain awal dan tersedia (perencanaan). dokumentasinya.
Perubahan/perbedaan yang terjadi (gap) antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan kegiatan statistik dikonfirmasi ke pengguna utama. Hasil konfirmasi tersebut harus didokumentasi. Atau tidak terjadi perubahan.
Statistik berkualitas (Level 4)
2.5. Perubahan/perbedaan yang terjadi (gap) antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan dikonfirmasi ke pengguna utama dan didokumentasikan.
Standar
Tidak tersedia penjelasan mengenai ketidaksesuaian antara output yang dihasilkan dengan desain awal.
Output hasil analisis berbeda dengan desain awal, dan informasi tersebut tidak didokumentasi.
Tidak melakukan konsultasi ke pengguna utama selama proses perancangan berlangsung.
Terjadi gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan, namun tidak dilakukan konfirmasi ke pengguna utama.
Statistik buruk (Level 1)
Diseminasi (disseminate)
Analisis (analyze)
Desain (Design)
Menentukan kebutuhan (specify needs)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
69
Indikator
70
Terdapat proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan, dan hasilnya didokumentasi.
Terdapat proses yang dilakukan secara formal untuk mengevaluasi kegiatan statistik secara keseluruhan (mencakup biaya, SDM, waktu/jadwal, alur kerja, sistem dan kualitas output yang dihasilkan). Hasil evaluasi tersebut didokumentasi.
Terdapat proses perencanaan yang dilakukan secara formal untuk memperbaiki kegiatan statistik secara menyeluruh (mencakup biaya, SDM, waktu/jadwal, alur kerja, dan sistem) dan hasilnya didokumentasi.
3.4. Terdapat proses formal untuk mengevaluasi kegiatan statistik secara menyeluruh (mencakup biaya, SDM, waktu/jadwal, alur kerja, sistem, dan kualitas output statistik yang dihasilkan), guna meningkatkan kualitas output statistik ke depan, serta hasilnya didokumentasi.
3.5. Terdapat perencanaan formal untuk perbaikan kegiatan statistik secara menyeluruh (mencakup biaya, SDM, waktu/jadwal, alur kerja, dan sistem), guna meningkatkan kualitas output statistik ke depan, serta hasilnya didokumentasi.
Statistik berkualitas (Level 4)
3.3. Terdapat proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan. Hasil dari proses didokumentasi.
Standar
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Terdapat proses perencanaan secara formal untuk memperbaiki kegiatan statistik, namun belum menyeluruh. Hasilnya didokumentasi.
Terdapat proses formal untuk mengevaluasi kegiatan statistik, tetapi tidak secara menyeluruh. Hasilnya didokumentasi.
Terdapat proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan, tetapi tidak didokumentasikan.
Statistik dapat diterima (Level 3)
Terdapat perencanaan perbaikan proses, namun belum bersifat formal. Hasilnya didokumentasi.
Terdapat proses evaluasi terhadap kegiatan statistik, tetapi belum bersifat formal. Hasilnya didokumentasi.
Terdapat proses untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan, tetapi proses tersebut dilakukan secara tidak formal (baik hasil pengukuran didokumentasi maupun tidak).
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak terdapat rencana perbaikan kegiatan statistik.
Tidak terdapat proses untuk evaluasi kegiatan statistik.
Tidak terdapat proses untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan.
Statistik buruk (Level 1)
Evaluasi (evaluate)
Evaluasi (evaluate)
Evaluasi (evaluate)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Desain sampling errors mencakup seluruh tahapan (rencana target, penghitungan, identifikasi penyebab, serta upaya pencegahan), dan juga mencakup seluruh ukuran sampling error. Hasilnya didokumentasi.
CV ≤ 5% & B2 (θ)= 0
Penggunaan teknik sampling secara ilmiah, dan nilai DEFF: 0 < DEFF ≤ 1
Melakukan analisis dampak dari sampling errors, serta hasilnya didokumentasi dan dipublikasi. Terdapat evaluasi resmi terkait sampling errors, dan hasilnya didokumentasi.
1.1. Desain sampling errors yang digunakan dalam kegiatan statistik telah mencakup seluruh tahapan (rencana target, metode penghitungan, identifikasi penyebab, serta upaya pencegahan) dan seluruh ukuran sampling error, dimana hasilnya didokumentasi.
1.2. Estimator yang dihasilkan memiliki nilai koefisien variasi yang kecil dan unbiased.
1.3. Penggunaan teknik sampling secara ilmiah dan nilai design effect (DEFF): 0 < DEFF ≤ 1
1.4. Melakukan analisis dampak dari sampling error, serta hasilnya didokumentasikan dan dipublikasikan.
1.5. Terdapa tevaluasi resmi terkait sampling error dan hasilnya didokumentasi.
1. Kesalahan Sampling (Sampling errors)
Statistik berkualitas (Level 4)
Standar
Indikator
2. Dimensi Akurasi
Terdapat evaluasi resmi terkait sampling errors, tetapi hasilnya tidak didokumentasi.
Melakukan analisis dampak dari sampling errors, hasilnya telah didokumentasi tetapi tidak dipublikasi.
Penggunaan teknik sampling secara ilmiah, dan nilai DEFF: 1,0 < DEFF ≤ 1,2
CV ≤ 5% &B2 (θ) > 0
Desain sampling errors telah mencakup seluruh tahapan,tetapi hanya mencakup sebagian ukuran sampling error. Hasilnya didokumentasi.
Statistik dapat diterima (Level 3)
Terdapat evaluasi terkait sampling errors, tetapi dilakukan secara tidak resmi.
Melakukan analisis dampak dari sampling errors, tetapi hasilnya tidak didokumentasi.
Penggunaan teknik sampling secara ilmiah, dan nilai DEFF: 1,2 < DEFF ≤ 1,5
5% < CV ≤ 30%
Desain hanya mencakup sebagian dari tahapan dan sebagian/seluruh ukuran sampling error. Hasilnya didokumentasi.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak terdapat evaluasi terkait sampling errors.
Tidak melakukan analisis dampak dari sampling errors.
Tidak menggunakan teknik sampling secara ilmiah, atau menggunakan teknik sampling secara ilmiah tetapi nilai DEFF > 1,5
CV > 30% atau tidak menghitung CV
Tidak terdapat desain sampling errors, atau terdapat desain sampling errors tetapi tidak didokumentasi.
Statistik buruk (Level 1)
Evaluasi (evaluate)
Analisis (analysis)
Pengolahan (process)
Pengolahan (process)
Desain (design)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
71
72
2. Kesalahan Nonsampling (Nonsampling error)
Indikator
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
< 3 bulan
2.2. Perbedaan perbedaan waktu antara periode referensi dengan update terakhir pada direktori yang digunakan.
Terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil ujicoba (termasuk gladi kotor/ bersih), termasuk solusi penanganan masalah yang muncul dalam uji coba. Permasalahan dan solusinya didokumentasi. Melakukan uji coba keseluruhan instrumen dan hasilnya didokumentasi. Melakukan uji coba keseluruhan sistem produksi dan hasilnya didokumentasi.
2.3. Terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil uji coba dan mencakup solusi penanganannya.
2.4. Melakukan uji coba seluruh instrumen dan hasilnya didokumentasi.
2.5. Melakukan uji coba seluruh sistem produksi dan hasilnya didokumentasi.
(Ket: Level kualitas yang tertera hanya sekedar contoh, rentang waktu riil tergantung dari masingmasing subject matter)
Metode yang digunakan dalam kegiatan statistik telah seluruh tahapan, dan telah mempertimbangkan seluruh ukuran non-sampling errors, serta hasilnya didokumentasi.
Statistik berkualitas (Level 4)
2.1. Metode yang digunakan dalam kegiatan statistik sudah mencakup seluruh tahapan (rencana target, metode penghitungan, identifikasi penyebab, serta upaya pencegahan), dan telah mempertimbangkan seluruh ukuran nonsampling errors, dimana hasilnya didokumentasi.
Standar
Hanya sebagian sistem produksi yang diujicobakan dan hasilnya didokumentasi.
Hanya sebagian instrumen yang diujicobakan dan hasilnya didokumentasi.
Terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil ujicoba (termasuk gladi kotor/bersih). Permasalahan telah didokumentasi, tapi solusinya tidak didokumentasi (baik ada solusi/ tidak ada).
3 – 6 bulan
Metode yang digunakan dalam kegiatan statistik telah mencakup seluruh tahapan dan mempertimbangkan seluruh ukuran non-sampling errors,namun hasilnya tidak didokumentasi.
Statistik dapat diterima (Level 3)
Melakukan uji coba sistem produksi (baik seluruh maupun sebagian), tetapi hasilnya tidak didokumentasi.
Melakukan uji coba instrumen (baik seluruh maupun sebagian), tetapi hasilnya tidak didokumentasi.
Terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil uji coba (termasuk gladi kotor/ bersih), tetapi permasalahan dan solusinya tidak didokumentasi.
6 – 12 bulan
Metode yang digunakan dalam kegiatan statistik mencakup sebagian dari tahapan yang disyaratkan dan juga mencakup seluruh/sebagian ukuran non-sampling errors, hasilnya didokumentasi.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak melakukan uji coba sistem produksi.
Tidak melakukan uji coba instrumen.
Tidak terdapat rencana perbaikan desain kegiatan atau tidak melakukan uji coba (termasuk gladi kotor/bersih) terhadap desain kegiatan statistik.
> 12 bulan
Metode yang digunakan dalam kegiatan statistik tidak mencakup satupun tahapan yang disyaratkan dan juga tidak mempertimbangkan ukuran non-sampling errors, atau sudah mempertimbangkan non-sampling errors tetapi hasilnya tidak didokumentasi.
Statistik buruk (Level 1)
Membangun (build)
Membangun (build)
Membangun (build)
Desain (design)
Desain (design)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Indikator Hasil pelatihan resmi petugas pengumpulan data dan pengolahan didokumentasi dan digunakan sebagai dasar penentuan petugas.
Hasil pelatihan resmi petugas pengumpulan data didokumentasi dan digunakan sebagai dasar penentuan petugas.
Hasil pelatihan resmi petugas pengolahan data didokumentasi dan digunakan sebagai dasar penentuan petugas.
Melakukan pencacahan sesuai SOP dan permasalahan yang terjadi pada saat pencacahan serta solusinya didokumentasi. Atau tidak terjadi permasalahan. Melakukan pengawasan pencacahan sesuai SOP dan permasalahan yang terjadi saat pencacahan serta solusinya didokumentasi. Atau tidak terjadi permasalahan. Melakukan sosialisasi mengenai kegiatan statistik yang akan dilakukan kepada seluruh calon responden. Hasilnya didokumentasi.
2.6.1. Hasil pelatihan resmi petugas pengumpulan data digunakan sebagai dasar penentuan petugas.
2.6.2. Hasil pelatihan resmi petugas pengolahan data digunakan sebagai dasar penentuan petugas.
2.7. Melakukan pencacahan sesuai SOP, serta permasalahan yang terjadi pada saat pencacahan dan solusinya didokumentasi.
2.8. Melakukan pengawasan pencacahan sesuai SOP serta permasalahan yang terjadi saat pengawasan pencacahan dan solusinya didokumentasi.
2.9. Melakukan sosialisasi mengenai kegiatan statistik yang akan dilakukan kepada seluruh calon responden. Hasilnya didokumentasi.
Statistik berkualitas (Level 4)
2.6. Hasil pelatihan resmi petugas pengumpulan data dan pengolahan digunakan sebagai dasar penentuan petugas.
Standar
Melakukan sosialisasi mengenai kegiatan statistik yang akan dilakukan hanya kepada sebagian calon responden. Hasilnya didokumentasi.
Melakukan pengawasan pencacahan sesuai SOP dan permasalahan yang terjadi telah didokumentasi, tapi solusinya tidak didokumentasi (baik ada solusi ataupun tidak).
Melakukan pencacahan sesuai SOP dan permasalahan yang terjadi telah didokumentasi, tapi solusinya tidak didokumentasi (baik terdapat solusi maupun tidak).
Hasil pelatihan resmi petugas pengolahan data didokumentasi, tetapi tidak digunakan sebagai dasar penentuan petugas.
Hasil pelatihan resmi petugas pengumpulan data didokumentasi, tetapi tidak digunakan sebagai dasar penentuan petugas.
Hasil pelatihan resmi petugas pengumpulan data dan pengolahan didokumentasi tetapi tidak digunakan sebagai dasar penentuan petugas.
Statistik dapat diterima (Level 3)
Melakukan sosialisasi mengenai kegiatan statistik yang akan dilakukan. Hasilnya tidak didokumentasi.
Melakukan pengawasan pencacahan sesuai SOP, namun permasalahan dan solusinya tidak didokumentasi.
Melakukan pencacahan sesuai SOP, namun permasalahan yang terjadi dan solusinya tidak didokumentasi.
Hasil pelatihan resmi petugas pengolahan data tidak didokumentasi dan tidak menjadi dasar penentuan petugas.
Hasil pelatihan resmi petugas pengumpulan data tidak didokumentasi dan tidak menjadi dasar penentuan petugas.
Hasil pelatihan resmi petugas pengumpulan data dan pengolahan tidak didokumentasi dan tidak menjadi dasar penentuan petugas.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak melakukan sosialisasi mengenai kegiatan statistik yang akan dilakukan.
Pengawasan pencacahan dilakukan tidak sesuai SOP.
Pencacahan dilakukan tidak sesuai SOP.
Tidak melakukan pelatihan petugas pengolahan data, ataupun melakukan pelatihan petugas tetapi tidak secara resmi.
Tidak melakukan pelatihan petugas pengumpulan data, ataupun melakukan pelatihan petugas tetapi tidak secara resmi.
Pelatihan petugas pengumpulan data dan pengolahan tidak dilakukan, ataupun dilakukan tetapi tidak secara resmi.
Statistik buruk (Level 1)
Desain (design) & Pengumpulan data (collecting)
Pengumpulan data (collect)
Pengumpulan data (collect)
Pengolahan (process)
Pengumpulan Data (collect)
Pengumpulan data (collect) & Pengolahan (process)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
73
Indikator
74
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Melakukan pengolahan data sesuai SOP, dimana permasalahan yang terjadi dan solusinya didokumentasi; atau tidak terjadi masalah.
Melakukan pengawasan pengolahan data sesuai SOP, dimana permasalahan yang terjadi dan solusinya didokumentasi; atau tidak terjadi masalah.
2.10. Melakukan pengolahan data (mencakup kegiatan editing, coding, entri, dan validasi data) sesuai SOP, serta permasalahan yang terjadi dan solusinya didokumentasi.
2.11. Melakukan pengawasan pengolahan data (mencakup pengawasan untuk kegiatan editing, coding, entri, dan validasi data) sesuai SOP; serta permasalahan yang terjadi dan solusinya 2 CV ≤ 5% & B (𝜃𝜃�) = 0 didokumentasikan.
∑ 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑ℎ𝑡𝑡
∑|𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓ℎ𝑡𝑡 − 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑ℎ𝑡𝑡| ∑ 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑ℎ𝑡𝑡 ∑|𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓ℎ𝑡𝑡 − 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑ℎ𝑡𝑡|
𝑎𝑎1 − 𝑧𝑧1 ≤ 𝑥𝑥1 < 𝑎𝑎1 − 𝑦𝑦1
𝑎𝑎1 − 𝑧𝑧1 ≤ 𝑥𝑥1 < 𝑎𝑎1 − 𝑦𝑦1
𝑎𝑎1 − 𝑦𝑦1 ≤ 𝑥𝑥1 < 𝑎𝑎1
𝑎𝑎1 − 𝑦𝑦1 ≤ 𝑥𝑥1 < 𝑎𝑎1
𝑥𝑥1 ≥ 𝑎𝑎1
𝑥𝑥1 ≥ 𝑎𝑎1
|𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓ℎ𝑡𝑡 − 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑ℎ𝑡𝑡| 𝛽𝛽 = max 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑ℎ𝑡𝑡 |𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓𝑓ℎ𝑡𝑡 − 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑ℎ𝑡𝑡| 𝛽𝛽 = max 𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑𝑑ℎ𝑡𝑡
𝛼𝛼 =
𝛼𝛼 =
2.12. Ukuran non-sampling error CV ≤ level 5% &yang B2�𝜃𝜃�� > 0 berada dalam CV ≤ 5% & B2�𝜃𝜃�� > 0 dapat diterima, dengan rumus:
α < 15% dan nilai β < 15 %
Melakukan sosialisasi kegiatan statistik yang mencakup seluruh responden, dan hasilnya didokumentasi.
2.9.2. Melakukan sosialisasi kegiatan statistik dan hasilnya didokumentasi.
CV ≤ 5% & B2(𝜃𝜃�) = 0
Melakukan perancangan strategi sosialisasi mengenai kegiatan statistik yang akan diselenggarakan kepada seluruh calon responden, dan hasilnya didokumentasi.
Statistik berkualitas (Level 4)
2.9.1. Melakukan perancangan strategi sosialisasi kegiatan statistik kepada calon responden dan hasilnya didokumentasi.
Standar
15% ≤ α < 25%; atau 15% ≤ β < 25%
Melakukan pengawasan pengolahan data sesuai SOP, dimana permasalahan yang terjadi telah didokumentasi, tapi solusinya tidak didokumentasi (baik ada solusi maupun tidak).
Melakukan pengolahan data sesuai SOP, dimana permasalahan yang terjadi telah didokumentasi, tetapi solusinya tidak didokumentasi (baik ada solusi maupun tidak).
Melakukan sosialisasi kegiatan statistik yang hanya mencakup sebagian responden saja, dan hasilnya didokumentasi.
Hanya melakukan perancangan sosialisasi mengenai kegiatan statistik yang akan diselenggarakan kepada sebagian calon responden, dan hasilnya didokumentasi.
Statistik dapat diterima (Level 3)
α ≥ 25% atau β ≥ 25%
Melakukan pengawasan pengolahan data sesuai SOP, namun permasalahan dan solusinya tidak didokumentasi.
Melakukan pengolahan data sesuai SOP, namun permasalahan yang terjadi dan solusinya tidak didokumentasi.
Melakukan sosialisasi kegiatan statistik (baik kepada seluruh atau sebagian responden), tetapi tidak didokumentasi.
Melakukan perancangan sosialisasi mengenai kegiatan statistik yang akan diselenggarakan kepada calon responden (seluruh atau sebagian), namun hasilnya tidak didokumentasi.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
α dan β tidak dihitung
Pengawasan pengolahan data dilakukan tidak sesuai SOP.
Pengolahan data dilakukan tidak sesuai SOP.
Tidak melakukan sosialisasi kegiatan statistik.
Tidak melakukan perancangan sosialisasi mengenai kegiatan statistik yang akan diselenggarakan.
Statistik buruk (Level 1)
Pengolahan (process)
Pengolahan (process)
Pengolahan (process)
Pengumpulan data (collecting)
Desain (design)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Indikator
α3 + y3 ≥ x3 > α3
x3 ≤ α3
2.15. Proporsi dari over-coverage unit berada pada level yang dapat diterima, dimana: a3 = standar yang diterima. x3 = nilai yang diperoleh y3, z3 = ambang batas yang disepakati, dimana nilai z3 > y3
2.17. Melakukan identifikasi systematic errors. Hasilnya didokumentasi dan dilaporkan.
Melakukan identifikasi systematic errors. Hasilnya didokumentasi dan dilaporkan.
Melakukan identifikasi systematic errors. Hasilnya didokumentasi, tetapi tidak dilaporkan.
α4 + y4 ≥ x4 > α4
α2 + y2 ≥ x2 > α2
x2 ≤ α2
2.14. Tingkat duplikasi berada pada level yang dapat diterima, dimana: a2 = standar yang diterima. x2 = nilai yang diperoleh y2, z2 = ambang batas yang disepakati, dimana nilai z2 > y2.
x4 ≤ α4
α1 - y1 ≤ x1 < α1
x1 ≥ α1
2.13. Ukuran under-coverage berada pada standar yang diterima,dimana: α1 = standar yang diterima. x1 = nilai yang diperoleh y1, z1 = ambang batas yang disepakati, dimana nilai z1 > y1
2.16. Proporsi dari misklasifikasi unit berada pada level yang dapat diterima, dimana: a4 = standar yang diterima. x4 = nilai yang diperoleh y4, z4 = ambang batas yang disepakati, dimana nilai z4 > y4
Statistik dapat diterima (Level 3)
Melakukan identifikasi systematic errors, tetapi hasilnya tidak didokumentasi
α4 + z4 ≥ x4 > α4+y4
α3 + z3 ≥ x3 > α3+y3
α2 + z2 ≥ x2 > α2+y2
α1 - z1 ≤ x1 < α1 - y1
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik Statistik berkualitas (Level 4)
Standar
Tidak melakukan identifikasi systematic errors.
x4 > α4+ z4 atau proporsi dari unit yang misklasifikasi tidak dihitung
x3 > α3+ z3 atau proporsi dari over-coverage unit tidak dihitung
x2 > α2+ z2 atau tingkat duplikasi tidak dihitung
x1 ≤ α1 - z1 atau ukuran under-coverage tidak dihitung
Statistik buruk (Level 1)
Pengolahan (process)
Pengolahan (process)
Pengolahan (process)
Pengolahan (process)
Pengolahan (process)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
75
Indikator
76
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
α5 + y5 ≥ x5 > α5
α6 + y6 ≥ x6 > α6
x5 ≤ α5
x6 ≤ α6
x7 ≤ α7
x8 ≤ α8
2.18. Tingkat kesalahan pengumpulan data (yang dihitung dari pencatatan lapangan) berada pada level yang dapat diterima, dimana: a5 = standar yang diterima. x5 = nilai yang diperoleh y5, z5 = ambang batas yang disepakat, dimana nilai z5 > y5
2.19. Proxy responses harus dikategorikan secara terpisah (flagged) dan berada pada level yang dapat diterima, dimana: α6 = standar yang diterima. x6 = nilai yang diperoleh y6, z6 = ambang batas yang disepakati, dimana nilai z6 > y6
2.20. Rata-rata tingkat coding/ editing berada pada tingkat akurasi yang dapat diterima, dimana: α7 = standar yang dapat diterima x7 = nilai yang diperoleh y7, z7 = ambang batas yang disepakati, dimana nilai z7> y7
2.21. Rata-rata kesalahan coding/editing berada pada tingkat akurasi yang dapat diterima, dimana: α8 = standar yang dapat diterima x8 = nilai yang diperoleh y8, z8 = ambang batas yang disepakati, dimana nilai z8> y8
α8 + y8 ≥ x8 > α8
α7 + y7 ≥ x7 > α7
Statistik dapat diterima (Level 3)
α8 + z8 ≥ x8 > α8 + y8
α7 + z7 ≥ x7 > α7 + y7
α6 + z6 ≥ x6 > α6+y6
α5 + z5 ≥ x5 > α5+y5
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik Statistik berkualitas (Level 4)
Standar
x8> α8 + z8 atau kesalahan coding/editing tidak dihitung
x7 > α7 + z7 atau tingkat coding/editing tidak dihitung
x6 > α6+ z6 atau tingkat proxy responses tidak dihitung
x5 > α5+ z5 atau tingkat kesalahan pengumpulan data tidak dihitung
Statistik buruk (Level 1)
Pengolahan (process)
Pengolahan (process)
Pengolahan (process)
Pengolahan (process)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Indikator
x11 ≤ α11
2.24. Tingkat non-response unit berada pada level yang masih dapat diterima, dimana: α11 = standar yang diterima. x11 = nilai yang diperoleh y11, z11 = ambang batas yang disepakati, dimana nilai z11 > y11 x12 ≤ α12
x10 ≤ α10
2.23. Tingkat non-response item berada pada level yang masih dapat diterima, dimana: α10 = standar yang diterima. x10 = nilai yang diperoleh y10, z10 = ambang batas yang disepakati, dimana nilai z10 > y10
2.25. Rata-rata tingkat imputasi nonresponse item berada pada tingkat akurasi yang dapat diterima, dimana: α12 = standar yang diterima. x12 = nilai yang diperoleh y12, z12 = ambang batas yang disepakati, dimana nilai z12 > y12
x9 ≤ α9
Statistik berkualitas (Level 4)
2.22. Rata-rata kesalahan entri data berada pada tingkat akurasi yang dapat diterima, dimana: α9 = standar yang diterima. x9 = nilai yang diperoleh y9, z9 = ambang batas yang disepakati, dimana nilai z9 > y9
Standar
α12 + y12 ≥ x12 > α12
α11 + y11 ≥ x11 > α11
α10 + y10 ≥ x10 > α10
α9 + y9 ≥ x9 > α9
Statistik dapat diterima (Level 3)
α12 + z12 ≥ x12 > α12 + y12
α11 + z11 ≥ x11 > α11 + y11
α10 + z10 ≥ x10 > α10 + y10
α9 + z9 ≥ x9 > α9 + y9
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
x12 > α12 + z12 atau tingkat imputasi non-response item tidak dihitung
x11 > α11 + z11 atau tingkat non-response unit tidak dihitung
x10 > α10 + z10 atau tingkat non-response item tidak dihitung
x9> α9 + z9 atau rata-rata kesalahan entri tidak dihitung
Statistik buruk (Level 1)
Pengolahan (process)
Pengolahan (process)
Pengolahan (process)
Pengolahan (process)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
77
78
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Seluruh asumsi dalam model dapat dipenuhi dan hasil pengujian didokumentasi. Melakukan analisis dampak dari non-sampling errors. Hasilnya didokumentasi dan dipublikasi.
Melakukan evaluasi secara resmi terkait non-sampling errors, dan hasilnya didokumentasi.
2.28. Melakukan analisis dampak dari non-sampling errors, serta hasilnya didokumentasikan dan dipublikasikan.
2.29. Melakukan evaluasi resmi terkait non-sampling errors dan hasilnya didokumentasi.
1. Rentang waktu antara periode referensi dengan rilis data
Indikator
x13 ≤ α13
Statistik berkualitas (Level 4)
2.27. Seluruh asumsi dalam model terpenuhi dan didokumentasi.
2.26. Rata-rata tingkat imputasi non-response unit berada pada tingkat akurasi yang dapat diterima, dimana: α13 = standar yang diterima. x13 = nilai yang diperoleh y13, z13 = ambang batas yang disepakati, dimana nilai z13 > y13
Standar
Rumus:
1.1.
t1 =
0,9 < t1≤ 1
Statistik berkualitas (Level 4)
waktu hasil sementara - akhir periode referensi waktu yang ditentukan (berdasarkan standar yang ada)
Waktu publikasi hasil sementara berdasarkan standar waktu yang telah ditentukan.
Standar
3. Dimensi Aktualitas dan Tepat Waktu
Indikator
Melakukan evaluasi terkait nonsampling errors, tetapi dilakukan secara tidak resmi.
Melakukan analisis dampak dari non-sampling errors, tetapi hasilnya tidak didokumentasi.
Seluruh/sebagian asumsi dalam model dapat dipenuhi, namun tidak didokumentasi.
1 < t1≤ 1,25
Statistik dapat diterima (Level 3)
α13 + z13 ≥ x13 > α13 + y13
Statistik dipertanyakan (Level 2)
t1 < 0,9 atau t1 ≥ 1,25
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Melakukan evaluasi secara resmi terkait non-sampling errors, tetapi hasilnya tidak didokumentasi.
Melakukan analisis dampak dari non-sampling errors. Hasilnya telah didokumentasi, tetapi tidak dipublikasi.
Hanya sebagian dari asumsi dalam model yang dapat dipenuhi dan hasil pengujian didokumentasi.
α13 + y13 ≥ x13 > α13
Statistik dapat diterima (Level 3)
Tingkat Kualitas Statistik
Hasil sementara tidak dipublikasikan
Statistik buruk (Level 1)
Tidak melakukan evaluasi terkait non-sampling errors.
Tidak melakukan analisis dampak dari nonsampling errors.
Seluruh asumsi dalam model tidak terpenuhi, atau tidak melakukan pengujian asumsi.
x13 > α13 + z13 atau tingkat imputasi non-response unit tidak dihitung
Statistik buruk (Level 1)
Diseminasi (disseminate)
Tahapan GSBPM
Evaluasi (evaluate)
Analisis (analysis)
Pengolahan (process)
Pengolahan (process)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
2. Ketepatan waktu antara rencana dan realisasi penerbitan publikasi (Punctuality of time schedule)
Indikator
Terdapat perencanaan mengenai jadwal rutin pertemuan antar bagian pelaksana kegiatan statistik untuk membahas permasalahan kegiatan.
Terdapat kesesuaian antara jadwal dan realisasi pada tahap pengumpulan data.
2.2.
2.3.
2.4.
t3≤ 1 kali dari waktu pengumpulan data yang direncanakan.
Terdapat jadwal pertemuan rutin dan terdapat komitmen seluruh bagian untuk memecahkan masalah.
Terdapat perencanaan secara resmi yang mengatur jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik.
Melakukan evaluasi secara resmi terkait keterkinian dari output statistik yang dihasilkan dan hasilnya didokumentasi.
Untuk sumber data administratif, terdapat peraturan yang mengatur tentang ketersediaan data administrasi pada waktu yang telah disepakati.
Terdapat MoU yang didokumentasi dan diperbaharui secara berkala.
t3= durasi sebenarnya - rencana durasi + 1 rencana durasi
Terdapat perencanaan secara resmi yang mengatur jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik.
Rumus:
0,9 < t2≤ 1
Statistik berkualitas (Level 4)
waktu hasil sementara - akhir periode referensi waktu yang ditentukan (berdasarkan standar yang ada)
Melakukan evaluasi resmi terkait keterkinian dari output statistik yang dihasilkan.
t2=
Waktu publikasi hasil akhir sudah berdasarkan pada standar waktu yang telah ditentukan.
2.1.
1.3.
Rumus:
1.2.
Standar
Terdapat MoU yang didokumentasi, tetapi tidak diperbaharui secara berkala.
1 < t3< 1,25 kali dari waktu pengumpulan data yang direncanakan.
Terdapat jadwal pertemuan rutin, namun tidak semua bagian memiliki komitmen untuk memecahkan masalah.
Terdapat perencanaan secara resmi yang hanya mengatur mengenai jadwal kegiatan saja.
Melakukan evaluasi secara resmi terkait keterkinian dari output statistik yang dihasilkan, tetapi hasilnya tidak didokumentasi.
1 < t2≤ 1,25
Statistik dapat diterima (Level 3)
Terdapat kesepakatan secara tertulis, namun bukan merupakan MoU.
1,25 ≤ t3< 1,5 kali dari waktu pengumpulan data yang direncanakan.
Terdapat jadwal pertemuan, namun masih bersifat tidak rutin (add hoc).
Terdapat perencanaan yang mengatur mengenai jadwal kegiatan dan jadwal update, namun bersifat tidak resmi.
Melakukan evaluasi terkait keterkinian dari output statistik yang dihasilkan, namun bersifat tidak resmi.
t2 < 0,9 atau t2≥ 1,25
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak terdapat kesepakatan tertulis dalam pelaksanaan pengumpulan data administrative.
t3≥ 1,5 kali dari waktu pengumpulan data yang direncanakan.
Tidak terdapat jadwal pertemuan.
Tidak terdapat perencanaan jadwal kegiatan
Tidak melakukan evaluasi terkait keterkinian dari output statistik yang dihasilkan.
Hasil akhir tidak dipublikasikan
Statistik buruk (Level 1)
Pengumpulan data (collect)
Pengumpulan data (collect)
Desain (design)
Desain (design)
Evaluasi (evaluate)
Diseminasi (disseminate)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
79
Indikator
80
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Terdapat kesesuaian antara jadwal dan realisasi analisis data.
2.7.
Rumus:
2.9.
Rumus:
2.8.
t5 ≤ 1 kali dari waktu analisis data yang direncanakan.
tidak ada perbaikan program aplikasi pengolahan data (program sudah lengkap/sempurna).
t6 ≤ 1 kali dari waktu diseminasi output statistik sementara yang direncanakan.
t7 ≤ 1 kali dari waktu diseminasi output statistik akhir yang direncanakan.
t7 = durasi sebenarnya - rencana durasi + 1 rencana durasi
Terdapat kesesuaian antara durasi jadwal dan realisasi diseminasi output statistik akhir.
t6 = durasi sebenarnya - rencana durasi + 1 rencana durasi
Terdapat kesesuaian antara durasi jadwal dengan realisasi diseminasi output statistik sementara.
t5 = durasi sebenarnya - rencana durasi + 1 rencana durasi
Jumlah perbaikan aplikasi pengolahan data yang dilakukan setelah proses entri data dimulai.
Rumus:
t4 ≤ 1 dari waktu pengolahan data yang direncanakan.
Statistik berkualitas (Level 4)
t4 = durasi sebenarnya - rencana durasi + 1 rencana durasi
Terdapat kesesuaian antara jadwal dan realisasi pengolahan data.
2.6.
Rumus:
2.5.
Standar
1 < t7 < 1,25 kali dari waktu diseminasi output statistik akhir yang direncanakan.
1 < t6 < 1,25 kali dari waktu diseminasi output statistik sementara yang direncanakan.
1 < t5 < 1,25 kali dari waktu analisis data yang direncanakan.
Terdapat 1-2 kali perbaikan program.
1 < t4 < 1,25 kali dari waktu pengolahan data yang direncanakan.
Statistik dapat diterima (Level 3)
1,25 ≤ t7 < 1,5 kali dari waktu diseminasi output statistik akhir yang direncanakan.
1,25 ≤ t6 < 1,5 kali dari waktu diseminasi output statistik sementara yang direncanakan.
1,25 ≤ t5 < 1,5 kali dari waktu analisis data yang direncanakan.
Terdapat 3-4 kali perbaikan program.
1,25 ≤ t4< 1,5 kali dari waktu pengolahan data yang direncanakan.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
t7 ≥ 1.5 kali dari waktu diseminasi output statistik akhir yang direncanakan.
t6 ≥ 1,5 kali dari waktu diseminasi output statistik sementara yang direncanakan.
t5 ≥ 1,5 kali dari waktu analisis data yang direncanakan.
Terdapat lebih dari 4 kali perbaikan program, atau program tidak diperbaiki ketika terjadi kesalahan.
t4 ≥ 1,5 kali dari waktu pengolahan data yang direncanakan.
Statistik buruk (Level 1)
Diseminasi (disseminate)
Diseminasi (disseminate)
Analisis (analyze)
Pengolahan (process)
Pengolahan (process)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Melakukan evaluasi ketepatan waktu pelaksanaan kegiatan statistik secara resmi dan hasilnya didokumentasi.
2.12. Terdapat evaluasi secara resmi terkait ketepatan waktu pelaksanaan kegiatan statistik, dan hasilnya didokumentasikan.
1. Kebijakan pengaksesan data dan metadata
Indikator
1.1.
Terdapat dokumen prosedur/kebijakan kontrol yang memastikan output statistik yang akan didiseminasikan tidak melanggar aturan kerahasiaan dan integritas data.
Statistik dapat diterima (Level 3)
Terdapat dokumen prosedur/ kebijakan terkait kerahasiaan data dan integritas data.
Melakukan evaluasi ketepatan waktu pelaksanaan kegiatan statistik, namun bersifat tidak resmi (dapat berupa inisiatif perorangan).
Terdapat evaluasi terkait jadwal kegiatan dan jadwal update, namun bersifat tidak resmi.
Ada dokumen prosedur/ kebijakan terkait kerahasiaan data atau integritas data.
Statistik dapat diterima (Level 3)
Ada prosedur/kebijakan tetapi tidak terdokumentasi.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Melakukan evaluasi ketepatan waktu pelaksanaan kegiatan statistik secara resmi, tetapi hasilnya tidak didokumentasi.
Terdapat evaluasi secara resmi yang hanya terkait jadwal kegiatan saja.
Jika keterlambatan diseminasi telah dijelaskan kepada pengguna, namun tidak didokumentasikan.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik Jika keterlambatan diseminasi dijelaskan kepada para pengguna dan didokumentasikan, namun tidak dilaporkan kepada atasan (pejabat terkait).
Statistik berkualitas (Level 4)
Terdapat evaluasi secara resmi terkait jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik.
2.11. Terdapat evaluasi resmi terkait jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik.
Standar
Jika keterlambatan diseminasi dijelaskan kepada para pengguna, didokumentasikan, dan dilaporkan kepada atasan (pejabat terkait); atau tidak terjadi keterlambatan diseminasi.
Statistik berkualitas (Level 4)
2.10. Jika terjadi keterlambatan diseminasi output statistik, penyebab keterlambatan tersebut disampaikan kepada pengguna.
Standar
4. Dimensi Aksesibilitas
Indikator
Tidak ada prosedur/ kebijakan.
Statistik buruk (Level 1)
Tidak melakukan evaluasi ketepatan waktu pelaksanaan kegiatan statistik.
Tidak terdapat evaluasi terkait jadwal kegiatan dan jadwal update.
Jika keterlambatan diseminasi tidak/belum dijelaskan kepada para pengguna.
Statistik buruk (Level 1)
Desain (design) & Analisis (analize)
Tahapan GSBPM
Evaluasi (evaluate)
Evaluasi (Evaluate)
Diseminasi (disseminate)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
81
Indikator
82
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Terdapat dokumen prosedur/ kebijakan terkait kerahasiaan data dan integritas data.
Terdapat dokumen prosedur/ kebijakan terkait akses data dan dapat diakses para pengguna.
1.1.2. Tersedia dokumen mengenai prosedur/ kebijakan kontrol yang memastikan bahwa output statistik yang didiseminasikan tidak melanggar aturan kerahasiaan dan integritas data.
Pengguna dapat mengakses prosedur/ kebijakan terkait akses data.
Terdapat kebijakan terkait biaya/harga diseminasi output statistik dan mudah diakses.
Melakukan evaluasi secara resmi terkait akses output statistik yang dihasilkan.
1.2.
1.3.
1.4.
Melakukan evaluasi secara resmi dan hasilnya didokumentasi.
Terdapat dokumen kebijakan terkait biaya/harga diseminasi output statistik, dan mudah diakses.
Terdapat rancangan prosedur/ kebijakan yang mengatur hak akses data terkait kerahasiaan dan integritas data, dan didokumentasikan.
Statistik berkualitas (Level 4)
1.1.1. Terdapat rancangan prosedur/kebijakan yang mengatur hak akses (kerahasiaan dan integritas data) terhadap output statistik.
Standar
Melakukan evaluasi secara resmi, tetapi hasilnya tidak didokumentasi.
Terdapat dokumen kebijakan terkait biaya/harga diseminasi output statistik, tetapi tidak dapat diakses.
Terdapat dokumen prosedur/ kebijakan terkait akses data, tetapi tidak dapat diakses.
Terdapat dokumen prosedur/ kebijakan terkait kerahasiaan data atau integritas data.
Terdapat rancangan prosedur/ kebijakan yang mengatur hak akses data terkait kerahasiaan atau integritas data, dan didokumentasikan.
Statistik dapat diterima (Level 3)
Melakukan evaluasi, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak).
Terdapat kebijakan terkait biaya/ harga diseminasi output statistik, tetapi tidak didokumentasi.
Terdapat prosedur/kebijakan terkait akses data, tetapi tidak terdokumentasi.
Terdapat prosedur/kebijakan tetapi tidak terdokumentasi.
Terdapat rancangan prosedur/ kebijakan yang mengatur hak akses data terkait kerahasiaan dan/ atau integritas data, namun tidak didokumentasikan.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak melakukan evaluasi.
Tidak terdapat kebijakan terkait biaya/harga diseminasi output statistik; atau terdapat kebijakan tetapi tidak bersifat formal.
Tidak terdapat prosedur/ kebijakan terkait akses data; atau terdapat prosedur/kebijakan terkait akses data tetapi tidak bersifat formal.
tidak terdapat prosedur/ kebijakan.
Tidak terdapat rancangan prosedur/ kebijakan yang mengatur hak akses data terkait kerahasiaan dan/atau integritas data.
Statistik buruk (Level 1)
Evaluasi (evaluate)
Diseminasi (disseminate)
Diseminasi (disseminate)
Analisis (analyze)
Desain (design)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
3. Format data dan metada
2. Media akses
Indikator
Output statistik tersedia melalui berbagai format dengan mekanisme yang menjamin kerahasiaan.
Terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai format, dan terdapat rancangan kerahasiaan secara menyeluruh.
Output statistik tersedia dalam berbagai format dengan mekanisme yang menjamin kerahasiaan.
3.1.1. Terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai format, dan rancangan mengenai kerahasiaan format data dan metadata yang menjamin kerahasiaan output statistik tersebut.
3.1.
Output statistik dapat diakses melalui media dengan mekanisme kerahasiaan yang sesuai dengan hasil perancangan.
2.1.2. Output statistik yang dihasilkan dapat diakses melalui media dengan mekanisme kerahasiaan yang sesuai rencana.
Output statistik dapat diakses melalui berbagai media dengan mekanisme yang menjamin kerahasiaan.
Melakukan evaluasi secara resmi dan hasilnya didokumentasi.
Terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai media, dan terdapat rancangan kerahasiaan secara menyeluruh.
Output statistik harus dapat diakses melalui berbagai media dengan mekanisme yang menjamin kerahasiaan.
Melakukan evaluasi secara resmi terkait manajemen dokumentasi dari setiap tahap kegiatan.
Statistik berkualitas (Level 4)
2.1.1. Terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai media, dan rancangan mengenai penjaminan kerahasiaan output tersebut.
2.1.
1.5.
Standar
Terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai format, namun rancangan kerahasiaan belum menyeluruh.
Output statistik tersedia melalui berbagai format dengan terdapatnya celah yang dapat mengkompromikan kerahasiaan
Output statistik dapat diakses melalui media sesuai perancangan, namun mekanisme kerahasiaan belum sesuai dengan hasil perancangan.
Terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai media, namun rancangan kerahasiaan belum menyeluruh.
Output statistik dapat diakses melalui berbagai media dengan terdapatnya celah yang dapat mengkompromikan kerahasiaan.
Melakukan evaluasi secara resmi, tetapi hasilnya tidak didokumentasi.
Statistik dapat diterima (Level 3)
Terdapat rancangan mengenai output statistik yang dapat diakses melalui beberapa format, tetapi belum terdapat rancangan mekanisme untuk mengatur kerahasiaan.
Output statistik tersedia melalui berbagai format tapi tidak tersedia mekanisme yang menjamin kerahasiaan.
Output statistik dapat diakses melalui media sesuai rancangan, belum terdapat mekanisme untuk mengatur kerahasiaan.
Terdapat rancangan mengenai output statistik yang dapat diakses melalui beberapa media, tetapi belum terdapat rancangan mekanisme untuk mengatur kerahasiaan.
Output statistik dapat diakses melalui berbagai media tapi tidak tersedia mekanisme yang menjamain kerahasiaan.
Melakukan evaluasi, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak).
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Belum terdapat rancangan format yang menjamin kerahasiaan output statistik.
Output statistik hanya tersedia melalui format yang terbatas.
Output statistik dapat diakses melalui media tetapi tidak sesuai dengan hasil perancangan.
Belum terdapat rancangan media yang menjamin kerahasiaan data dan informasi.
Output statistik hanya dapat diakses melalui media yang terbatas.
Tidak melakukan evaluasi.
Statistik buruk (Level 1)
Desain (design)
Desain (design) & diseminasi (disseminate)
Diseminasi (disseminate)
Desain (design)
Desain (design) & diseminasi (disseminate)
Evaluasi (evaluate)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
83
84
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Output statistik termuat dalam katalog yang mudah diakses pengguna utama
5. Tersedia katalog publikasi
Ketersediaan ringkasan temuan penting
Ketersediaan contact point
Ketersediaan metadata/ informasi pendukung
1.
2.
3.
Indikator
Penyusunan metadata telah mengikuti standar internasional. Tersedia informasi minimum dari metadata yang dibutuhkan pengguna untuk menginterpretasikan output statistik.
3.2. Tersedia informasi minimum dari metadata yang dibutuhkan pengguna untuk menginterpretasikan output statistik.
Tersedia hotline yang diumumkan ke publik dan mudah diakses.
Semua temuan penting dan perbaikan data disampaikan ke pengguna. Informasi ini didokumentasikan.
Statistik berkualitas (Level 4)
Tersedia katalog publikasi output statistik yang mudah diakses oleh pengguna.
Tersedia jadwal rilis publikasi, diumumkan pada pengguna dan ditepati.
Output statistik tersedia dalam berbagai format dengan mekanisme kerahasiaan yang sesuai dengan hasil perancangan.
Statistik berkualitas (Level 4)
3.1. Penyusunan metadata mengikuti suatu standar.
Terdapat kontak layanan (hotline) yang diumumkan kepada publik dan mudah diakses.
Semua temuan penting dan perbaikan data disampaikan ke pengguna data, dan didokumentasikan.
Standar
5. Dimensi Interpretabilitas
Terdapat jadwal rilis publikasi dan diumumkan kepada pengguna serta ditepati.
3.1.2. Output statistik yang dihasilkan tersedia dalam berbagai format dengan mekanisme kerahasiaan sesuai dengan rencana.
Standar
4. Tersedia jadwal rilis publikasi
Indikator Statistik dipertanyakan (Level 2)
Output statistik dimuat dalam publikasi tanpa katalog.
Tersedia jadwal rilis tapi tidak diumumkan (baik ditepati ataupun tidak ditepati).
Hanya tersedia sebagian informasi minimum dari metadata yang dibutuhkan pengguna.
Penyusunan metadata mengikuti standar nasional.
Tersedia hotline yang diumumkan ke publik, namun tidak mudah diakses.
Tidak semua temuan penting atau perbaikan data disampaikan ke pengguna, dimana informasi ini didokumentasikan.
Statistik dapat diterima (Level 3)
Sebagian atau seluruh informasi minimum dari metadata tersedua hanya jika ada permintaan.
Penyusunan metadata mengikuti standar lainnya.
Tersedia hotline, namun tidak diumumkan ke publik.
Sebagian atau semua temuan penting dan perbaikan data disampaikan ke pengguna, tapi tidak didokumentasi.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tersedia katalog publikasi output statistik, tetapi sulit/ tidak dapat diakses oleh pengguna.
Tersedia jadwal rilis publikasi, diumumkan pada pengguna tetapi tidak ditepati.
Output statistik berikut Belum seluruh format sesuai dengan mekanisme kerahasiaan hasil perancangan. tersedia dalam format terbatas, namun telah sesuai dengan hasil perancangan.
Statistik dapat diterima (Level 3)
Tingkat Kualitas Statistik
Tidak tersedia informasi minimum dari metadata.
Penyusunan metadata tidak mengikuti standar apapun.
Hotline tidak tersedia.
Temuan penting dan perbaikan data tidak disampaikan ke penguna.
Statistik buruk (Level 1)
Tidak tersedia katalog publikasi.
Tidak tersedia jadwal rilis.
Output statistik hanya tersedia dalam satu format.
Statistik buruk (Level 1)
Desain (design) & Analisis (analyze)
Desain (design)
Diseminasi (disseminate)
Analisis (analyze)
Tahapan GSBPM
Diseminasi (disseminate)
Diseminasi (disseminate)
Diseminasi (disseminate)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
4.
Standar dari format publikasi statistik.
Indikator
Output statistik yang akan disajikan sudah diukur kualitasnya. Ukuran tersebut didokumentasi dan didiseminasikan. Ukuran kualitas statistik dari seluruh indikator dihitung dan didesiminasikan. Melakukan evaluasi secara resmi terkait kelengkapan metadata pada output statistik yang dihasilkan. Hasilnya didokumentasi. Melakukan evaluasi secara resmi terkait manajemen metadata dari output statistik yang dihasilkan. Hasilnya didokumentasi.
3.1. Output statistik yang akan didiseminasikan sudah diukur kualitasnya.
3.2. Ukuran kualitas statistik dari indikator statistik yang didiseminasikan tersedia dan dipublikasikan.
3.3. Melakukan evaluasi secara resmi terkait kelengkapan metadata pada output statistik yang dihasilkan.
3.4. Melakukan evaluasi terkait manajemen metadata dari output statistik yang dihasilkan. Format publikasi statistik disusun mengikuti standar internasional.
Seluruh informasi minimum dari metadata yang dibutuhkan pengguna untuk mengintepretasikan output statistik dipenuhi dan didokumentasi.
3.2.2. Seluruh informasi minimum dari metadata yang dibutuhkan pengguna untuk mengintepretasikan output statistik telah dipenuhi dan didokumentasikan.
Format publikasi statistik disusun sesuai dengan standar.
Tersedia rancangan mengenai jenis output statistik yang akan ditampilkan dan informasi minimum dari metadata yang harus disediakan. Hal ini didokumentasi.
Statistik berkualitas (Level 4)
3.2.1. Terdapat rancangan mengenai jenis output statistik yang akan ditampilkan termasuk informasi minimum dari metadata yang harus disediakan.
Standar
Format publikasi statistik disusun mengikuti standar nasional.
Melakukan evaluasi secara resmi terkait manajemen metadata dari output statistik yang dihasilkan, tapi hasilnya tidak didokumentasi.
Melakukan evaluasi secara resmi terkait kelengkapan metadata pada output statistik yang dihasilkan, tetapi hasilnya tidak didokumentasi.
Ukuran kualitas statistik dari seluruh indikator telah dihitung, tapi hanya sebagian ukuran yang didesiminasikan.
Output statistik yang akan disajikan sudah diukur kualitasnya. Ukuran tersebut telah didokumentasi, tapi tidak didiseminasi.
Hanya sebagian dari informasi minimum dari metadata yang dapat dipenuhi dan didokumentasi.
Tersedia rancangan mengenai jenis output statistik yang akan ditampilkan dan informasi minimum dari metadata yang harus disediakan, namun belum terdokumentasi.
Statistik dapat diterima (Level 3)
Format publikasi statistik disusun mengikuti standar standar lainnya.
Melakukan evaluasi terkait manajemen metadata dari output statistik yang dihasilkan, namun dilaksanakan secara tidak resmi (baik didokumentasikan ataupun tidak).
Melakukan evaluasi terkait kelengkapan metadata pada output statistik yang dihasilkan, namun dilaksanakan secara tidak resmi (baik didokumentasikan ataupun tidak).
Ukuran kualitas statistik dari seluruh atau sebagian indikator telah dihitung, namun tidak didesiminasikan.
Output statistik yang akan disajikan sudah diukur kualitasnya, tapi tidak didokumentasi.
Sebagian atau seluruh informasi minimum dari metadata disediakan hanya jika ada permintaan (baik didokumentasi atau tidak).
Hanya tersedia rancangan mengenai jenis output statistik yang akan ditampilkan (baik didokumentasi atau tidak).
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Format publikasi statistik disusun tidak mengikuti standar apapun.
Tidak melakukan evaluasi terkait manajemen metadata dari output statistik yang dihasilkan.
Tidak melakukan evaluasi terkait kelengkapan metadata pada output statistik yang dihasilkan.
Tidak menghitung ukuran kualitas statistik dari indikator.
Tidak tersedia ukuran kualitas output statistik.
Tidak tersedia informasi minimum dari metadata untuk mengintepretasikan output statistik.
Tidak tersedia rancangan mengenai jenis output statistik yang akan ditampilkan.
Statistik buruk (Level 1)
Analisis (analyze)
Evaluasi (evaluate)
Evaluasi (evaluate)
Diseminasi (disseminate)
Diseminasi (disseminate)
Analisis (analyze)
Desain (design)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
85
86
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
2. Series data yang dapat diperbandingkan
1. Definisi dan standar (klasifikasi, metodologi) yang digunakan
Indikator
Setiap perubahan konsep dan definisi sudah dikaji, didokumentasi, dan dilaporkan. Atau tidak terdapat perubahan konsep dan definisi. Konsep dan definisi yang digunakan sama dibandingkan dengan data periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, hal ini telah dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
2.1.1. Setiap perubahan konsep dan definisi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya.
2.1.2. Semua konsep dan definisi yang digunakan dalam series data sama dan didokumentasikan dalam metadata.
Konsep dan definisi yang digunakan telah mengikuti standar internasional.
1.3. Konsep dan definisi yang digunakan pada kegiatan statistik mengikuti suatu standar. Konsep dan definisi yang digunakan dibandingkan dengan data periode sebelumnya sama dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
Metodologi yang digunakan telah mengikuti standar internasional.
1.2. Metodologi yang digunakan pada kegiatan statistik mengikuti suatu standar.
2.1. Semua konsep dan definisi yang digunakan dalam series data harus sama dan didokumentasikan dalam metadata.
Klasifikasi yang digunakan telah mengikuti standar internasional.
Statistik berkualitas (Level 4)
Klasifikasi yang digunakan pada kegiatan statistik mengikuti suatu standar.
Standar
6. Dimensi Koherensi & Keterbandingan
Konsep dan definisi yang digunakan sama dibandingkan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika ada permintaan.
Setiap perubahan konsep dan definisi sudah dikaji dan didokumentasi, namun tidak dilaporkan.
Konsep dan definisi yang digunakan dibandingkan dengan data periode sebelumnya sama, dijelaskan dalam metadata jika ada permintaan.
Konsep dan definisi yang digunakan mengikuti standar nasional.
Metodologi yang digunakan mengikuti standar nasional.
Klasifikasi yang digunakan mengikuti standar nasional.
Statistik dapat diterima (Level 3)
Terdapat perbedaan konsep dan definisi yang digunakan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika terdapat permintaan.
Setiap perubahan konsep dan definisi sudah dikaji, namun tidak didokumentasikan.
Ada perbedaan konsep dan definisi yang digunakan dengan data periode sebelumnya, dijelaskan dalam metadata jika ada permintaan.
Konsep dan definisi yang digunakan mengikuti standar lainnya.
Metodologi yang digunakan mengikuti standar lainnya.
Klasifikasi yang digunakan mengikuti standar lainnya.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak melakukan perbandingan konsep dan definisi dengan data periode sebelumnya; atau tidak terdapat dokumentasi dalam metadata.
Tidak dilakukan kajian terhadap perubahan konsep dan definisi.
Tidak dilakukan perbandingan atau tidak ada dokumentasinya.
Konsep dan definisi yang digunakan tidak mengikuti standar apapun.
Metodologi yang digunakan tidak mengikuti standar apapun.
Klasifikasi yang digunakan tidak mengikuti menggunakan standar apapun.
Statistik buruk (Level 1)
Analisis (analyze)
Desain (design)
Desain (design) & Analisis (analyze)
Desain (design)
Desain (design)
Desain (design)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Indikator
Setiap perubahan metodologi sudah dikaji, didokumentasi, dan dilaporkan. Atau tidak terdapat perubahan metodologi.
2.3.1. Setiap perubahan metodologi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya.
Klasifikasi yang digunakan sama dibandingkan dengan data periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, hal ini telah dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
2.2.2. Semua klasifikasi yang digunakan dalam series data sama dan didokumentasikan dalam metadata.
Metodologi yang digunakan sama dibandingkan dengan data periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, hal ini telah dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
Setiap perubahan klasifikasi sudah dikaji, didokumentasi, dan dilaporkan. Atau tidak terdapat perubahan klasifikasi.
2.2.1. Setiap perubahan klasifikasi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya.
2.3. Semua metodologi yang digunakan dalam series data sama dan didokumentasikan dalam metadata.
Klasifikasi yang digunakan sama dibandingkan dengan data periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, hal ini telah dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
Statistik berkualitas (Level 4)
2.2. Semua klasifikasi yang digunakan dalam series data harus sama dan didokumentasikan dalam metadata.
Standar
Setiap perubahan metodologi sudah dikaji dan didokumentasi, namun tidak dilaporkan.
Metodologi yang digunakan adalah sama dibandingkan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika ada permintaan.
Klasifikasi yang digunakan sama dibandingkan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika ada permintaan.
Setiap perubahan klasifikasi sudah dikaji dan didokumentasi, namun tidak dilaporkan.
Klasifikasi yang digunakan sama dibandingkan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika ada permintaan.
Statistik dapat diterima (Level 3)
Setiap perubahan metodologi sudah dikaji, namun tidak didokumentasikan.
Terdapat perbedaan metodologi yang digunakan dengan data periode sebelumnya, didokumentasikan dalam metadata hanya jika ada permintaan.
Terdapat perbedaan klasifikasi yang digunakan dengan data periode sebelumnya, didokumentasikan dalam metadata hanya jika ada permintaan.
Setiap perubahan klasifikasi sudah dikaji, namun tidak didokumentasikan.
Terdapat perbedaan klasifikasi yang digunakan dengan data periode sebelumnya, didokumentasikan dalam metadata hanya jika ada permintaan.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak melakukan kajian terhadap perubahan metodologi.
Tidak melakukan perbandingan metodologi dengan data periode sebelumnya; atau tidak terdapat dokumentasi dalam metadata.
Tidak melakukan perbandingan klasifikasi dengan data periode sebelumnya; atau tidak terdapat dokumentasi dalam metadata.
Tidak melakukan kajian terhadap perubahan klasifikasi.
Tidak melakukan perbandingan klasifikasi dengan data periode sebelumnya; atau tidak terdapat dokumentasi dalam metadata.
Statistik buruk (Level 1)
Desain (design)
Desain (design) & Analisis (analyze)
Analisis (analyze)
Desain (design)
Desain (design) & Analisis (analyze)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
87
88
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
3. Keterbandingan dengan output statistik lainnya
Indikator
Melakukan analisis koherensi dengan sumber data lain, dimana seluruh keterbandingan dapat dijelaskan. Hasilnya didokumentasi dalam metadata.
Terdapat perancangan koherensi output statistik. Koherensi sudah diidentifikasi, dikaji, dan didokumentasi. Editing, imputasi, dan validasi sudah mempertimbangkan koherensi dengan output statistik lainnya dan hasilnya didokumentasi.
3.1.1. Terdapat perancangan koherensi output statistik dengan sumber data lain dalam periode yang sama.
3.1.2. Tahapan pengolahan (meliputi editing, imputasi, dan validasi) sudah mempertimbangkan koherensi dengan output statistik lainnya dan didokumentasikan.
Melakukan evaluasi secara resmi terkait keterbandingan series data dari output statistik yang dihasilkan dan hasilnya didokumentasi.
2.4. Melakukan evaluasi secara resmi terkait keterbandingan series data dari output statistik yang dihasilkan.
3.1. Melakukan analisis koherensi dengan sumber data lain dalam periode yang sama.
Metodologi yang digunakan sama dibandingkan dengan data periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, hal ini telah dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
Statistik berkualitas (Level 4)
2.3.2. Semua metodologi yang digunakan dalam series data sama dan didokumentasikan dalam metadata.
Standar
Tidak semua tahapan pengolahan mempertimbangkan koherensi dengan output statistik lainnya dan hasilnya didokumentasi.
Terdapat perancangan koherensi output statistik. Koherensi sudah diidentifikasi dan dikaji, namun belum didokumentasi.
Melakukan analisis koherensi dengan sumber data lain, namun tidak semua keterbandingan dapat dijelaskan. Hasilnya didokumentasi dalam metadata.
Melakukan evaluasi secara resmi terkait keterbandingan series data dari output statistik yang dihasilkan, tetapi hasilnya tidak didokumentasi.
Metodologi yang digunakan sama dibandingkan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika ada permintaan.
Statistik dapat diterima (Level 3)
Koherensi dengan output statistik lainnya dilakukan tetapi tidak terdapat dokumentasi.
Terdapat perancangan koherensi output statistik. Koherensi sudah diidentifikasi, namun belum dikaji.
Melakukan analisis koherensi dengan sumber data lain, namun hasilnya belum didokumentasi.
Melakukan evaluasi terkait keterbandingan series data dari output statistik yang dihasilkan, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak).
Terdapat perbedaan metodologi yang digunakan dengan data periode sebelumnya, didokumentasikan dalam metadata hanya jika ada permintaan.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tahapan editing, imputasi dan validasi belum mempertimbangkan koherensi.
Tidak terdapat perancangan koherensi output statistik.
Tidak melakukan analisis koherensi dengan sumber data lain.
Tidak melakukan evaluasi terkait keterbandingan series data dari output statistik yang dihasilkan.
Tidak melakukan perbandingan metodologi dengan data periode sebelumnya; atau tidak terdapat dokumentasi dalam metadata.
Statistik buruk (Level 1)
Pengolahan (process)
Desain (design)
Desain (design), pengolahan (process) dan analisis (analyze)
Evaluasi (evaluate)
Analisis (analyze)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
4. Keterbandingan antar item data
Indikator
Melakukan analisis koherensi antar item, dimana seluruh keterbandingan dapat dijelaskan dan didokumentasi dalam metadata. Terdapat perancangan koherensi output statistik antar item data, dimana koherensi sudah diidentifikasi, dikaji, dan didokumentasi. Semua tahapan pengolahan sudah mempertimbangkan koherensi antar item data dan hasilnya didokumentasi. Melakukan analisis koherensi antar item data, dimana seluruh keterbandingan dapat dijelaskan dan didokumentasi dalam metadata.
4.1.1. Terdapat perancangan koherensi output statistik antar item data.
4.1.2. Tahapan pengolahan (meliputi editing, imputasi, dan validasi) sudah mempertimbangkan koherensi antar item data dan didokumentasikan.
4.1.3. Melakukan analisis koherensi antar item data.
Melakukan evaluasi secara resmi terkait koherensi dari output statistik yang dihasilkan dengan sumber data lainnya, dan hasilnya didokumentasi.
3.2. Melakukan evaluasi secara resmi terkait koherensi dari output statistik yang dihasilkan dengan sumber data lainnya.
4.1. Melakukan analisis koherensi antar item data.
Melakukan analisis koherensi dengan sumber data lain, dimana seluruh keterbandingan dapat dijelaskan. Hasilnya didokumentasi dalam metadata.
Statistik berkualitas (Level 4)
3.1.3. Melakukan analisis koherensi dengan sumber data lain dalam periode yang sama.
Standar
Melakukan analisis koherensi antar item data, namun tidak semua keterbandingan dapat dijelaskan. Hasilnya didokumentasi dalam metadata.
Tidak semua tahapan pengolahan mempertimbangkan koherensi antar item data dan hasilnya didokumentasi.
Terdapat perancangan koherensi output statistik antar item data, dimana koherensi sudah diidentifikasi, namun belum dikaji. Informasi ini telah didokumentasikan.
Melakukan analisis koherensi antar item, namun tidak semua keterbandingan dapat dijelaskan. Hasilnya didokumentasi dalam metadata.
Melakukan evaluasi secara resmi terkait koherensi dari output statistik yang dihasilkan dengan sumber data lainnya, tetapi hasilnya tidak didokumentasi.
Melakukan analisis koherensi dengan sumber data lain, namun tidak semua keterbandingan dapat dijelaskan. Hasilnya didokumentasi dalam metadata.
Statistik dapat diterima (Level 3)
Telah melakukan analisis koherensi antar item data, namun belum didokumentasi dalam metadata.
Koherensi antar item data dilakukan tetapi tidak didokumentasi.
Terdapat perancangan koherensi output statistik antar item data, namun informasi ini belum didokumentasikan (baik dimana koherensi sudah diidentifikasi atau belum).
Telah melakukan analisis koherensi antar item, namun belum didokumentasi dalam metadata.
Melakukan evaluasi terkait koherensi dari output statistik yang dihasilkan dengan sumber data lainnya, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak).
Melakukan analisis koherensi dengan sumber data lain, namun hasilnya belum didokumentasi.
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Tidak melakukan analisis koherensi antar item data.
Tahapan pengolahan belum mempertimbangkan koherensi antar item data.
Tidak terdapat perancangan koherensi output statistik antar item data.
Tidak melakukan analisis koherensi antar item data.
Tidak melakukan evaluasi terkait koherensi dari output statistik yang dihasilkan dengan sumber data lainnya.
Tidak melakukan analisis koherensi dengan sumber data lain.
Statistik buruk (Level 1)
Analisis (analyze)
Pengolahan (process)
Desain (design)
Desain (design), pengolahan (process) dan analisis (analyze)
Evaluasi (evaluate)
Analisis (analyze)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
89
90
4.2. Melakukan evaluasi secara resmi terkait koherensi antar item data dari output statistik yang dihasilkan.
Standar Melakukan evaluasi secara resmi terkait koherensi antar item data dari output statistik yang dihasilkan dan hasilnya didokumentasi.
Statistik berkualitas (Level 4) Melakukan evaluasi secara resmi terkait koherensi antar item data dari output statistik yang dihasilkan, tetapi hasilnya tidak didokumentasi.
Statistik dapat diterima (Level 3) melakukan evaluasi, namun dilaksanakan secara tidak resmi terkait koherensi antar item data dari output statistik yang dihasilkan (baik tersedia dokumentasi maupun tidak).
Statistik dipertanyakan (Level 2)
Tingkat Kualitas Statistik
Keterangan: penjelasan rinci mengenai masing-masing standar disediakan pada Lampiran 1
Indikator Tidak melakukan evaluasi.
Statistik buruk (Level 1) Evaluasi (evaluate)
Tahapan GSBPM
Bab III Instrument Pengukuran Kualitas Statistik BPS
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab III Instrument Pengukuran Kualitas Statistik BPS
2.
Template Kuesioner Pengukuran Kualitas
Mengingat format standar kualitas yang disajikan dalam handbook ini berbentuk tabel pengukuran, maka dalam rangka menjaring informasi terkait nilai suatu item standar kualitas, dapat disusun kuesioner dengan format pertanyaan. Format ini dapat disusun secara bebas, selama masih merujuk pada esensi yang diinginkan dari item tersebut. Bebas di sini dapat berarti (1) keleluasan untuk menambah pertanyaan tambahan untuk mendukung kejelasan dari suatu standar. Misalnya, sebelum diberikan pertanyaan mengenai ukuran sampling errors dari suatu kegiatan statistik, dapat ditambah pertanyaan ‘apakah kegiatan ini menggunakan metode sampling?’ sehingga bila kegiatan tersebut tidak menggunakan metode sampling, maka pertanyaan tersebut tidak perlu disampaikan. Arti ke-2 adalah, keleluasan dalam membuat format pertanyaan untuk menjaring informasi yang diperlukan. Misalnya, untuk menjaring informasi besaran under coverage, pertanyaan yang dapat disusun adalah ‘berapa banyak RT yang tidak terdaftar (lewat cacah) pada blok sensus ini? Selanjutnya, nilai kuantitas tersebut dihitung besaran persentasenya, dan dibandingkan dengan standar yang dapat diterima, sebagaimana tercantum dalam standar kualitas. Adapun contoh bentuk pertanyaan standar dari indikator pertama dan kedua (terkait dimensi relevansi) di atas, adalah: 1. Apakah tersedia dokumen/database yang memuat deskripsi dan pengelompokkan pengguna utama yang lengkap dan senantiasa di up date? 4) Ya, tersedia dokumen/database yang lengkap dan selalu diupdate 3) Tersedia dokumen/database yang selalu di-update, namun tidak lengkap 2) Tersedia dokumen/database yang lengkap (tidak lengkap), yang selalu di-update 1) Tidak tersedia dokumen/database tersebut 2. Apakah tersedia informasi mengenai jenis data/informasi statistik yang dibutuhkan pengguna utama dari kegiatan statistik ini, yang telah didokumentasi dan senantiasa di-update? 4) Ya, informasi tersebut telah didokumentasi dan selalu di-update 3) Informasi telah didokumentasi, tapi tidak selalu di-update 2) Informasi tersebut belum didokumentasi 1) Informasi tidak diketahui
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
91
Bab III Instrument Pengukuran Kualitas Statistik BPS
Bentuk pertanyaan setiap standar dalam seluruh indikator dan dimensi secara rinci disajikan pada Lampiran 2 mengenai template kuesioner pengukuran kualitas.
92
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
BAB
4 Implementasi Pengukuran Kualitas Statistik
Bab IV Implementasi Pengukuran Kualitas Statistik
1.
Tahapan Implementasi
Pembahasan dari awal hingga pada sub-bab sebelumnya telah menjawab pertanyaan mengenai dimensi kualitas, indikator, dan standar kualitas (pada setiap dimensi) apa saja yang digunakan dalam pengukuran kualitas suatu output statistik. Pertanyaan berikutnya adalah bagaimana mengimplementasi dimensi, indikator, dan standar kualitas tersebut dalam pengukuran kualitas output statistik? Untuk menjawab hal tersebut, handbook ini hanya membahas tahapan-tahapan implementasi pengukuran kualitas secara umum sebagaimana disajikan pada Gambar 4.1 di bawah. Adapun implementasi secara rinci menurut jenis kegiatan statistik di BPS akan disajikan pada buku panduan tersendiri. Pemisahaan ini bertujuan agar penyajian pengukuran kualitas dalam handbook BPS-QAF ini dapat lebih fokus pada topik umum yang terkait dengan penjaminan kualitas. Sehingga bila seseorang hanya ingin mengetahui informasi terkait QAF di BPS secara garis besar, yang bersangkutan dapat membaca handbook ini. Sedangkan bila ingin mengetahui teknik/tata-cara pengukuran kualitas suatu output statistik di BPS secara rinci, maka dipersilakan membaca buku panduan tekniknya. Terdapat 7 tahapan yang dilakukan dalam rangka pengukuran kualitas, yaitu:
Klasifikasi kegiatan statistik
Penentuan indikator dan ukuran kualitas yang bersesuaian
Transformasi ukuran kualitas dalam bentuk pertanyaan/kuesioner
Penentuan nilai penimbang
Pengisian pertanyaan/kuesioner
Pengukuran tingkat kualitas Gambar 4.1 Tahapan Implementasi Pengukuran Kualitas
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
95
Bab IV Implementasi Pengukuran Kualitas Statistik
1.1. Klasifikasi kegiatan statistik Saat ini, jumlah dan ragam kegiatan statistik yang dilakukan BPS cukup banyak, dimana antara suatu kegiatan dengan kegiatan lainnya ada yang memiliki kemiripan karakteristik dalam tahapan proses kegiatan dan responden, atau bahkan berbeda sama sekali. Misalnya antara Susenas dan Sakernas memiliki kemiripan dalam tahapan prosesnya (yakni dilakukan secara sampling) dan jenis responden (rumah tangga), sedangkan Survei Industri Besar & Sedang dilakukan secara sensus dengan responden berupa perusahaan/usaha. Perbedaan karakteristik di atas, perlu mendapat perhatian khusus ketika melakukan pengukuran kualitas. Mengingat indikator dan standar kualitas yang disusun dalam handbook masih bersifat umum, maka perlu dilakukan pengelompokkan indikator atau standar kualitas dapat sesuai karakteristik kegiatan statistik. Pengelompokkan ini diharapkan dapat memudahkan SM ketika akan mengimplementasi pengukuran kualitas, sekaligus menghindari kesalahan dalam pemilihan indikator dan standar kualitas yang seharusnya. Secara garis besar, kegiatan statistik di BPS dapat dibedakan menjadi empat kelompok, yaitu kegiatan sensus, survei, pendataan administrasi, dan kompilasi statistik22. Mengingat jumlah dan ragam survei di BPS relatif banyak, maka dilakukan pengklasifikasian lebih rinci yang mencakup survei rumah tangga, perusahaan, dan harga. Klasifikasi di sini mempertimbangkan jenis responden. Misalnya, survei rumah tangga maupun survei perusahaan hanya fokus pada rumah tangga atau perusahaan/usaha sebagai responden, namun pada survei harga, responden dapat berupa rumah tangga dan usaha. Selanjutnya setiap kelompok kegiatan statistik dikaji tahapan proses GSBPMnya untuk mengetahui tahapan mana saja yang harus dilakukan pada suatu kegiatan statistik, atau tidak dilakukan. Misalnya pada sensus, tidak dilakukan penarikan sampel sebagaimana pada survei. Hasil kajian ini berupa mapping tahapan proses GSBPM menurut ragam kegiatan statistik yang disajikan pada Tabel 4.1. Berdasarkan informasi ini, selanjutnya dapat ditentukan indikator maupun standar kualitas mana saja yang akan digunakan dalam pengukuran kualitas dari output suatu kegiatan statistik.
22 Berdasarkan Pasal 11 Bab IV Undang-undang No 16 Tahun 1997 tentang Statistik, dinyatakan bahwa dalam menyelenggarakan Statistik Dasar, BPS dapat memperoleh data dengan cara Sensus, Survei, Kompilasi Produk Administrasi, dan cara lain sesuai dengan perkembangan ilmu pengetahuan dan tekhnologi. Pada handbook ini, kegiatan kompilasi produk administrasi dibagi menjadi dua jenis, yaitu pendataan administrasi (untuk mencakup kegiatan pengumpulan data administrasi tanpa melakukan penghitungan secara kompleks dalam proses produksinya, seperti ekspor/impor, Podes, dsb) dan kompilasi statistik (untuk mencakup kegiatan pengumpulan data administrasi dengan melakukan penghitungan secara kompleks dalam proses produksinya, seperti PDB, Tabel Input-Output, dsb).
96
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab IV Implementasi Pengukuran Kualitas Statistik
Dengan metode yang sama, dapat dikelompokkan tahapan-tahapan proses dalam GSBPM yang akan diimplementasikan pada kegiatan statistik rumah tangga, perusahaan, atau harga. Penjelasan rinci mengenai hal ini akan disajikan secara terpisah pada buku panduan teknis. Tabel 4.1. Pemetaan Tahapan GSBPM Menurut Survei, Sensus, Pendataan Administratif, dan Kompilasi Statistik. Tahapan GSBPM 1. Penentuan Kebutuhan 1.1. Mengidentifikasi kebutuhan 1.2. Mengkonsultasi dan mengonfirmasi kebutuhan pengguna 1.3. Menetapkan tujuan output statistik 1.4. Mengidentifikasi konsep 1.5. Memeriksa ketersediaan data 1.6. Mempersiapkan proses bisnis 2. Perancangan 2.1. Merancang output 2.2. Merancang deskripsi variabel 2.3. Merancang pengumpulan data 2.4. Merancang kerangka dan sampel 2.5. Merancang proses dan analisis 2.6. Merancang sistem produksi dan alur kerja 3. Pembangunan 3.1. Membangun instrumen pengumpulan data 3.2. Membangun atau meningkatkan komponen proses 3.3. Membangun atau meningkatkan komponen diseminasi 3.4. Mengkonfigurasi alur kerja 3.5. Pengujian sistem produksi 3.6. Pengujian proses bisnis statistik 3.7. Finalisasi sistem produksi 4. Pengumpulan Data 4.1. Membuat kerangka dan memilih sampel 4.2. Persiapan pengumpulan data 4.3. Pelaksanaan pengumpulan data 4.4. Finalisasi pengumpulan data 5. Pengolahan 5.1. Integrasi data 5.2. Klasifikasi dan pengkodean 5.3. Review dan validasi 5.4. Mengedit dan mengimputasi 5.5. Pembentukan variabel baru dan unit statistik baru 5.6. Menghitung penimbang 5.7. Menghitung agregat 5.8. Finalisasi file data 6. Analisis 6.1. Persiapan draft output 6.2. Validasi output 6.3. Mengintepretasi dan menjelaskan output 6.4. Penerapan pengendalian keterbukaan 6.5. Finalisasi output 7. Diseminasi 7.1. Memperbarui sistem output 7.2. Menghasilkan produk diseminasi 7.3. Mengelola rilis produk diseminasi 7.4. Mempromosi produk statistik 7.5. Mengelola dukungan pengguna 8. Evaluasi 8.1. Mengumpulkan masukan informasi 8.2. Melakukan evaluasi 8.3. Persetujuan rencana tindak lanjut hasil evaluasi
Survei
Sensus
Adm.
Kompilasi
√ √ √ √ √ √
√ √ √ √ √ √
√ √ √ √ √ √
√ √ √ √ √ √
√ √ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √ √ √ √ √
√ √ √ √ √ √ √
√ √ √ √ √ √ √
√ √ √ √ √ √ √
√ √ √ √
√ √ √ √
√ √ √ √
√ √ √ √
√ √ √ √ √ √ √ √
√ √ √ √ √ √ √
√ √ √ √ √ √
√ √ √ √ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √ √ √
√ √ √
√ √ √
√ √ √
√ √ √
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
97
Bab IV Implementasi Pengukuran Kualitas Statistik
1.2. Penentuan indikator dan standar kualitas yang bersesuaian Indikator dan standar kualitas yang disajikan pada Tabel 3.1 pada bab 3 masih bersifat umum, belum disesuaikan dengan karakteristik suatu kegiatan statistik. Untuk memperoleh indikator dan standar kualitas yang spesifik untuk suatu kegiatan statistik, dapat digunakan klasifikasi yang telah ditentukan pada Tabel 4.1 diatas, sesuai dengan tahapan yang akan diukur. Sebagai contoh, pada kegiatan statistik dengan responden rumah tangga, dimensi kualitas pada tahapan penentuan kebutuhan (specify needs) adalah relevansi. Bila merujuk pada Tabel 3.1, terdapat tiga indikator yang digunakan pada dimensi relevansi, yaitu: •• Mendeskripsikan dan mengklasifikasikan pengguna utama •• Identifikasi kebutuhan pengguna •• Perbedaan (gap) antara output yang dihasilkan dengan kebutuhan pengguna Dari ketiga indikator tersebut, indikator pertama (mendeskripsikan dan mengklasifikasikan pengguna utama) dan indikator kedua (identifikasi kebutuhan pengguna utama) dapat digunakan untuk mengukur kualitas karena menggambarkan kegiatan yang dilakukan pada tahap ini. Sedangkan indikator ketiga (perbedaan antara output yang dihasilkan dengan kebutuhan pengguna) dapat digunakan setelah kegiatan statistik tersebut menghasilkan suatu output. Pada indikator pertama, hanya terdapat satu standar kualitas yang digunakan, yaitu terdapat dokumen/database yang memuat deskripsi dan pengelompokkan pengguna utama. Dokumen/database tersebut harus up to date dan lengkap. Klasifikasi (level) kualitas pada standar ini dibagi menjadi 4, yaitu: •• Statistik berkualitas (level 4), bila terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama yang up to date dan lengkap •• Statistik dapat diterima (level 3), bila terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama yang up to date, tapi belum lengkap •• Statistik dipertanyakan (level 2), bila terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama, tapi tidak up to date (baik lengkap atau tidak) •• Statistik buruk (level 1), bila tidak terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama Pada indikator kedua terdapat lima standar kualitas yang digunakan, salah satu diantaranya adalah ketersediaan informasi kebutuhan pengguna yang didokumentasi dan up to date. Klasifikasi (level) kualitas pada standar ini adalah:
98
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab IV Implementasi Pengukuran Kualitas Statistik
•• Statistik berkualitas (level 4), bila tersedia dokumen mengenai data/informasi statistik yang dibutuhkan pengguna utama dan up to date •• Statistik dapat diterima (level 3), bila tersedia dokumen mengenai data/ informasi statistik yang dibutuhkan pengguna utama. •• Statistik dipertanyakan (level 2), bila tersedia informasi mengenai data/informasi statistik yang dibutuhkan pengguna utama, tapi tidak didokumentasi (baik up to date atau tidak) •• Statistik buruk (level 1), bila tidak tersedia informasi mengenai kebutuhan pengguna utama. Pengukuran kualitas dilakukan dengan memilih hanya satu dari ke-empat level kualitas tersebut, sesuai kondisi sebenarnya yang terjadi pada obyek pengukuran. 1.3. Transformasi ukuran kualitas dalam bentuk pertanyaan/kuesioner Agar ukuran kualitas dapat diisi secara mudah, maka format ukuran kualitas yang masih berbentuk pernyataan tersebut harus ditransformasi ke dalam bentuk pertanyaan/kuesioner. Diskusi mengenai teknik transformasi ragam ukuran kualitas ke dalam bentuk pertanyaan dalam suatu kuesioner telah dibahas pada Bab III Sub-bab 2 mengenai Template Kuesioner Pengukuran Kualitas. Oleh karena itu, hal ini tidak dibahas kembali pada bagian ini. Bentuk pertanyaan dari setiap standar pada seluruh indikator dan dimensi secara rinci disajikan pada Lampiran 2 mengenai template kuesioner pengukuran kualitas. Angka-angka yang terdapat dalam kotak hanya merupakan contoh pengisian (berupa angka dummy) saja. 1.4. Penilaian tingkat kualitas pada setiap standar dalam kuesioner Langkah selanjutnya adalah melakukan penilaian tingkat kualitas dengan cara menjawab pertanyaan-pertanyaan standar kualitas yang terangkum dalam kuesioner yang telah disusun. Penilaian dilakukan dengan cara memilih hanya satu jawaban dari empat alternatif jawaban yang disediakan, sesuai kondisi yang sebenarnya. Perlu diperhatikan di sini, bahwa tujuan utama pengukuran kualitas adalah memberi penjaminan kepada para pengguna bahwa output statistik yang dihasilkan benar-benar berkualitas. Selain itu, besaran kualitas yang dicapai pada saat ini dapat digunakan sebagai bahan evaluasi dan perencanaan pada kegiatan statistik periode berikutnya dalam rangka lebih meningkatkan kualitasnya. Oleh karena itu, jawaban harus diberikan secara jujur, obyektif, dan transparan, sehingga dapat diperoleh level kualitas yang sesungguhnya. Dalam handbook ini disajikan contoh pengisian nilai level kualitas pada setiap standar dalam seluruh indikator dan dimensi kualitas. Contoh ini disajikan
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
99
Bab IV Implementasi Pengukuran Kualitas Statistik
pada Lampiran 2, dimana angka-angka yang terdapat dalam kotak hanya berupa angka dummy. Hal ini dilakukan agar para SM dapat memiliki gambaran bagaimana cara pengisian template kuesioner tersebut. Dimasa mendatang pengisian jawaban dalam pengukuran kualitas akan dilakukan secara self asessment dan online. Self asessment berarti bahwa pengisian tersebut dilakukan secara mandiri oleh para pelaksana kegiatan statistik yang sedang diukur kualitasnya. Melalui pilihan self asessment ini, diharapkan dalam kurun waktu yang lebih singkat, lebih banyak jumlah kegiatan statistik yang dapat diukur dibandingkan bila dilakukan oleh unit penjamin kualitas. Pengisian secara online dilakukan dalam bentuk suatu sistem penjaminan kualitas statistik, yang merupakan bagian dari Quality Declare. Unit penjaminan kualitas menyediakan kuesioner dan instrumen-instrumen lain yang dibutuhkan agar para SM dapat melakukan pengisian secara mudah, serta dapat dimonitor oleh unit penjaminan maupun pejabat BPS yang telah ditentukan. Diskusi secara sekilas mengenai Quality Declare telah disampaikan pada Bab I, dan pembahasan secara rinci berikut tata cara implementasinya akan disajikan secara terpisah pada buku panduan khusus. 1.5. Penentuan nilai penimbang Mengingat pengukuran kualitas statistik melibatkan beberapa dimensi dan indikator kualitas, maka perlu ditentukan besaran nilai penimbang (weight) dimensi dan indikatornya. Hal ini agar hasil pengukuran kualitas dapat disajikan dalam bentuk suatu nilai komposit, baik berupa nilai kualitas menurut dimensi maupun tahapan GSBPM yang diwujudkan dalam bentuk jaring laba-laba (spider chart). Nilai-nilai tersebut sangat penting untuk mencerminkan progress yang telah dicapai, baik pada suatu titik waktu maupun antar waktu, sekaligus untuk mengetahui titik-titik kelemahan yang perlu diperbaiki. Besaran penimbang dari ke-enam dimensi kualitas dapat memiliki nilai yang sama (equal weight) atau tidak sama (unequal weight). Hal yang sama juga terjadi pada besaran penimbang pada indikator kualitas. Pada tahap awal, handbook ini baru menyajikan pengukuran kualitas dengan menggunakan equal weight, dimana seluruh dimensi memiliki weight sebesar 1/6. Penggunaan equal weight juga diberlakukan pada indikator kualitas. Weight suatu indikator dalam suatu dimensi merupakan pembagian dari weight dimensi (1/6) dengan banyaknya indikator dalam dimensi tersebut. Misalnya, dimensi relevansi terdiri dari tiga indikator, maka weight setiap indikatornya sebesar 1/6 : 3 = 1/18. Dengan demikian, jumlah total weight dari seluruh indikator dalam ke-enam dimensi pengukuran sama dengan satu, atau dirumuskan sebagai: 6 k
∑∑ w i
100
j
ij
=1
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab IV Implementasi Pengukuran Kualitas Statistik
dimana: j adalah indikator ke-j dari suatu dimensi ke-i yang memiliki k indikator i adalah dimensi ke-i dari enam dimensi yang ada Besaran weight menurut dimensi dan indikator secara lengkap disajikan pada Tabel 4.2. Penentuan weight ini dilakukan apabila kita ingin mengukur kualitas menurut dimensi dan indikatornya. Tujuan pengukuran ini adalah bila kita ingin mengetahui dimensi maupun indikator mana saja yang memiliki capaian kualitas yang tinggi atau rendah, yang berpengaruh terhadap capaian kualitas dari output statistik yang diukur. Melalui nilai tersebut, dapat dilakukan evaluasi untuk meningkatkan tingkat kualitas pada periode berikutnya. Agar penjelasan mengenai hal ini lebih jelas, diskusi terkait topik ini akan disajikan lebih rinci pada tahapan berikutnya (tahap 6 mengenai pengukuran tingkat kualitas). Pengukuran kualitas suatu kegiatan statistik menurut tahapan proses bisnisnya (GSBPM) juga menggunakan landasan pemikiran yang mirip. Sebagaimana dikemukakan sebelumnya, terdapat delapan tahapan proses dalam GSBPM, yaitu penentuan kebutuhan (specify needs), perancangan (design), pembangunan (bulid), pengumpulan data (collect), pengolahan (process), analisis (analyse), diseminasi (disseminate), dan evaluasi (evaluate). Tiga tahapan awal sering disebut sebagai perencanaan dan seringkali dilakukan secara berulangulang (loop) sehingga dalam penghitungan kualitas dalam handbook ini dikelompokkan menjadi satu kesatuan. Adapun tahapan lainnya tidak dilakukan pengelompokkan. Dengan demikian, setiap tahapan terdiri dari beberapa dimensi, dan setiap dimensi mencakup minimal satu indikator. Besaran weight seluruh dimensi dalam suatu tahapan perencanaan akan sama, yaitu sebesar 1/x, dimana x adalah jumlah dimensi yang terdapat pada suatu tahapan. Misalnya ke-enam dimensi kualitas terlibat dalam pengukuran pada tahapan perencanaan, sehingga weight untuk setiap dimensi adalah 1/6. Adapun pada tahapan pengumpulan data, karena hanya terdapat dua dimensi kualitas yang terlibat, maka weight setiap dimensinya sebesar ½. Selanjutnya dengan cara yang sama, dihitung weight untuk seluruh indikator pada suatu dimensi. Besaran weight indikatornya merupakan nilai dimensi tersebut dibagi dengan jumlah indikator yang terlibat. Misalnya, pada tahapan perencanaan, dimensi relevansi mencakup dua indikator, sehingga weight setiap indikatornya adalah 1/6 : 2 = 1/12. Nilai yang sama juga terdapat pada dimensi akurasi yang juga terdiri dari dua indikator. Besaran nilai weight setiap dimensi dan indikator kualitas menurut tahapan proses bisnis disajikan secara rinci pada Lampiran 3 mengenai contoh Pedoman Kerangka Penjaminan Kualitas Statistik BPS
101
Bab IV Implementasi Pengukuran Kualitas Statistik
Tabel 4.2. Besaran Weight Dimensi dan Indikator jika Pengukuran Kualitas Dilakukan menurut Dimensi Kualitas Dimensi Nama Relevansi
Indikator Weighting
Nama
Weighting
0,1667
Mendeskripsikan dan mengklasifikasikan pengguna utama Identifikasi kebutuhan pengguna Perbedaan antara output yang dihasilkan dengan kebutuhan pengguna Kesalahan Sampling Kesalahan Non sampling Rentang waktu antara periode referensi dengan rilis data Ketepatan waktu antara rencana dan realisasi penerbitan publikasi Kebijakan pengaksesan data dan metadata Media akses Format data dan metadata Tersedia jadwal rilis publikasi Tersedia katalog publikasi Definisi dan Standar (klasifikasi, metodologi) Series data yang dapat diperbandingkan Keterbandingan dengan output statistik lainnya Keterbandingan antar item data Tersedia ringkasan temuan penting Tersedia contact point Tersedia metadata/informasi pendukung Standar dari format publikasi
0,0556
Akurasi
0,1667
Aktualitas & tepat waktu
0,1667
Aksesbilitas
0,1667
Koherensi & komparabilitas
0,1667
Intepretabilitas
0,1667
Total
1
0,0556 0,0556 0,0833 0,0833 0,0833 0,0833 0,0333 0,0333 0,0333 0,0333 0,0333 0,0417 0,0417 0,0417 0,0417 0,0417 0,0417 0,0417 0,0417 1
penghitungan kualitas menurut tahapan proses bisnis. Sekali lagi ditekankan, bahwa penentuan besaran weight perlu kehati-hatian karena akan berdampak pada besaran nilai kualitas yang dihasilkan. Pada dasarnya, penggunaan unequal weight lebih baik dari equal weight, namun penggunaan equal weight dalam handbook ini dikarenakan belum tersedianya informasi mengenai besaran penimbang dari setiap dimensi. Apalagi, ragam dimensi yang digunakan antar NSO cukup berbeda. Selain itu, mengingat jumlah dan ragam indikator dan standar kualitas yang akan diterapkan pada pengukuran kualitas suatu kegiatan statistik dimungkinkan berbeda, maka perlu perhitungan besaran weight pada setiap kegiatan statistik. Ke depan, dimungkinkan BPS akan menggunakan equal weight dalam pengukuran kualitas.
102
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab IV Implementasi Pengukuran Kualitas Statistik
1.6. Pengukuran tingkat kualitas Tahap awal dalam pengukuran kualitas adalah mengisi level-level kualitas (pada template kuesioner pengukuran kualitas) sesuai kondisi sebenarnya yang terjadi pada pelaksanaan suatu kegiatan statistik atau output yang dihasilkan. Dari ke-empat alternatif jawaban berupa level kualitas, hanya satu level yang dipilih. Sebagai contoh, nilai yang diisi untuk pertanyaan 201 (lihat Lampiran 2) adalah 3, karena isian dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama belum tersedia secara lengkap, meskipun senantiasa di-update secara periodik. Isian tersebut dilakukan pada seluruh standar yang bersesuaian dengan kegiatan statistik atau output-nya. Diskusi lebih rinci mengenai teknik pengukuran kualitas statistik yang akan dilakukan di BPS disajikan pada sub-bab berikut ini.
2.
Teknik Penghitungan Tingkat Kualitas
Penghitungan ukuran kualitas suatu output statistik baru dapat dilakukan bila seluruh item pertanyaan pada template kuesioner telah diisi sesuai kondisi sesungguhnya. Sebagai ilustrasi, Lampiran 2 menunjukkan isian setiap pertanyaan/standar pada seluruh tahapan GSBPM dan dimensi. Selanjutnya dilakukan penghitungan nilai standar pada setiap indikatornya dengan cara menjumlahkan nilai seluruh standar dalam satu indikator, dan dibagi dengan perkalian antara jumlah standar dalam indikator tersebut dengan 4 (jumlah level kualitas yang digunakan BPS. nilai standar =
jumlah seluruh nilai standar 4 * jumlah standar dalam indikator
Sebagai contoh, nilai standar untuk indikator “mendeskripsikan dan mengklasifikasi pengguna utama” pada dimensi relevansi, diperoleh dari: 3 / (4 * 1) = 0,7500 dimana: 3 merupakan nilai yang diisi pada item 201 4 adalah jumlah level kualitas yang digunakan 1 adalah jumlah standar pada indikator ini (hanya ada satu standar) Contoh berikutnya, nilai standar untuk indikator “identifikasi kebutuhan pengguna” pada dimensi relevansi, diperoleh dari: 19 / (4 * 6) = 0,7917
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
103
Bab IV Implementasi Pengukuran Kualitas Statistik
dimana: 19 merupakan jumlah nilai yang diisi pada item 202, 203, 204, 205, 206, dan 301 4 adalah jumlah level kualitas yang digunakan 6 adalah jumlah standar pada indikator ini (sebanyak enam standar) Selanjutnya nilai setiap indikator diperoleh dari perkalian antara nilai weighting dari indikator tersebut dengan nilai standar yang telah diperoleh. Misalnya nilai indikator “mendeskripsikan dan mengklasifikasikan pengguna utama” sebesar 0,0417 diperoleh dari 0,0556 * 0,7500. Demikian pula nilai indikator “identifikasi kebutuhan pengguna” adalah 0,0556 * 0,7917 = 0,044. Cara yang sama dilakukan untuk menghitung nilai indikator-indikator lainnya. Hasilnya dapat dilihat pada Tabel 4.3. Selanjutnya untuk memperoleh nilai kualitas dari suatu dimensi, seluruh nilai indikator dalam suatu dimensi dijumlahkan, dikalikan 6 serta dikalikan 100 untuk memperoleh nilai dalam bentuk persentase. Sebagai contoh, jumlah ketiga nilai indikator pada dimensi relevansi adalah 0,1274 (0.0417 + 0.0440 + 0.0417). Maka nilai kualitas dimensi ini adalah: 0,1274 * 6 * 100 = 76,39%. Hal sama dilakukan untuk dimensi-dimensi lainnya. Untuk memperoleh nilai tingkat kualitas dari suatu output statistik, maka dihitung rata-rata dari seluruh nilai kualitas dimensi. Cara lain adalah dengan menjumlahkan hasil perkalian nilai kualitas suatu dimensi dengan weight-nya. Pada Tabel 3.4 di bawah, diperoleh nilai kualitas output statistik sebesar 77,53% atau masuk ke dalam level 4. Berdasarkan Tabel 3.1, terdapat 4 kemungkinan hasil pengukuran kualitas, yaitu: •• Statistik berkualitas, yaitu hasil pengukuran pada level 4 (76% – 100%) Apabila hasil pengukuran kualitas statistik BPS pada level ini, maka BPS dapat menyampaikan kepada para pengguna dan pihak-pihak terkait lainnya bahwa statistik yang disajikan telah berkualitas dan memenuhi standarstandar kualitas (enam dimensi kualitas), sehingga dapat digunakan oleh siapapun. •• Kualitas statistik dapat diterima, yaitu hasil pengukuran pada level 3 (51% – 75%) Apabila hasil pengukuran kualitas statistik BPS pada level ini, maka BPS dapat menyampaikan kepada para pengguna dan pihak-pihak terkait lainnya bahwa statistik yang disajikan masih dapat digunakan dengan beberapa catatan yang harus diperhatikan. Statistik tersebut mungkin telah memenuhi standar-standar kualitas yang digunakan, namun masih perlu dilakukan perbaikan-perbaikan. 104
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab IV Implementasi Pengukuran Kualitas Statistik
Tabel 4.3. Ilustrasi Pengukuran Kualitas menurut Dimensi dan Indikator Kualitas Dimensi Nama (1) Relevansi
Weighting (2) 0,1667
Indikator Nilai Kualitas (%) (3) 76,44
Akurasi
0,1667
70,02
Aktualitas & tepat waktu
0,1667
81,24
Koherensi & komparabilitas
0,1667
76,92
Aksesbilitas
Intepretabilitas
Kualitas Total
0,1667
0,1667
1
89,10
71,46
77,53
Nama (4) Mendeskripsikan dan mengelompokkan pengguna utama Identifikasi kebutuhan pengguna utama Gap antara kebutuhan pengguna utama dengan output yang dihasilkan Sampling errors Non sampling errors Timeliness Punctuality Standar klasifikasi, metodologi, konsep dan definisi yang digunakan Series data yang dapat diperbandingkan Keterbandingan dengan produk statistik lainnya Keterbandingan antar item data Kebijakan pengaksesan data, metadata, dan informasi Media akses Format data dan metadata Tersedia jadwal rilis publikasi Tersedia katalog publikasi Ketersediaan penjelasan ringkas mengenai temuan penting Ketersediaan contact point Ketersediaan metadata Format publikasi statistik disusun sesuai dengan standar
Weighting
Nilai Standar
Nilai (5) * (6)
(5) 0,0556
(6) 0,7500
(7) 0,0417
0,0556
0,7917
0,0440
0,0556
0,7500
0,0417
0,0833 0,0833 0,0833 0,0833 0,0417
0,7000 0,7016 0,8750 0,7500 0,8333
0,0583 0,0584 0,0729 0,0625 0,0347
0,0417
0,9286
0,0387
0,0417
0,5625
0,0235
0,0417 0,0333
0,7500 0,8333
0,0313 0,0278
0,0333 0,0333 0,0333 0,0333 0,0417
0,7500 0,8750 1,0000 1,0000 0,5000
0,0250 0,0291 0,0333 0,0333 0,0208
0,0417 0,0417 0,0417
1,0000 0,6071 0,7500
0,0417 0,0253 0,0313
1
•• Kualitas statistik dipertanyakan, yaitu hasil pengukuran pada level 2 (26% – 50%) Apabila hasil pengukuran kualitas statistik BPS pada level ini, maka BPS harus melakukan pertimbangan secara teliti apakah data tersebut akan tetap disajikan kepada para pengguna dan pihak-pihak terkait lainnya. Apabila kebutuhan akan statistik tersebut sangat urgen dan tidak terdapat Pedoman Kerangka Penjaminan Kualitas Statistik BPS
105
Bab IV Implementasi Pengukuran Kualitas Statistik
statistik lainnya, maka perlu dipertimbangkan dampak (kebaikan maupun keburukan) yang ditimbulkan. Statistik tersebut mungkin telah memenuhi beberapa indikator dalam standar kualitas yang digunakan, namun masih harus dilakukan perbaikan-perbaikan besar pada indikator-indikator lainnya. •• Kualitas statistik buruk, yaitu hasil pengukuran pada level 1 (0% – 25%) Apabila hasil pengukuran kualitas statistik BPS pada level ini, maka BPS tidak boleh menyajikan statistik tersebut kepada para pengguna dan pihak-pihak terkait lainnya mengingat dampak buruk yang dapat terjadi, meskipun kebutuhan akan statistik tersebut sangat urgen dan tidak terdapat statistik lainnya. Evaluasi dan perbaikan secara menyeluruh pada seluruh tahapan kegiatan dan output statistik harus dilakukan. Pengelompokkan hasil pengukuran kualitas berdasarkan ke-empat level tersebut hanya berdasarkan penyebaran persentase secara merata ke dalam empat kelompok, dan dimaknai sesuai karakteristik dari setiap level/kelompok tersebut. Terdapat satu range nilai kualitas yang perlu menjadi perhatian, yaitu level 3. Level ini memiliki nilai antara 51% hingga 75%. Ketika nilai pengukuran suatu output statistik berada pada sekitar batas bawah (misalnya 52%), maka perlu kehati-hatian untuk menyatakan bahwa output statistik tersebut telah dapat diterima. Mengingat visi dan misi BPS menghasilkan data/informasi statistik yang terpercaya (berkualitas) maka BPS perlu menetapkan nilai batas minimal kualitas yang harus dipenuhi oleh suatu output statistik pada kelompok ini, misalkan minimal 76% atau harus berada pada level 4. Hasil pengukuran kualitas juga dapat disajikan dalam bentuk jaring labalaba (spider chart) seperti pada Gambar 4.2. Penyajian ini bertujuan untuk memudahkan kita melihat dimensi-dimensi mana saja yang telah memiliki capaian kualitas yang lebih tinggi dibanding dimensi lainnya. Dengan kata lain, melalui informasi dalam spider chart ini, BPS dapat mengelompokkan dimensidimensi yang telah mencapai target capaian kualitas, dan dimensi-dimensi lainnya yang harus ditingkatkan kualitasnya. Misalnya dalam kasus ini adalah akurasi dan interpretabilitas, meskipun kedua dimensi tersebut telah memiliki nilai kualitas yang relatif tinggi. Sebagaimana dikemukakan di atas, pengukuran kualitas juga dapat dilakukan pada sisi tahapan proses kegiatan (GSBPM). Melalui cara yang sama pada pengukuran kualitas menurut dimensi dan indikator di atas, dapat dihitung nilai kualitas menurut tahapannya. Dengan menggunakan data dummy pada Lampiran 2, diperoleh hasil nilai kualitas setiap tahapan sebagaimana ditunjukkan pada Tabel 4.4. Dari tabel ini, diketahui bahwa tahapan diseminasi telah dilakukan dengan baik sehingga mencapai kualitas tertinggi 89,38%, sedangkan tahapan pengumpulan data, pengolahan, dan evaluasi masih perlu ditingkatkan kualitasnya. 106
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab IV Implementasi Pengukuran Kualitas Statistik
Gambar 4.2 Sprider Chart Capaian Kualitas menurut Dimensi Tabel 4.4 Tingkat Kualitas menurut Tahapan Proses Bisnis dan Dimensi Kualitas Tahapan Proses Bisnis
Dimensi Kualitas Relevance
Accuracy
Timeliness & Punctuality
Coherence & Comparability
Accessbility
Interpretability
Nilai Kualitas (%)
77,08
91,67
75,00
89,58
75,00
50,00
76,39
Collect
62,50
75,00
Proccess
52,96
100,00
50,00
62,50
75,00
83,33
Planning
Analyze
75,00
Disseminate
100,00
Evaluate
66,67
68,75
81,25 87,50
68,75
50,00
67,65 100,00
58,33
75,69
95,00
81,25
89,38
62,50
75,00
68,40
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
107
Bab IV Implementasi Pengukuran Kualitas Statistik
3.
Bentuk Pelaporan
Tahap akhir dari pengukuran kualitas, adalah menyusun laporan hasil pengukuran yang telah dilaksanakan. Mengingat pengukuran kualitas output dari suatu kegiatan statistik dilakukan pada setiap periode pelaksanaan, maka idealnya pelaporan dilakukan sesuai periode, sehingga dapat diketahui level kualitas antar periode. Menurut Soedjadi (1992), laporan merupakan suatu bentuk penyampaian berita, keterangan, pemberitahuan ataupun pertanggungjawaban baik secara lisan maupun tertulis dari bawahan kepada atasan sesuai hubungan kewenangan (authority) dan tanggung jawab (responsibility) yang ada di antara mereka. Bertolak dari konsep di atas, maka penyusunan laporan pengukuran kualitas harus dilakukan oleh pelaksana suatu kegiatan statistik kepada atasan atau pihak-pihak terkait. Oleh karena itu, perlu ditentukan siapa saja pihak-pihak yang berhak memperoleh laporan hasil pengukuran kualitas dari suatu output kegiatan statistik. Soedjadi (1992) juga mencantumkan beberapa persyaratan kualitas laporan, seperti: •• Jelas (clear), yaitu laporan harus disusun dengan mempergunakan bahasa, kata-kata, dan istilah-istilah yang sederhana, jelas, dan sudah lazim dipakai oleh umum, serta mudah dipahami. •• Langsung mengenai sasaran permasalahan (straight to the point). Maksudnya, uraian dalam laporan diusahakan singkat, tapi padat dan jelas, langsung menuju pada pokok permasalahan. •• Lengkap (complete), berarti bahwa laporan harus mencakup semua permasalahan penting yang dihadapi (lengkap), sehingga dapat diterima secara jelas dan tidak menimbulkan pertanyaan baru. •• Tetap (consistent), berarti bahwa laporan tidak boleh mengandung keterangan-keterangan yang saling bertentangan antara satu dengan lainnya, bahkan harus saling melengkapi. •• Menurut kenyataan dan obyektif (factual and objective). Hal-hal yang disampaikan dalam laporan harus berdasarkan kondisi riil yang terjadi dan tidak dipengaruhi oleh kepentingan-kepentingan tertentu. Fokus utama laporan mengenai kualitas statistik ini adalah untuk meningkatkan kualitas. Oleh karena itu, informasi yang riil dan obyektif menjadi pilar utama dalam pengisian level kualitas. •• Cermat dan tepat waktu (accurate and punctuality). Mengingat pentingnya laporan, maka penyusunan laporan harus sesegera mungkin dilakukan setelah suatu kegiatan statistik dilakukan. Hal ini bertujuan agar pihak-pihak
108
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Bab IV Implementasi Pengukuran Kualitas Statistik
yang berkepentingan dapat segera melakukan tindakan yang diperlukan. Keterlambatan dalam penyampaian laporan dapat menghilangkan manfaat dan arti penting dari laporan tersebut. Mengingat pengisian nilai-nilai ukuran kualitas akan dilakukan secara online, maka bentuk laporan ini juga harus berbentuk online, yang terintegrasi dengan sistem penilaian. Sistem ini merupakan bagian kegiatan dari Quality Declare (QD). Sebelum Q-D tersebut dibangun, bentuk pelaporan hasil pengukuran kualitas dapat dilakukan dalam bentuk sederhana, baik softcopy maupun hardcopy, dengan tetap memperhatikan persyaratan-persyaratan kualitas di atas. Pada tahap ini, format laporan akan disusun oleh unit penjaminan kualitas, dan diisi oleh para pelaksana kegiatan statistik serta dilaporkan kepada para pimpinan BPS terkait. Format laporan secara umum terdiri dari: Bab 1. Pendahuluan Berisi informasi sekilas mengenai kegiatan statistik yang dilakukan, antara lain mencakup tujuan, manfaat, dan informasi lain yang dinilai penting untuk memperjelas informasi mengenai kegiatan statistik tersebut. Bab 2. Metodologi Berisi konsep/definisi, agenda kerja (bila ada), tatacara pengukuran kualitas, dan bentuk output yang akan dihasilkan Bab 3. Hasil Pengukuran Kualitas Berisi uraian singkat mengenai hasil pengukuran kualitas yang telah dilakukan, dirinci menurut: 3.1. Tingkat kualitas menurut dimensi kualitas 1. Relevance (relevansi) 2. Accuracy (akurasi) 3. Timeliness & Punctuality (aktualitas & tepat waktu) 4. Accessibility (aksesibilitas) 5. Coherence & Comparability (koherensi & keterbandingan) 6. Interpretability (interpretabilitas) 3.2. Tingkat kualitas menurut tahapan bisnis proses 1. Specify needs (penentuan kebutuhan) 2. Design (perancangan)
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
109
Bab IV Implementasi Pengukuran Kualitas Statistik
3. Build (pembangunan) 4. Collect (pengumpulan data) 5. Process (pengolahan) 6. Analyze (analisis) 7. Disseminate (diseminasi) 8. Evaluate (evaluasi) Bab 4. Permasalahan Umum dan Solusi Bab ini menjelaskan permasalahan-permasalahan umum dan penting yang terjadi selama pelaksanaan kegiatan statistik, juga solusi (bila ada) yang dilakukan untuk menyelesaikan permasalahan tersebut. Bab 5. Kesimpulan Merupakan rangkuman dari uraian-uraian yang telah disajikan pada babbab sebelumnya. Rangkuman hanya mencakup point-point penting, seperti tingkat kualitas dari output statistik, dimensi dan tahapan kegiatan yang telah mencapai level berkualitas, dan yang masih perlu ditingkatkan kualitasnya. Salah satu hal penting dalam penyusunan pelaporan adalah kejujuran dari pihak pelapor. Terdapat indikasi kekhawatiran bahwa pengisian laporan secara mandiri dapat menimbulkan bias pada hasil yang disampaikan. Belajar dari pelaksanaan Self Assessment selama dua tahun ini pada kegiatan Susenas dan Survei Perusahaan Manufacturing (pada tahun 2013) dan kegiatan survei Hotel dan survei Harga Konsumen (pada tahun 2014), tampaknya kejujuran dari SM dapat dijamin dan bukan menjadi permasalahan besar bagi BPS. Namun demikian, untuk mencegah ketidakjujuran yang mungkin dapat terjadi dalam pengisian laporan, beberapa alternatif dapat dilakukan, seperti optimalisasi peranan manajemen kualitas pada setiap kegiatan statistik yang dinilai, melalui kegiatan monitoring pengisian laporan yang dilakukan secara random, serta melakukan pendekatan secara intensif dan berkesinambungan kepada para SM. Hasil pengukuran kualitas statistik sebaiknya senantiasa dievaluasi demi peningkatan kualitasnya. Evaluasi kegiatan dilakukan oleh suatu komite khusus penjaminan kualitas yang dapat dibentuk pada level Eselon I. Keberadaan komite ini sangat penting dan strategis untuk menjamin bahwa pembangunan kualitas statistik di BPS dapat berjalan dengan baik.
110
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
BAB
5 Penutup
Bab V Penutup
1.
Kesimpulan
Buku Pedoman Kerangka Penjaminan Kualitas Statistik BPS ini disusun dalam rangka mengukur dan menjamin kualitas output statistik yang dihasilkan BPS sesuai visi BPS sebagai pelopor data statistik terpercaya untuk semua pihak. Kualitas statistik tidak hanya disampaikan dalam bentuk slogan, namun diwujudkan dalam bentuk nyata berupa pengukuran kualitas. Buku ini mencakup beberapa poin penting terkait penjaminan kualitas, yaitu penetapan enam dimensi penjaminan kualitas dalam BPS-QAF (relevance, accuracy, timeliness & punctuality, accessibility, coherence & comparability, dan interpretability) berikut indikator kualitas dalam setiap dimensinya. Setiap indikator terdiri dari beberapa standar kualitas, terutama merujuk pada NSO Afrika Selatan. Level kualitas yang disajikan dalam empat level (statistik berkualitas, dapat diterima, dipertanyakan, dan buruk) yang lebih bersifat kuantitatif, sangat berguna bagi BPS untuk mengetahui seberapa tinggi capaian kualitas output statistiknya. Keberadaan level tersebut juga bermanfaat bagi perencanaan dan pembangunan kualitas di BPS, karena dapat menunjukkan progress kualitas antar periode pengukuran. Untuk mempermudah para SM dalam memahami dan mempelajari buku ini, juga disajikan contoh pengukuran kualitas dengan menggunakan angka dummy. Pemberian contoh berikut tatacara pengukuran yang lebih detil sesuai karakteristik suatu kegiatan statistik, akan disajikan secara khusus dalam buku panduan tekhnis. Mengingat pengukuran dan penjaminan kualitas dilakukan pada setiap tahapan kegiatan statistik, maka buku ini juga menyajikan matriks hubungan antara GSBPM dengan dimensi kualitas yang berguna untuk menunjukkan dimensidimensi yang terlibat dalam pengukuran kualitas pada suatu tahapan GSBPM. Sehingga dapat ditentukan indikator-indikator dan standar kualitas yang relevan untuk digunakan dalam pengukuran kualitas.
2.
Pengembangan Handbook
Perkembangan statistik yang sedemikian cepat dalam bidang metodologi, teknik pengumpulan data, sistem pengolahan data, teknik dan instrumen analisis, ragam sarana diseminasi, dan bidang-bidang lainnya, menuntut penyesuaian dan penyempurnaan dari pedoman penjaminan kualitas ini. Dengan demikian, tidak menutup kemungkinan bahwa akan dilakukan perbaikan, revisi, dan atau pengembangan di masa mendatang. Hal ini mungkin akan dilakukan secara berulang agar kualifikasi penjaminan kualitas yang digunakan BPS dapat mengikuti perkembangan statistik dan senantiasa memenuhi kebutuhan para pengguna. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
113
Bab V Penutup
Pengembangan buku ini dimungkinkan juga dilakukan dengan memasukkan instrumen-instrumen penjaminan kualitas dalam Quality Gates dan Quality Declaration, panduan implementasi, dan contoh-contoh kasusnya. Karena kedua instrumen ini baru dibangun setelah tahun 2015, maka penambahan informasi pada buku ini dilakukan sejalan dengan perkembangan pembangunan yang terjadi.
114
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Glossary
Glossary
GLOSSARY Aksesibilitas
kemudahan bagi pengguna untuk memperoleh data/informasi statistik
Akurasi
kedekatan nilai estimasi dengan nilai yang sebenarnya (true value)
Beban responden
hambatan (dalam hal waktu, biaya, dsb) yang dihadapi responden ketika memberikan jawaban yang memuaskan pada suatu survei/sensus
Coding
proses konversi informasi verbal atau tekstual ke kode yang mewakili kelas dalam klasifikasi guna memudahkan pengolahan data, penyimpanan atau diseminasi
Data
informasi yang berupa angka mengenai karakteristik (ciri-ciri khusus) dari suatu populasi.
Data statistik
karakteristik atau informasi yang telah dikumpulkan untuk keperluan statistik, atau diolah dari sumber non-statistik untuk berkontribusi pada produksi statistik resmi (official statistics)
Dimensi Kualitas
konsep yang digunakan untuk menggambarkan sebagian atau sisi dari keseluruhan konsep kualitas ketika diterapkan pada suatu output statistik
Diseminasi
proses distribusi atau transmisi data statistik dan metadata untuk pengguna
Dokumentasi
teks deskriptif yang digunakan untuk mendefinisikan atau menggambarkan suatu objek, desain, spesifikasi, instruksi atau prosedur
Editing data
kegiatan yang bertujuan untuk mendeteksi dan mengoreksi errors, inkonsistensi logis (logical in-consistencies), dan data yang tidak wajar
Frame
sebuah daftar, peta atau spesifikasi lain dari unit yang menentukan populasi sepenuhnya dihitung atau sampel
Frame error
error yang disebabkan oleh ketidaksempurnaan frame (daftar bisnis, daftar populasi, sampel daerah, dll) dimana unit diseleksi untuk dimasukkan dalam survei atau sensus
Generic Statistical Business Process Model (GSBPM)
suatu matriks yang menjelaskan proses tahapan kegiatan yang harus dilakukan suatu NSO ketika menyelenggarakan suatu kegiatan statistik (survei atau sensus) untuk menghasilkan statistik resmi (official statistics)
Handbook of BPS Stat-QAF
buku pedoman umum mengenai pelaksanaan pengukuran kualitas dari sisi output terhadap data/informasi statistik yang dihasilkan BPS, dalam rangka penjaminan kualitas statistik BPS
Imputasi
prosedur untuk memasukkan nilai pada item data tertentu yang diakibatkan ketidaktersediaan data, baik karena non-response atau data tersebut tidak dapat digunakan
Indikator kualitas
ukuran kuantitatif atau kualitatif yang memberikan indikasi kualitas dari suatu proses atau output
Kegiatan statistik
rangkaian tindakan yang mencakup upaya penyediaan dan penyebarluasan data, pengembangan ilmu statistik, dan upaya yang mengarah pada berkembangnya Sistem Statistik Nasional
Kepuasan pengguna
suatu ukuran untuk menentukan seberapa besar suatu produk memenuhi harapan/kebutuhan penggunanya
Kerangka Penjaminan kualitas
suatu kerangka kerja untuk menjamin kualitas data statistik yang dituangkan dalam bentuk mekanisme kerja secara sistematis
Koefisien variasi (CV)
perbandingan antara simpangan standar dengan nilai rata-rata (dinyatakan dengan persentase). CV berguna untuk melihat sebaran data dari rata-rata hitungnya.
Koherensi
data/informasi statistik yang berasal dari beragam sumber dan metode berbeda, namun menggambarkan fenomena yang selaras
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
117
Glossary
118
Komparabilitas
data statistik yang diagregasi berdasarkan konsep, klasifikasi, alat ukur, proses pengukuran, dan data dasar yang sama dapat dibandingkan dengan data statistik lain yang berbeda waktu dan wilayah
Kompilasi produk administrasi
cara pengumpulan, pengolahan, penyajian, dan analisis data yang didasarkan pada catatan administrasi yang ada pada pemerintah dan atau masyarakat
Kualitas
tingkatan mutu dari data/informasi statistik yang memenuhi standar kualitas yang dibutuhkan, sesuai kebutuhan pengguna
Manajemen kualitas statistik
suatu sistem dan kerangka kerja yang disusun oleh suatu lembaga statistik untuk mengelola kualitas dari proses dan output statistik
Metadata
data yang mendefinisikan dan menjelaskan data lainnya
Mikrodata
observasi non-agregat, atau pengukuran karakteristik masing-masing unit
Non-response
kegagalan untuk mendapatkan pengukuran pada satu atau lebih variabel penelitian untuk satu atau lebih unit yang dipilih dalam suatu survei.
Non-response error
error yang terjadi ketika suatu survei gagal memperoleh jawaban dari beberapa pertanyaan atau mungkin seluruh pertanyaan
Non-response rate
proporsi dari non-response terhadap jumlah sampel
Non-sampling errors
errors yang terjadi dalam proses produksi data/informasi statistik yang diakibatkan oleh faktorfaktor di luar pengambilan sampel
Output statistik
hasil dari suatu proses produksi statistik
Paradata
data mengenai bagaimana proses statistik dikompilasi. Paradata adalah jenis metadata, sering disebut “metadata proses”. Paradata memberikan informasi tentang bagaimana data dikumpulkan dan diolah, misalnya mode pengumpulan, aturan mengedit, cek validasi dan teknik pengendalian keterbukaan diterapkan pada data. Paradata dapat mengacu pada mikrodata atau data agregat, dan dapat digunakan untuk mengelola kualitas proses
Pengguna (user)
para penerima data/informasi statistik yang selanjutnya memanfaatkan atau merubah data/ informasi tersebut menjadi pengetahuan yang diperlukan untuk pengambilan keputusan atau penelitian
Penjaminan kualitas
jaminan suatu organisasi bahwa produk atau jasa yang dihasilkan telah memenuhi standar kualitas
Periode referensi
periode waktu atau titik waktu yang dirujuk oleh observasi yang akan diukur
Petugas statistik
orang yang diberi tugas oleh penyelenggara kegiatan statistik untuk melaksanakan pengumpulan data, baik melalui wawancara, pengukuran, maupun cara lain terhadap objek kegiatan statistik
Processing errors
Kesalahan-kesalahan yang terjadi selama proses pengolahan data, mencakup kegiatan editing/ coding dan entry data hasil pencacahan
Punctuality
suatu data/informasi didiseminasi (dirilis) sesuai jadwal (Advanced Release Calender, ARC), dimana jadwal tersebut telah diinformasikan lebih dulu kepada para pengguna
Relevansi
sejauhmana suatu output statistik dapat memenuhi kebutuhan pengguna baik dari aspek cakupan maupun konten (isi)
Responden
instansi pemerintah, lembaga, organisasi, orang, dan atau unsur masyarakat lainnya yang ditentukan sebagai objek suatu kegiatan statistik
Revisi data
setiap perubahan atas nilai data statistik yang dirilis kepada publik
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Glossary
Sampel
sebagian unit populasi yang menjadi objek survei/penelitian untuk mengestimasi karakteristik suatu populasi
Sampling errors
kesalahan-kesalahan yang terjadi pada tahapan pengambilan sampel
Sensus
pengumpulan data/informasi terhadap seluruh unit populasi dalam suatu wilayah untuk memperoleh karakteristik suatu populasi pada saat tertentu
Sistem Statistik Nasional
suatu tatanan yang terdiri atas unsur-unsur yang secara teratur saling berkaitan, sehingga membentuk totalitas dalam penyelenggaraan statistik secara nasional
Sistem Manajemen Kualitas
suatu sistem yang mencakup semua unsur yang terlibat dalam proses produksi statistik yang saling bertalian dalam menghasilkan statistik yang berkualitas
Stakeholders
orang atau organisasi yang berkepentingan dengan output dan berbagai aspek lain dari lembaga
Statistik
data yang diperoleh dengan cara pengumpulan, pengolahan, analisis, dan penyajian serta sebagai sistem yang mengatur keterkaitan antar unsur dalam penyelenggaraan statistik.
Statistik dasar
statistik yang pemanfaatannya ditujukan untuk keperluan yang bersifat luas, baik bagi pemerintah maupun masyarakat, yang memiliki ciri-ciri lintas sektoral, berskala nasional, makro, dan yang penyelenggaraannya menjadi tanggung jawab Badan
Statistik khusus
statistik yang pemanfaatannya ditujukan untuk memenuhi kebutuhan spesifik dunia usaha, pendidikan, sosial budaya, dan kepentingan lain dalam kehidupan masyarakat, yang penyelenggaraannya dilakukan oleh lembaga, organisasi, perorangan, dan atau unsur masyarakat lainnya
Statistik sektoral
statistik yang pemanfaatannya ditujukan untuk memenuhi kebutuhan instansi tertentu dalam rangka penyelenggaraan tugas-tugas pemerintahan dan pembangunan yang merupakan tugas pokok instansi yang bersangkutan
Survei
cara pengumpulan data yang dilakukan melalui pendataan terhadap sebagian unit dari suatu populasi untuk mengestimasi karakteristik populasi tersebut
Timeliness
perbedaan antara waktu suatu data/informasi statistik dihasilkan dengan waktu data/informasi tersebut didiseminasikan. Semakin pendek perbedaan tersebut, maka dianggap semakin aktual
Unit statistik
suatu entity dimana data/informasi statistik dikumpulkan dan dikompilasi
User needs
data/informasi yang dibutuhkan oleh sesorang atau lembaga untuk memenuhi keperluan tertentu atau sejumlah tujuan
Validasi data
proses monitoring (pemeriksaan dan perbaikan) atas suatu data dan memastikan bahwa kualitas data tersebut telah memenuhi persyaratan yang ditetapkan
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
119
Daftar Pustaka
Bab V Daftar Pustaka Penutup
DAFTAR PUSTAKA Arumwaty, Wiwiek. 2011. Knowing and Understanding BPS “Statistical Quality Assurance Framework” (BPS Stat – QAF). Jakarta: Badan Pusat Statistik. Brackstone, G. 1999. “Managing Data Quality in a Statistical Agency.” Survey Methodology, 25(2): 139-149. http:// unstats.un.org/unsd/dnss/print.aspx? docID=194 (diakses 21 Agustus 2014). Colledge, M. 2010. Draft BPS Quality Assurance Framework,Version 2,Rev August 4, 2010. Jakarta: Badan Pusat Statistik. De Vries, W. 22 Agust 2002. Dimensions of Statistical Quality: A discussion note about the quality initiatives of some international organisations. New York: UNSD. http://unstats.un.org/unsd/ accsub/2002docs/sa-026add1.pdf (diakses 22 Agustus 2014). Djauhari, M. A. 2009. Initial Scoping of Quality Assurance Framework Design for Statistics Indonesia, Final Report. Laporan penelitian, tidak diterbitkan. Jakarta: Badan Pusat Statistik. English L. P. 2009. Information Quality Applied: Best Practices for Improving Business Information, Process and Systems. USA: John Wiley & Sons. Eurostat. 2009. ESS Handbook for Quality Report, 2009 edition. Luxembourg: Eurostat. Helfert, M. dan O. Foley. 2009. “A Context Aware Information Quality Framework.” Fourth International Conference on Cooperation and Promotion of Information Resources in Science and Technology, 4: 187-193. Http://Www.Statcan.Gc.Ca/Concepts/Gsbpm-Msgpo-Eng.Htm Http://Www1.Unece.Org/Stat/Platform/Display/Gsbpm Lee, Y. W., dkk. 2002. “AIMQ: A Methodology for Information Quality Assessment.” Journal Information and Management, 40(1): 133-146. Office for National Statistics of UK. 2013. Guidelines for Measuring Statistical Output Quality, Version 4.1. London: Office for National Statistics of UK. Saleh, K. 2009. Kusmadi Report, Laporan penelitian, tidak diterbitkan. Jakarta: Badan Pusat Statistik. Soedjadi, FX. 1992. Oganization and Methods, Penunjang Berhasilnya Proses Manajemen. Cetakan kelima:CV Haji Mas Agung Jakarta. Statistics Canada. 2009. Statistics Canada Quality Guidelines, Fifth Edition. Ottawa: Statistics Canada. Statistics Korea. n.d. Statistics Quality Management Handbook. Seoul: Statistics Korea. Statistics South Africa. 2010. South African Statistical Quality Assessment Framework (SASQAF), Second Edition. Pretoria: Statistics South Africa. Statistics Canada. Oktober 2009. Statistics Canada Quality Guidelines Fifth Edition. Stvilia, B., dkk. 2007. “A Framework for Information Quality Assessment.” Journal of the American Society for Information Science and Technology, 58(12): 1720–1733. UNSD. 2012. National quality assurance frameworks:Guidelines for the Template for a Generic National Quality Assurance Framework (NQAF). http://unstats.un.org/unsd/statcom/ doc12/BG-NQAF.pdf (diakses 20 Agustus 2014). Vale, S. 2008. Accessibility and clarity: The most neglected dimensions of quality? Rome: UNSD. http://unstats. un.org/unsd/accsub/2008docs-CDQIO/Ses3-Pap3.pdf (diakses 20 Agustus 2014). Van Nederpelt, P. W. M. 2009. Checklist Quality of Statistical Output. Den Haag: Statistics Netherlands. Xiuxia, Y. dan S. Zhongwen. 2007. “A Study on Information Quality Maturity Model in Enterprise.” International Conference, Service Operations and Logistics, and Informatics (SOLI).
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
123
Lampiran
Lampiran
Lampiran 1 PENJELASAN INDIKATOR DAN STANDAR KUALITAS A. Dimensi Relevansi (Relevance) Dimensi relevansi mencakup tiga indikator kualitas, yaitu (1) mendeskripsikan dan mengklasifikasikan pengguna utama, (2) identifikasi kebutuhan pengguna, (3) perbedaan antara output yang dihasilkan dengan kebutuhan pengguna. 1.
Indikator kualitas ke-1: mendeskripsikan dan mengklasifikasi pengguna utama
Indikator ini hanya mencakup satu standar yang digunakan dalam pengukuran kualitas, yaitu: Standar 1:
Terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama, yang up to date dan lengkap.
(Pertanyaan 201 dalam Kuesioner Pengukuran Kualitas) Sebelum suatu kegiatan statistik di BPS diselenggarakan, harus diketahui terlebih dahulu siapa saja yang menjadi pengguna utama dari output statistik yang akan dihasilkan dari kegiatan statistik tersebut. Oleh karena itu, harus dilakukan identifikasi siapa saja pengguna utamanya. Seluruh informasi identifikasi tersebut harus dicatat secara lengkap dalam bentuk dokumentasi atau database. Lengkap berarti bahwa informasi yang dicatat minimal harus mencakup: nama, alamat lengkap, nomor telepon, dan contact person. Adapun database dapat berupa sebuah sistem software yang merekam semua informasi identitas pengguna utama secara komprehensif (database yang ideal) atau dapat berupa softcopy dokumen yang sederhana (misal, dokumen Ms. Word atau Ms. Excel) asalkan mampu mencakup seluruh informasi yang diperlukan. Dalam perkembangannya, dimungkinkan terjadi perubahan ragam dan identitas pengguna utama pada iterasi pelaksanaan suatu kegiatan statistik. Oleh karena itu, informasi pengguna utama dalam database harus selalu diperbaharui (up to date). Pembaharuan ini dilakukan pada awal atau sebelum kegiatan statistik dilaksanakan. Adapun untuk kegiatan statistik yang dilakukan beberapa kali dalam satu tahun (seperti bulanan, triwulanan, atau semesteran), maka up date cukup dilakukan sekali dalam setahun sebelum kegiatan dilakukan. Contoh, pada kegiatan Susenas 2015, up date dilakukan pada pertengahan atau akhir 2014. Hal ini karena diasumsikan tidak terdapat perubahan pada informasi pengguna utama23. 23 Namun, bila betul-betul terjadi perubahan informasi pengguna utama, dapat dilakukan pembaharuan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
127
Lampiran
Idealnya, pemeliharaan database dilakukan oleh suatu unit kerja khusus yang bertanggung jawab atas kelengkapan dan pemutakhiran database tersebut secara terpusat. Namun, jika unit tersebut belum tersedia, maka hal tersebut dapat dilaksanakan oleh setiap SM pelaksana kegiatan statistik. Berdasarkan informasi-informasi yang terdapat dalam database, selanjutnya dapat disusun kelompok atau klasifikasi dari pengguna untuk menentukan pengguna mana saja yang menjadi prioritas (selanjutnya disebut sebagai pengguna utama) dan mana saja yang bukan pengguna utama (pengguna umum). Hal ini penting karena BPS tidak mampu menampung dan merealisasi semua kebutuhan seluruh pengguna. Penentuan pengguna utama dan pengguna umum menjadi tanggung jawab dari SM pelaksana kegiatan statistik. Pengklasifikasian juga dapat mencantumkan asal dari pengguna, misalnya pengguna eksternal (contoh, United Nations, instansi pemerintahan, swasta, universitas, dan sebagainya) dan pengguna internal (contoh, Direktorat Neraca Produksi, Direktorat Neraca Pengeluaran, Direktorat Analisis dan Pengembangan Statistik, dan lain-lain). Melalui pengklasifikasian tersebut, dapat diketahui mana saja pihak-pihak yang menjadi pengguna utama dari eksternal maupun internal BPS, sekaligus pengguna umum dari eksternal maupun internal BPS. Pengukuran tingkat kualitas pada standar ini berdasarkan kondisi riil yang terjadi pada unit khusus atau SM tersebut. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama. Dokumen/database tersebut telah up to date dan lengkap sebelum suatu kegiatan statistik dilakukan. Termasuk dalam level ini, jika tidak terdapat perubahan informasi dari pengguna, dan informasi ini diperoleh melalui proses pemutakhiran terlebih dahulu. •• Level 3 (statistik dapat diterima), jika terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama. Dokumen/database tersebut telah diperbaharui sebelum kegiatan statistik dilakukan, namun belum mencakup informasi minimal yang dipersyaratkan (nama, alamat lengkap, nomor telepon, dan contact person). •• Level 2 (statistik dipertanyakan), jika terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama, tetapi tidak atau belum diperbaharui hingga kegiatan statistik dilaksanakan. Termasuk pada level ini, baik database-nya telah lengkap atau tidak/belum lengkap). Artinya, meskipun database telah lengkap, namun bila tidak terdapat upaya pemutakhiran informasi pengguna, maka tingkat kualitas dimasukkan pada level ini. •• Level 1 (statistik buruk), jika tidak terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama. Termasuk bila dokumen/
128
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
database tersebut pernah dibuat, tetapi telah hilang atau tidak diketahui keberadaannya. Pencantuman bukti dokumen secara fisik sangat penting dalam menentukan tingkat kualitas sebagai bukti bahwa suatu persyaratan memang benar-benar telah dilaksanakan. Untuk pengukuran-pengukuran indikator selanjutnya, persyaratan dokumentasi secara fisik tetap menjadi persyaratan. 2.
Indikator kualitas ke-2 : Identifikasi kebutuhan pengguna utama
Indikator ini terdiri dari enam standar yang digunakan dalam pengukuran kualitas, yaitu: Standar 2.1: Terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama, dimana hasilnya didokumentasi dan dilaporkan. (Pertanyaan 202 dalam Kuesioner Pengukuran Kualitas) Setelah diperoleh informasi mengenai pihak-pihak yang diidentifikasi sebagai pengguna utama dari kegiatan statistik yang akan dilakukan, langkah selanjutnya adalah mengidentifikasi kebutuhan data/informasi statistik yang mereka butuhkan. Proses identifikasi tersebut harus dilakukan secara resmi, maksudnya memiliki dasar hukum (misal, berdasarkan MOU), atau dilakukan dalam pertemuan secara resmi (terdapat surat undangan dan jadwal pertemuan). Hasil identifikasi kebutuhan tersebut kemudian dimasukkan ke database pengguna utama24. Penekanan proses yang harus dilakukan secara resmi pada indikator ini (juga pada indikator-indikator selanjutnya) dikarenakan kegiatan statistik tersebut diselenggarakan secara kelembagaan oleh BPS yang ditujukan untuk memenuhi permintaan pihak lain (pengguna utama) yang juga berbentuk lembaga/organisasi. Selain itu, output statistik yang dihasilkan BPS juga harus dipertanggungjawabkan secara resmi secara kelembagaan. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika terdapat proses yang telah dilakukan secara resmi untuk mengidentifikasi data/informasi statistik yang dibutuhkan oleh para pengguna utama. Hasil dari proses tersebut harus didokumentasi dan dilaporkan kepada pimpinan atau pejabat-pejabat terkait. •• Level 3 (statistik dapat diterima), jika proses identifikasi kebutuhan pengguna utama telah dilakukan secara resmi. Hasil dari proses tersebut telah didokumentasi, tetapi dokumen tersebut belum/tidak dilaporkan kepada pimpinan atau pejabat-pejabat terkait. •• Level 2 (statistik dipertanyakan), jika proses identifikasi kebutuhan pengguna utama dilakukan secara resmi, namun hasilnya belum/tidak didokumentasi. 24 Database yang dimaksud di sini adalah database sebagaimana dikemukakan pada indikator ke-1.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
129
Lampiran
Termasuk pada level ini, jika proses identifikasi telah dilaporkan namun bukan dalam bentuk dokumen (hanya secara lisan). • Level 1 (statistik buruk), jika tidak terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama. Termasuk jika terdapat proses identifikasi kebutuhan pengguna utama yang dilakukan tidak secara resmi, misalnya hanya secara individual/tim yang tidak didukung oleh surat undangan secara resmi. Standar 2.2: Tersedia informasi kebutuhan didokumentasi dan up to date.
pengguna
utama
yang
(Pertanyaan 203 dalam Kuesioner Pengukuran Kualitas) Dokumentasi mengenai informasi kebutuhan pengguna utama yang telah diperoleh dari standar sebelumnya harus selalu diperbaharui (up to date) sebelum suatu kegiatan statistik diselenggarakan. Hal ini agar output statistik yang dihasilkan in line dengan kebutuhan pengguna utama. Meskipun suatu kegiatan statistik dilaksanakan secara periodik, dimungkinkan terjadi perubahan kebutuhan walaupun pengguna utamanya masih sama. Untuk kegiatan statistik yang dilakukan secara periodik kurang dari setahun sekali (bulanan, kuartalan, atau semesteran), pemutakhiran informasi ini cukup dilakukan setahun sekali, kecuali benar-benar terjadi perubahan kebutuhan. Kriteria kualitas yang harus dipenuhi ini adalah: •• Level 4 (statistik berkualitas), jika tersedia dokumen mengenai data/ informasi statistik yang dibutuhkan pengguna utama, dimana dokumen tersebut telah di-update pada kondisi terakhir sebelum kegiatan statistik dilaksanakan. •• Level 3 (statistik dapat diterima), jika dokumen mengenai data/informasi statistik yang dibutuhkan pengguna utama belum/tidak di-update pada kondisi terakhir sebelum kegiatan statistik dilaksanakan. •• Level 2 (statistik dipertanyakan), jika informasi mengenai kebutuhan pengguna utama telah tersedia, namun informasi tersebut belum dicatat dalam bentuk dokumen. Pada level ini, tidak diperhatikan apakah informasi telah di-update atau belum sesuai kondisi terkini. •• Level 1 (statistik buruk), jika informasi mengenai data/informasi statistik yang dibutuhkan pengguna utama belum/tidak tersedia. Standar 2.3: Hasil evaluasi dari kegiatan statistik sebelumnya digunakan sebagai bahan acuan untuk perbaikan, dan informasi tersebut didokumentasi. (Pertanyaan 204 dalam Kuesioner Pengukuran Kualitas) Umumnya, kegiatan statistik BPS diselenggarakan secara berulang (iteratif),
130
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
misalnya Susenas (semesteran), Podes (3 tahun sekali), atau Sensus (10 tahun sekali). Dengan adanya perulangan tersebut, maka evaluasi dari pelaksanaan kegiatan sebelumnya sangat penting sebagai bahan perencanaan maupun acuan untuk melakukan perbaikan pada kegiatan (yang sama, bahkan dapat berbeda) pada periode berikutnya. Evaluasi tersebut semakin bermanfaat seandainya dapat disimpan dalam bentuk dokumentasi, sehingga siapapun dapat mempelajari kelebihan maupun kekurangan pelaksanaan kegiatan tersebut, tanpa harus berkomunikasi langsung dengan para pelaksananya. Hasil evaluasi juga sangat penting untuk mewujudkan statistik yang berkualitas. Kesalahan-kesalahan yang telah terjadi dapat diminimalisir atau bahkan dieliminir pada kegiatan selanjutnya. Kondisi-kondisi yang sudah baik, yang mendukung kualitas dari hasil kegiatan, dapat tetap dipertahankan. Hasil evaluasi juga dapat bermanfaat sebagai pembelajaran bagi BPS ketika akan melakukan suatu kegiatan statistik yang baru. Sayangnya, diindikasi bahwa evaluasi terhadap kegiatan statistik masih belum mendapat perhatian khusus. Permasalahan yang terjadi dianggap tuntas seiring berakhirnya kegiatan tersebut. Ketika suatu kegiatan kembali dilaksanakan, permasalahanpermasalahan yang sama/mirip seringkali masih terjadi kembali. Untuk kegiatan statistik yang baru pertama kali diselenggarakan sehingga tidak memiliki hasil evaluasi dari kegiatan sebelumnya, maka standar ini dapat diabaikan (skip) dalam pengukuran kualitas. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika hasil evaluasi dari kegiatan statistik sebelumnya telah digunakan sebagai bahan acuan untuk perbaikan pada kegiatan statistik yang sedang/akan dilaksanakan. Informasi terkait pemanfaatan evaluasi tersebut dicatat dalam bentuk dokumen yang menjelaskan bagian atau poin mana saja dari evaluasi yang digunakan sebagai acuan perbaikan, mengapa poin tersebut digunakan, tindakan apa saja yang dilakukan, pada tahapan mana saja hal tersebut diimplementasikan, bagaimana dampak positif yang diperoleh dari implementasi tersebut, dan sebagainya. Sebagai contoh, dari evaluasi kegiatan statistik sebelumnya diketahui bahwa pencacah sering tidak membawa peta Blok Sensus (BS) ketika melakukan pendaftaran rumah tangga, atau pemutakhiran rumah tangga (RT). Akibatnya, ketika dilakukan pengecekan cakupan (coverage) RT pada BS tersebut, ditemukan beberapa RT yang belum dicakup (under coverage). Berdasarkan hasil evaluasi tersebut, masalah penggunaan peta BS menjadi salah satu bagian yang digunakan sebagai acuan perbaikan. Hal ini penting agar tidak terjadi lagi under coverage error yang berdampak pada rendahnya kualitas output statistik yang dihasilkan. Untuk itu
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
131
Lampiran
dilakukan beberapa tindakan seperti penekanan penggunaan peta BS yang dicantumkan pada buku pedoman, surat peringatan kepada para petugas, pengarahan, dsb (pada tahapan sebelum pelaksanaan); pendampingan oleh pengawas pada awal-awal pelaksanaan pendaftaran/pemutakhiran RT, pengawasan yang lebih ketat terhadap penggunaan peta selama pelaksanaan pendaftaran/pemutakhiran RT oleh pengawas/KSK, dsb (pada tahapan selama pelaksanaan); pemeriksaan yang lebih teliti terhadap konsistensi jumlah isian Bangunan Fisik (BF) pada peta dengan dokumen pendaftaran/pemutakhiran, pengawas melakukan klarifikasi kepada pihakpihak tertentu yang dianggap mengetahui adanya coverage error pada suatu BS, dsb (pada tahapan setelah pelaksanaan).
Penjelasan di atas hanya merupakan contoh informasi yang disajikan dalam dokumen yang dipersyaratkan. Tentunya informasi-informasi lainnya dapat ditambahkan untuk melengkapi penjelasan dari penggunaan hasil evaluasi dari kegiatan sebelumnya. •• Level 3 (statistik dapat diterima), jika hasil evaluasi dari kegiatan statistik sebelumnya telah digunakan sebagai bahan acuan untuk perbaikan. Namun, informasi-informasi terkait hal ini tidak dicatat dalam suatu dokumen. •• Level 2 (statistik dipertanyakan), jika hasil evaluasi dari kegiatan statistik sebelumnya sebenarnya telah tersedia, namun tidak digunakan sebagai bahan acuan untuk perbaikan kegiatan statistik berikutnya. Pada level ini, tidak dibedakan apakah informasi mengenai ‘ketidak-digunakannya’ hasil evaluasi tersebut telah dicatat dalam suatu dokumen maupun tidak dicatat. •• Level 1 (statistik buruk), jika tidak tersedia hasil evaluasi dari kegiatan statistik sebelumnya. Standar 2.4: Tersedia analisis kebutuhan pengguna utama dan manfaat dari data/informasi statistik yang dihasilkan, serta hasil analisis tersebut didokumentasikan dan dilaporkan. (Pertanyaan 205 dalam Kuesioner Pengukuran Kualitas) Setelah diperoleh hasil identifikasi dan pemutakhiran kebutuhan pengguna utama, selanjutnya perlu dilakukan analisis terhadap kebutuhan tersebut serta pemanfaatan dari data/informasi statistik yang akan dihasilkan. Analisis ini dapat berupa analisis sederhana yang dapat mencakup antara lain: 1)
Apakah data/informasi statistik tersebut telah dihasilkan oleh pihak lain?
“Telah dihasilkan” disini mencakup kesamaan/kemiripan karakteristik dari data/informasi yang dibutuhkan dengan yang telah dihasilkan oleh pihak lain, seperti konsep/definisi, metodologi, cakupan, level data (nasional, daerah), dan sebagainya. Bila terdapat kemiripan, maka disarankan untuk menggunakan
132
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
data/informasi yang telah tersedia, dengan pertimbangan mengindari pemborosan (redundancy). Sebaliknya, jika sama sekali berbeda atau terdapat beberapa karakteristik lainnya yang dibutuhkan pengguna utama, maka perlu dianalisis lebih lanjut. 2)
Menganalisis ragam kebutuhan pengguna utama dan manfaat dari data/ informasi statistik yang akan dihasilkan.
Pada tahap ini dianalisis ragam karakteristik dari data/informasi statistik yang dibutuhkan oleh pengguna utama. Karakteristik ini mencakup antara lain: konsep/ definisi, metodologi sampling, wilayah cakupan, periode referensi, desain kuesioner, durasi kegiatan, teknik pengolahan, metode analisis (jika diperlukan), format diseminasi, dan sebagainya. Juga disampaikan mengenai besaran anggaran yang dapat disediakan (bila oleh pengguna utama) atau sumber anggaran lainnya (bila menggunakan sumber lain). Informasi-informasi ini selanjutnya akan digunakan sebagai bahan kajian apakah BPS mampu melaksanakan kegiatan statistik untuk menghasilkan data/informasi tersebut. Selain itu, juga perlu dilakukan analisis mengenai manfaat dari data/ informasi statistik yang akan dikumpulkan. BPS harus mengetahui rencana penggunaan dari data/informasi tersebut dikumpulkan dan sejauhmana tingkat pemanfaatannya. Tujuannya agar “biaya (cost)” dari kegiatan statistik yang akan dilaksanakan sesuai dengan manfaat dari data/informasi tersebut. Harus dihindari pemenuhan data/informasi statistik yang kurang jelas pemanfaatannya oleh para pengguna. 3)
Apakah data/informasi tersebut mampu dihasilkan oleh BPS?
Analisis pada bagian ini bertujuan untuk mengetahui apakah BPS akan mampu melakukan proses produksi untuk menghasilkan data/informasi tersebut? Kemampuan ini mempertimbangkan beragam aspek, antara lain ragam karakteristik dari data/informasi statistik yang dibutuhkan pengguna utama sebagaimana dikemukakan di atas, beban kerja BPS, kemampuan aparat BPS, kecukupan anggaran, ketersediaan tekhnologi yang dimiliki BPS, format/ media diseminasi, dan sebagainya. Apabila BPS mengalami kesulitan untuk melaksanakannya, maka pada tahapan ini, BPS dapat memutuskan untuk menghentikan rencana pelaksanaan kegiatan statistik untuk menghasilkan data/informasi tersebut. Sebaliknya bila BPS mampu, maka langkah berikutnya dalam GSBPM dapat dilakukan. Kegiatan analisis kebutuhan pengguna utama sebagaimana dikemukakan di atas, harus didokumentasi sebagai bukti fisik bahwa kegiatan tersebut benarbenar telah dilakukan, sekaligus sebagai dasar dari pelaksanaan kegiatan statistik tersebut. Kriteria kualitas yang harus dipenuhi adalah:
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
133
Lampiran
•• Level 4 (statistik berkualitas), jika tersedia analisis mengenai kebutuhan pengguna utama dan manfaat/penggunaan dari data/informasi statistik yang akan dihasilkan. Hasil analisis tersebut harus dicatat dalam bentuk dokumentasi dan dilaporkan kepada pihak-pihak terkait. •• Level 3 (statistik dapat diterima), jika tersedia analisis mengenai kebutuhan pengguna utama dan manfaat dari data/informasi statistik akan yang dihasilkan, dimana hasil analisis telah didokumentasi, tetapi belum/tidak dilaporkan kepada pihak-pihak terkait. •• Level 2 (statistik dipertanyakan), jika telah tersedia analisis mengenai kebutuhan pengguna utama dan manfaat dari data/informasi statistik yang akan dihasilkan, namun hasil analisis tersebut belum/tidak didokumentasi. • Level 1 (statistik buruk), jika tidak melakukan analisis mengenai kebutuhan para pengguna utama dan manfaat dari data/informasi statistik yang akan dihasilkan. Standar 2.5: Perubahan/perbedaan yang terjadi (gap) antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan dikonfirmasi ke pengguna utama dan didokumentasikan. (Pertanyaan 206 dalam Kuesioner Pengukuran Kualitas) Berdasarkan analisis kebutuhan pengguna utama, dimungkinkan terjadi perubahan/perbedaan antara kebutuhan yang diajukan penguna utama dengan rencana pelaksanaan yang disusun BPS. Misal, pengguna utama meminta cakupan data/informasi hingga level kabupaten/kota, namun berdasarkan analisis kebutuhan yang dilakukan, diketahui bahwa anggaran yang tersedia tidak cukup untuk level tersebut. Bila hal ini terjadi, maka BPS harus mengkonfirmasi perbedaan tersebut kepada pengguna utama, untuk mencapai kesepakatan antara kedua belah pihak. Hasil kesepakatan inilah yang akan digunakan sebagai landasan dalam penyelenggaraan kegiatan statistik. Karena kesepakatan ini penting, maka harus didokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika perubahan/perbedaan yang terjadi (gap) antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan kegiatan statistik dikonfirmasi ke pengguna utama. Hasil konfirmasi tersebut harus didokumentasi. Level ini juga mencakup kondisi jika tidak terjadi gap. Hal ini berarti bahwa telah terdapat kesepahaman antara pengguna utama dengan BPS dalam penyediaan data/informasi statistik yang dibutuhkan. •• Level 3 (statistik dapat diterima), jika gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan telah dikonfirmasikan ke pengguna utama, tetapi hasil konfirmasi tersebut belum/tidak
134
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
didokumentasi. •• Level 2 (statistik dipertanyakan), jika gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan telah dikonfirmasi ke pengguna utama. Namun gap tersebut tidak disetujui oleh pengguna utama. Hal ini mencakup kondisi baik hasil konsultasi tersebut telah didokumentasi maupun tidak. •• Level 1 (statistik buruk), jika terjadi gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan, namun tidak dilakukan konfirmasi ke pengguna utama. Standar 2.6: Seluruh proses perancangan (perancangan kuesioner, tabulasi, analisis, dan diseminasi output) dikonsultasikan ke pengguna utama, dimana informasi ini dan hasil konsultasi didokumentasi. (Pertanyaan 301 dalam Kuesioner Pengukuran Kualitas) Agar output statistik yang akan dihasilkan benar-benar relevan dengan kebutuhan pengguna utama, maka selama tahapan desain (baik berupa perancangan kuesioner, tabulasi, analisis, diseminasi dari output statistik, atau lainnya), SM seharusnya melibatkan pengguna utama. Pelibatan tersebut dapat berupa konsultasi, diskusi, atau memberi informasi yang berkaitan dengan pengguna utama selama proses desain. Misalnya, jika selama proses penyusunan kuesioner terdapat konsep/ definisi dari suatu variabel yang dianggap berbeda dengan konsep/definisi yang telah disepakati sebelumnya dengan pengguna utama, maka SM harus berkonsultasi dengan pengguna tersebut untuk memperoleh kesepahaman mengenai konsep/definisi yang akan digunakan. Draft kuesioner yang telah disusun juga perlu dikonsultasikan, khususnya mengenai item-item pertanyaan yang terkait dengan pengguna utama. Konsultasi dengan pengguna utama juga harus dilakukan selama proses perancangan bentuk tabulasi yang diinginkan, metode analisis yang akan digunakan, penentuan ragam media diseminasi, dan sebagainya. Semua informasi terkait proses perancangan dan hasil konsultasi tersebut harus dicatat dalam bentuk dokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika seluruh proses perancangan yang sedang/telah dilakukan senantiasa dikonsultasikan ke pengguna utama. Semua informasi terkait proses perancangan dan hasil konsultasi tersebut didokumentasi. •• Level 3 (statistik dapat diterima), jika hanya sebagian dari proses perancangan yang dikonsultasikan ke pengguna utama. Misalnya, konsultasi hanya dilakukan ketika proses perancangan kuesioner dan tabulasi
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
135
Lampiran
saja, sedangkan pada proses perancangan analisis dan diseminasi tidak melakukan konsultasi. Level kualitas ini terpenuhi bila informasi mengenai proses perancangan dan hasil konsultasi tersebut telah didokumentasi. •• Level 2 (statistik dipertanyakan), jika sebagian atau seluruh proses perancangan telah dikonsultasikan ke pengguna utama, tetapi informasi terkait proses perancangan tersebut beserta hasil konsultasi tidak didokumentasi. Pengelompokkan kondisi ‘seluruh proses telah dikonsultasikan tetapi tidak didokumentasi’ pada level ini sebagai penekanan pentingnya dokumentasi sebagai bukti dari semua proses yang telah dilakukan berikut hasil-hasil yang telah diperoleh. •• Level 1 (statistik buruk), jika SM tidak melakukan konsultasi ke pengguna utama selama proses perancangan berlangsung. 3.
Indikator ke-3: Perbedaan (gap) antara kebutuhan pengguna utama dengan output yang dihasilkan.
Indikator ini terdiri dari lima standar yang digunakan dalam pengukuran kualitas, yaitu: Standar 3.1: Output hasil analisis telah sesuai dengan desain awal dan tersedia dokumentasinya. (Pertanyaan 701 dalam Kuesioner Pengukuran Kualitas) Salah satu hasil dari kegiatan statistik berupa output (data/informasi) yang dihasilkan pada tahapan analisis. Sebagai bentuk implementasi dari statistik yang relevan, maka output tersebut harus sesuai dengan desain yang telah dirancang sebelumnya. Perlu diingat bahwa di dalam perancangan itu sendiri telah mencakup segala hal yang disepakati antara pengguna utama dengan penyelenggara kegiatan statistik (BPS). Jika output tersebut telah sesuai, berarti bahwa output tersebut telah mampu memenuhi kebutuhan pengguna utama. Sebaliknya, dimungkinkan tahapan analisis menghasilkan output yang tidak sesuai dengan desain awalnya. Semua ini (baik output sesuai atau tidak dengan desain awal) harus dicatat dalam bentuk dokumen. Bila telah sesuai, cantumkan bagian-bagian mana saja yang telah sesuai. Sedangkan bila terdapat bagian yang tidak sesuai, cantumkan bagian-bagian mana saja yang telah sesuai dan mana saja yang belum sesuai beserta alasan penyebab ketidaksesuaian tersebut. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika hasil output dari tahapan analisis telah sesuai dengan desain awal (perencanaan). Dengan kata lain, output tersebut telah mampu memenuhi kebutuhan pengguna utama. Informasi terkait hal ini didokumentasi. •• Level 3 (statistik dapat diterima), jika output hasil analisis telah sesuai dengan desain awal, tetapi informasi tersebut tidak didokumentasi. 136
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
•• Level 2 (statistik dipertanyakan), jika output hasil analisis ternyata berbeda dengan desain awal. Bagian-bagian yang telah sesuai maupun tidak sesuai dicantumkan beserta alasan penyebab ketidaksesuaian tersebut dalam bentuk dokumentasi. •• Level 1 (statistik buruk), jika output hasil analisis ternyata berbeda dengan desain awal, dan informasi tersebut tidak didokumentasi. Standar 3.2: Penjelasan mengenai ketidaksesuaian antara output dengan desain awal telah disampaikan kepada pengguna utama, dan didokumentasikan. (Pertanyaan 801 dalam Kuesioner Pengukuran Kualitas) Apabila terjadi ketidaksesuaian antara output yang dihasilkan dengan desain awal (sesuai kesepakatan dengan pengguna utama), maka ketidaksesuaian tersebut harus diberi penjelasan mengenai faktor-faktor penyebabnya dalam bentuk dokumentasi. Selanjutnya penjelasan ini harus disampaikan kepada pengguna utama secara transparan, karena pengguna utama berhak mendapatkan penjelasan atas ketidaksesuaian yang terjadi. Selanjutnya sebagai bahan bukti, hasil penyampaian penjelasan ketidaksesuaian tersebut juga harus didokumentasi, yang dengan mencantumkan tanggapan dari pengguna utama atas ketidaksesuaian tersebut. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika penjelasan mengenai ketidaksesuaian antara output yang dihasilkan dengan desain awal telah disampaikan kepada pengguna utama, dan didokumentasi. Level ini juga mencakup kondisi dimana output yang dihasilkan telah sesuai dengan desain awal. •• Level 3 (statistik dapat diterima), jika penjelasan mengenai ketidaksesuaian antara output dengan desain awal telah disampaikan kepada pengguna utama, tetapi penjelasan tersebut tidak didokumentasi. •• Level 2 (statistik dipertanyakan), jika penjelasan mengenai ketidaksesuaian antara output yang dihasilkan dengan desain awal belum/tidak disampaikan kepada pengguna utama. Mungkin hanya digunakan sebagai informasi untuk internal saja. •• Level 1 (statistik buruk), jika tidak tersedia penjelasan mengenai ketidaksesuaian antara output yang dihasilkan dengan desain awal. Standar 3.3: Terdapat proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan, dan hasilnya didokumentasikan. (Pertanyaan 901 dalam Kuesioner Pengukuran Kualitas) Informasi mengenai kepuasan pengguna merupakan salah satu cara untuk
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
137
Lampiran
mengetahui relevansi dari output statistik yang dihasilkan terhadap kebutuhan pengguna utama, dimana relevansi berbanding lurus dengan tingkat kepuasan. Oleh karena itu, perlu dilakukan pengukuran kepuasan pengguna terhadap output statistik yang dihasilkan. Selain sebagai bahan bukti, dokumentasi dari hasil pengukuran tersebut dapat digunakan sebagai bahan evaluasi dan bahan perencanaan untuk meningkatkan kepuasan pengguna. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika terdapat proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan, dan hasilnya didokumentasikan. •• Level 3 (statistik dapat diterima), jika terdapat proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan, tetapi tidak didokumentasikan. •• Level 2 (statistik dipertanyakan), jika terdapat proses untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan, tetapi proses tersebut dilakukan secara tidak formal (baik hasil pengukuran didokumentasi maupun tidak). •• Level 1 (statistik buruk), jika tidak terdapat proses untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan. Standar 3.4: Terdapat proses formal untuk mengevaluasi kegiatan statistik secara menyeluruh (mencakup biaya, SDM, waktu/jadwal, alur kerja, sistem, dan kualitas output statistik yang dihasilkan), guna meningkatkan kualitas output statistik ke depan, serta hasilnya didokumentasikan. (Pertanyaan 902 dalam Kuesioner Pengukuran Kualitas) Setelah rangkaian tahapan kegiatan statistik selesai dilakukan, langkah selanjutnya yang harus dilakukan adalah melakukan evaluasi terhadap seluruh tahapan GSBPM beserta hal-hal terkait yang antara lain mencakup biaya, SDM, waktu/jadwal, alur kerja, sistem dan kualitas output yang dihasilkan. Proses evaluasi ini harus dilakukan secara formal, artinya evaluasi tersebut memiliki legalitas karena melibatkan pihak-pihak terkait dan terjadwal. Bila evaluasi tersebut tidak dilakukan secara menyeluruh dan formal, dikhawatirkan output statistik yang dihasilkan kurang berkualitas. Evaluasi tersebut juga berguna untuk memperbaiki kualitas output statistik yang akan dihasilkan pada kegiatan statistik berikutnya, belajar dari proses statistik yang telah berlangsung. Oleh karena itu, hasil evaluasi ini lebih ditujukan kepada internal penyelenggara kegiatan statistik, dalam hal ini BPS. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika terdapat proses yang dilakukan secara
138
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
formal untuk mengevaluasi kegiatan statistik secara keseluruhan (mencakup biaya, SDM, waktu/jadwal, alur kerja, sistem dan kualitas output yang dihasilkan). Hasil evaluasi tersebut didokumentasi. •• Level 3 (statistik dapat diterima), jika terdapat proses formal untuk mengevaluasi kegiatan statistik, tetapi tidak secara menyeluruh. Hasilnya didokumentasi. •• Level 2 (statistik dipertanyakan), jika terdapat proses evaluasi terhadap kegiatan statistik, tetapi belum bersifat formal. Hasilnya didokumentasi. •• Level 1 (statistik buruk), jika tidak terdapat proses untuk evaluasi proses statistik. Standar 3.5: Terdapat perencanaan formal untuk perbaikan kegiatan statistik secara menyeluruh (mencakup biaya, SDM, waktu/jadwal, alur kerja, dan sistem), guna meningkatkan kualitas output statistik ke depan, serta hasilnya didokumentasikan. (Pertanyaan 903 dalam Kuesioner Pengukuran Kualitas) Setelah melakukan evaluasi terhadap keseluruhan kegiatan statistik sebagaimana dinyatakan pada Pertanyaan 902, sebagai tindaklanjut, harus disusun suatu rencana perbaikan kegiatan statistik berdasarkan hasil evaluasi tersebut. Rencana ini harus dilakukan secara formal (memiliki legalitas dan dapat dipertanggungjawabkan) dan didokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika terdapat proses perencanaan yang dilakukan secara formal untuk memperbaiki kegiatan statistik. Perencanaan ini dilakukan secara menyeluruh (mencakup biaya, SDM, waktu/jadwal, alur kerja, dan sistem) dan hasilnya didokumentasi. •• Level 3 (statistik dapat diterima), jika terdapat proses perencanaan secara formal untuk memperbaiki kegiatan statistik, namun belum menyeluruh. Hasilnya didokumentasi. •• Level 2 (statistik dipertanyakan), jika terdapat perencanaan perbaikan proses, namun belum bersifat formal. Hasilnya didokumentasi. •• Level 1 (statistik buruk), jika tidak terdapat rencana perbaikan kegiatan statistik. B.
Dimensi Akurasi (Accuracy)
Indikator kualitas dalam dimensi Akurasi dibagi menjadi dua kelompok, yaitu (1) sampling errors dan (2) non-sampling errors. 1.
Indikator ke-1: Sampling errors Sampling errors adalah errors yang muncul sebagai akibat dari pengambilan
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
139
Lampiran
sampel yang menggunakan teknik sampling tertentu dalam suatu survei/ penelitian. Standar 1.1: Desain sampling errors yang digunakan dalam kegiatan statistik telah mencakup seluruh tahapan (rencana target, metode penghitungan, identifikasi penyebab, serta upaya pencegahan) dan seluruh ukuran sampling error, dimana hasilnya didokumentasi. (Pertanyaan 302 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, idealnya telah tersedia rancangan sampling yang akan digunakan untuk menghasilkan output statistik yang telah mempertimbangkan sampling errors. Pertimbangan sampling errors tersebut mencakup rencana target, bagaimana metode penghitungan dari ukuran tersebut, identifikasi penyebab, beserta upaya pencegahan yang dapat dilakukan. Untuk saat ini, ukuran sampling errors yang dimaksud meliputi koefisien variasi (CV) dan design effect (DEFF). Hasil dari desain sampling ini harus didokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •
•
•
•
Level 4 (statistik berkualitas), jika desain sampling errors mencakup seluruh tahapan (rencana target, penghitungan, identifikasi penyebab, serta upaya pencegahan), dan juga mencakup seluruh ukuran sampling errors. Hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika desain sampling errors telah mencakup seluruh tahapan, tetapi hanya mencakup sebagian ukuran sampling errors. Hasilnya didokumentasi. Level 2 (statistik dipertanyakan), jika desain hanya mencakup sebagian dari tahapan dan sebagian/seluruh ukuran sampling errors. Hasilnya didokumentasi. Level 1 (statistik buruk), jika tidak terdapat desain sampling errors, atau terdapat desain sampling errors tetapi tidak didokumentasi.
Standar 1.2: Estimator yang dihasilkan memiliki nilai koefisien variasi yang kecil dan unbiased. (Pertanyaan 601 dalam Kuesioner Pengukuran Kualitas) Koefisien variasi (coefficient of variance, CV) menunjukkan relative variability, yakni berapa persen data bervariasi dari estimator-nya, sehingga dapat dinilai presisi estimator yang digunakan. Semakin kecil nilai koefisien variasi, maka semakin akurat hasil statistiknya. Statistik disebut berkualitas, salah satunya apabila estimator-nya tidak berbias/unbiased atau dapat dinotasikan sebagai B2 = 0. Estimator yang unbiased diharapkan terwujud, karena hal ini berarti
140
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
bahwa nilai harapan estimator tersebut sama dengan nilai paramaternya. CV
=
Var E
Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai CV ≤ 5% dan B2 = 0 (unbiased) Level 3 (statistik dapat diterima), jika nilai CV ≤ 5% dan B2 > 0 (biased) Level 2 (statistik dipertanyakan), jika nilai CV = 5% < CV ≤ 30% Level 1 (statistik buruk), jika nilai CV > 30% atau tidak menghitung CV.
Berdasarkan uraian level kualitas di atas, diketahui bahwa selain nilai B2 =0 juga terdapat standar kualitas berupa nilai CV. Standar-standar seperti 5% dan 30% seperti di atas bukanlah aturan yang baku, sebab dalam setiap penelitian atau kegiatan statistik, standar nilai CV dapat berbeda-beda dan sangat tergantung kepada pelaksana penelitian atau kegiatan statistik tersebut. Menurut James Westgard (1999)25, bila nilai CV lebih kecil atau sama dengan 5%, berarti terjadi good method performance. Sementara itu, nilai CV yang lebih besar atau sama dengan 10% disebut sebagai bad ones. Sumber lain menyebutkan bahwa dalam penelitian di bidang olahraga, hasil statistiknya dikatakan baik jika nilai CV-nya maksimal 25%. Setiap pelaksana kegiatan statistik diperbolehkan memiliki standar nilai CV yang berbeda. Bahkan NSO Canada membuat batasan bahwa statistik dikatakan baik (good) jika nilai CV sebesar 16,6%, dikatakan marginal jika nilainya antara 16,6% sampai 33,3%, dan dikatakan tidak dapat diterima (unaccaptable) bila nilainya lebih besar dari 33,3%. Dengan demikian, hal ini menunjukkan bahwa BPS dapat menyusun standar nilai CV sendiri dalam rangka implementasi standar ini, sesuai kasus dan kondisi faktual yang ada, dengan tetap memperhatikan kebutuhan pengguna utama. Standar 1.3: Penggunaan teknik sampling secara ilmiah dan nilai design effect (DEFF): 0 < DEFF ≤ 1. (Pertanyaan 602 dalam Kuesioner Pengukuran Kualitas) Yang dimaksud dengan teknik sampling ilmiah adalah teknik probability sampling. Teknik probability sampling disebut ilmiah, karena dengan menggunakan teknik ini peneliti dapat memperoleh informasi yang cukup mewakili populasi, dikarenakan sampel dipilih secara acak. Selain itu, hasil statistik dengan teknik probability sampling ini dapat digunakan untuk menggeneralisasi populasi. Hal ini tidak dapat dilakukan melalui teknik nonprobability sampling. Terdapat berbagai jenis teknik probability sampling, seperti simple random 25 Assisten professor di Clinical Laboratory Science Program Universitas Louisville di Kentucky, Amerika Serikat
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
141
Lampiran
sampling (SRS), stratified sampling, cluster sampling, systematic sampling, multistage sampling, kombinasi dari teknik-teknik ini, dan lain-lain. Diantara teknik probability sampling tersebut, ada yang merupakan teknik sampling sederhana, dimana sampel yang diambil memenuhi asumsi independent identical distribution (iid). Juga terdapat teknik sampling yang bersifat kompleks, karena sampel tidak memenuhi asumsi iid dan memiliki rumusan perhitungan estimasi yang lebih rumit. DEFF atau design effect diperoleh dengan cara membandingkan (merasiokan) nilai varians suatu estimator hasil dari kegiatan statistik yang menggunakan teknik sampling yang kompleks dengan nilai varians suatu estimator hasil dari kegiatan statistik yang menggunakan teknik sampling yang sederhana dan iid. Biasanya yang digunakan adalah teknik sampling SRS. Misalkan adalah suatu estimator, maka secara sederhana DEFF dapat dinotasikan sebagai berikut: DEFF=
Varians(
)
(teknik sampling yang kompleks)
Varians(
)
SRS
Kegiatan-kegiatan statistik yang dilakukan BPS umumnya menggunakan teknik sampling yang kompleks. Misalnya, dalam pelaksanaan survei penduduk antar sensus (SUPAS), BPS menggunakan teknik multi-stage sampling dengan memilih sampel blok sensus sebagai stage (tahap) pertama, kemudian memilih sampel rumah tangga di masing-masing blok sensus sebagai stage (tahap) kedua. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika menggunakan teknik sampling secara ilmiah, dan nilai DEFF: 0 < DEFF ≤ 1 •• Level 3 (statistik dapat diterima), jika menggunakan teknik sampling secara ilmiah, dan nilai DEFF: 1,0 < DEFF ≤ 1,2 •• Level 2 (statistik dipertanyakan), jika menggunakan teknik sampling secara ilmiah, dan nilai DEFF: 1,2 < DEFF ≤ 1,5 •• Level 1 (statistik buruk), jika tidak menggunakan teknik sampling secara ilmiah, atau menggunakan teknik sampling secara ilmiah tetapi nilai DEFF > 1,5. Standar 1.4: Melakukan analisis dampak dari sampling error, serta hasilnya didokumentasikan dan dipublikasikan. (Pertanyaan 702 dalam Kuesioner Pengukuran Kualitas) Analisis dampak dari sampling errors dilakukan pada tahap analisis. Bentuk analisis dampak yang dimaksud di sini dapat berupa uraian deskriptif mengenai dampak yang timbul akibat terjadinya sampling errors terhadap data yang dihasilkan. 142
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika melakukan analisis dampak dari sampling errors, serta hasilnya didokumentasi dan dipublikasi •• Level 3 (statistik dapat diterima), jika melakukan analisis dampak dari sampling errors, hasilnya telah didokumentasi tetapi tidak dipublikasi •• Level 2 (statistik dipertanyakan), jika melakukan analisis dampak dari sampling errors, tetapi hasilnya tidak didokumentasi •• Level 1 (statistik buruk), jika tidak melakukan analisis dampak dari sampling errors Standar 1.5: Terdapat evaluasi resmi terkait sampling error dan hasilnya didokumentasi. (Pertanyaan 904 dalam Kuesioner Pengukuran Kualitas) Proses evaluasi secara resmi juga dilakukan terhadap kemungkinan sampling errors yang terjadi pada kegiatan statistik yang telah dilakukan, dengan tujuan untuk menghimpun seluruh informasi (bersifat komprehensif ) mengenai sampling errors. Oleh karena itu, hasil evaluasi ini lebih ditujukan kepada internal penyelenggara kegiatan statistik, dalam hal ini SM di BPS. Hasil evaluasi tersebut harus didokumentasikan. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika terdapat evaluasi resmi terkait sampling errors, dan hasilnya didokumentasi •• Level 3 (statistik dapat diterima), jika terdapat evaluasi resmi terkait sampling errors, tetapi hasilnya tidak didokumentasi •• Level 2 (statistik dipertanyakan), jika terdapat evaluasi terkait sampling errors, tetapi dilakukan secara tidak resmi •• Level 1 (statistik buruk), jika tidak terdapat evaluasi terkait sampling errors 2.
Indikator ke-2: Non-sampling errors
Non-sampling errors adalah errors yang terjadi karena hal-hal di luar teknik sampling yang digunakan dalam kegiatan statistik. Standar 2.1: Metode yang digunakan dalam kegiatan statistik sudah mencakup seluruh tahapan (rencana target, metode penghitungan, identifikasi penyebab, serta upaya pencegahan) dan telah mempertimbangkan seluruh ukuran non-sampling errors, dimana hasilnya didokumentasi. (Pertanyaan 303 dalam Kuesioner Pengukuran Kualitas) Penggunaan metodologi tertentu dalam kegiatan statistik, misalnya sensus, survei, atau kegiatan statistik lainnya harus mempertimbangkan nonPedoman Kerangka Penjaminan Kualitas Statistik BPS
143
Lampiran
sampling errors. Pertimbangan tersebut antara lain mencakup perancangan target, metode penghitungan, identifikasi penyebab, dan upaya pencegahan terjadinya non-sampling errors. Ukuran non-sampling errors yang dimaksud meliputi coverage errors, measurement errors, processing errors, non-response errors, misclassification errors, systematic errors, dan model assumption errors. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika metode yang digunakan dalam kegiatan statistik telah mencakup seluruh tahapan, dan mempertimbangkan seluruh ukuran non-sampling errors, serta hasilnya didokumentasi. •• Level 3 (statistik dapat diterima), jika metode yang digunakan dalam kegiatan statistik telah mencakup seluruh tahapan dan mempertimbangkan seluruh ukuran non-sampling error, namun hasilnya tidak didokumentasi. •• Level 2 (statistik dipertanyakan), jika metode yang digunakan dalam kegiatan statistik mencakup sebagian dari tahapan yang disyaratkan dan juga mencakup seluruh/sebagian ukuran non-sampling errors, hasilnya didokumentasi. •• Level 1 (statistik buruk), jika metode yang digunakan dalam kegiatan statistik tidak mencakup satupun tahapan yang disyaratkan dan juga tidak mempertimbangkan ukuran non-sampling errors, atau sudah mempertimbangkan non-sampling errors tetapi hasilnya tidak didokumentasi. Standar 2.2: Perbedaan waktu antara periode referensi dengan update terakhir pada direktori yang digunakan cukup kecil. (Ket: Level kualitas yang tertera hanya sekedar contoh, rentang waktu riil tergantung dari masing-masing subject matter) (Pertanyaan 304 dalam Kuesioner Pengukuran Kualitas) Updating direktori dilakukan untuk memperbaharui direktori yang sudah tersedia sebelumnya agar sesuai dengan keadaan/kondisi terakhir, sehingga diharapkan informasi dalam direktori tersebut lebih akurat. Hingga saat ini belum dapat ditentukan rentang waktu yang ideal terkait perbedaan waktu antara periode referensi dengan update terakhir pada direktori yang digunakan pada seluruh kegiatan statistik. Mengingat periode referensi setiap kegiatan statistik berbeda antara satu dengan lainnya, maka perbedaan waktu tersebut dapat ditentukan oleh masing-masing SM. Sebagai contoh, perbedaan waktu antara periode referensi dengan update terakhir pada direktori yang digunakan dapat dibagi menjadi: •• Level 4 (statistik berkualitas), jika perbedaan waktu < 3 bulan. •• Level 3 (statistik dapat diterima), jika perbedaan waktu 3 - 6 bulan.
144
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
•• Level 2 (statistik dipertanyakan), jika perbedaan waktu 6 - 12 bulan. •• Level 1 (statistik buruk), jika perbedaan waktu > 12 bulan. Standar 2.3: Terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil uji coba dan mencakup solusi penanganannya. (Pertanyaan 401 dalam Kuesioner Pengukuran Kualitas) Sebelum diterapkan, suatu desain kegiatan statistik harus diujicoba (termasuk gladi kotor/bersih) terlebih dulu. Berdasarkan hasil ujicoba tersebut, dapat diketahui permasalahan yang mungkin akan terjadi ketika desain tersebut diimplementasikan. Setiap permasalahan tersebut selanjutnya dirumuskan solusi penanganannya dalam bentuk dokumentasi, sebagai bagian dari prosedur rencana perbaikan/penyelesaian solusi apabila permasalahan tersebut benarbenar terjadi. Kriteria kualitas yang harus dipenuhi adalah: •
•
•
•
Level 4 (statistik berkualitas), jika terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil ujicoba (termasuk gladi kotor/ bersih), termasuk solusi penanganan masalah yang muncul dalam uji coba. Permasalahan dan solusinya didokumentasi. Level 3 (statistik dapat diterima), jika terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil ujicoba (termasuk gladi kotor/bersih). Permasalahan telah didokumentasi, tapi solusinya tidak didokumentasi (baik ada solusi/tidak ada). Level 2 (statistik dipertanyakan), jika terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil uji coba (termasuk gladi kotor/ bersih), tetapi permasalahan dan solusinya tidak didokumentasi. Level 1 (statistik buruk), jika tidak terdapat rencana perbaikan desain kegiatan atau tidak melakukan ujicoba (termasuk gladi kotor/bersih) terhadap desain kegiatan statistik.
Standar 2.4: Melakukan uji didokumentasi.
coba
seluruh
instrumen
dan
hasilnya
(Pertanyaan 402 dalam Kuesioner Pengukuran Kualitas) Ujicoba terhadap seluruh instrumen yang akan digunakan dalam suatu kegiatan statistik bertujuan untuk mengetahui validitas dan reliabilitas instrumen tersebut ketika digunakan dalam pengumpulan dan pengolahan data, karena akan mempengaruhi akurasi dari data yang diperoleh. Melalui uji coba tersebut, dapat diketahui kendala/permasalahan yang mungkin terjadi pada saat implementasi, sekaligus dapat disusun solusi penanganannya. Dengan kata lain, hasil uji coba tersebut menjadi bahan perencanaan perbaikan untuk
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
145
Lampiran
mengeliminir measurement errors ketika instrumen digunakan. Instrumen dapat berupa kuesioner, alat ubinan, peta, dll yang digunakan pada saat pengumpulan data, berikut sistem pengolahan data yang digunakan. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika melakukan ujicoba keseluruhan instrumen dan hasilnya didokumentasi. • Level 3 (statistik dapat diterima), jika hanya sebagian instrumen yang diujicobakan dan hasilnya didokumentasi. • Level 2 (statistik dipertanyakan), jika melakukan ujicoba instrumen (baik seluruh maupun sebagian), tetapi hasilnya tidak didokumentasi. • Level 1 (statistik buruk), jika tidak melakukan ujicoba instrumen. Standar 2.5: Melakukan uji coba seluruh sistem produksi dan hasilnya didokumentasi. (Pertanyaan 403 dalam Kuesioner Pengukuran Kualitas) Ujicoba (termasuk gladi kotor/bersih) juga harus dilakukan pada seluruh sistem produksi kegiatan statistik untuk mengetahui kendala/permasalahan yang mungkin terjadi ketika sistem produksi tersebut diimplementasikan. Permasalahan tersebut harus didokumentasi dan dicari solusinya untuk memperbaiki perencanaan sistem produksi. Sistem produksi yang dimaksud di sini adalah suatu rangkaian alur kerja, mulai dari pengumpulan data hingga output statistik terbentuk. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika melakukan ujicoba keseluruhan sistem produksi dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika hanya sebagian sistem produksi yang diujicobakan dan hasilnya didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan ujicoba sistem produksi (baik seluruh maupun sebagian), tetapi hasilnya tidak didokumentasi. Level 1 (statistik buruk), jika tidak melakukan ujicoba sistem produksi.
Standar 2.6: Hasil pelatihan resmi petugas pengumpulan data dan processing digunakan sebagai dasar penentuan petugas. Standar ini menekankan pada penggunaan hasil pelatihan resmi sebagai dasar penentuan petugas. Penerapan standar dilakukan pada dua tahapan proses statistik, yaitu pada tahap pengumpulan data dan tahap processing data. Standar 2.6.1: Hasil pelatihan resmi petugas pengumpulan data digunakan sebagai dasar penentuan petugas. (Pertanyaan 501 dalam Kuesioner Pengukuran Kualitas) 146
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Pelatihan secara resmi bagi petugas pengumpulan data harus dilakukan untuk menjamin kemampuan petugas dalam mengumpulkan data, sehingga menghasilkan data yang lebih akurat. Proses pelatihan dan hasilnya harus didokumentasi dan menjadi dasar/acuan penentuan petugas yang akan melaksanakan pengumpulan data. Kriteria kualitas yang harus dipenuhi adalah: • •
•
•
Level 4 (statistik berkualitas), jika hasil pelatihan resmi petugas pengumpulan data didokumentasi dan digunakan sebagai dasar penentuan petugas. Level 3 (statistik dapat diterima), jika hasil pelatihan resmi petugas pengumpulan data didokumentasi, tetapi tidak digunakan sebagai dasar penentuan petugas. Level 2 (statistik dipertanyakan), jika hasil pelatihan resmi petugas pengumpulan data tidak didokumentasi dan tidak menjadi dasar penentuan petugas. Level 1 (statistik buruk), jika tidak melakukan pelatihan petugas pengumpulan data, ataupun melakukan pelatihan petugas tetapi tidak secara resmi.
Standar 2.6.2: Hasil pelatihan resmi petugas processing data digunakan sebagai dasar penentuan petugas. (Pertanyaan 603 dalam Kuesioner Pengukuran Kualitas) Pelatihan secara resmi bagi petugas processing data juga sangat diperlukan untuk menjamin kemampuan petugas dalam mengolah data, sehingga menghasilkan data yang lebih akurat. Hasil pelatihan ini harus didokumentasi dan menjadi dasar/acuan penentuan petugas. Kriteria kualitas yang harus dipenuhi adalah: • •
•
•
Level 4 (statistik berkualitas), jika hasil pelatihan resmi petugas processing data didokumentasi dan digunakan sebagai dasar penentuan petugas. Level 3 (statistik dapat diterima), jika hasil pelatihan resmi petugas processing data didokumentasi tetapi tidak digunakan sebagai dasar penentuan petugas. Level 2 (statistik dipertanyakan), jika hasil pelatihan resmi petugas processing data tidak didokumentasi dan tidak menjadi dasar penentuan petugas. Level 1 (statistik buruk), jika tidak melakukan pelatihan petugas processing data, ataupun melakukan pelatihan petugas tetapi tidak secara resmi.
Standar 2.7: Melakukan pencacahan sesuai SOP, serta permasalahan yang terjadi pada saat pencacahan dan solusinya didokumentasi. (Pertanyaan 502 dalam Kuesioner Pengukuran Kualitas) Pedoman Kerangka Penjaminan Kualitas Statistik BPS
147
Lampiran
Standard Operating Procedure (SOP) adalah suatu set instruksi (perintah kerja) yang rinci dan tertulis, yang harus diikuti oleh pihak-pihak terkait demi keseragaman dalam pelaksanaan suatu tugas/pekerjaan tertentu, dengan berpedoman pada tujuan yang harus dicapai. Kegiatan pencacahan harus mengikuti seluruh SOP yang telah ditetapkan BPS. Jika terdapat pelanggaran (meskipun hanya berupa satu item dari SOP), dapat dikatakan bahwa kegiatan tersebut tidak sesuai SOP. Setiap permasalahan yang muncul selama proses tersebut berlangsung beserta solusi penanganannya harus didokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •
•
• •
Level 4 (statistik berkualitas), jika melakukan pencacahan sesuai SOP dan permasalahan yang terjadi pada saat pencacahan serta solusinya didokumentasi. Atau tidak terjadi permasalahan. Level 3 (statistik dapat diterima), jika melakukan pencacahan sesuai SOP dan permasalahan yang terjadi telah didokumentasi, tapi solusinya tidak didokumentasi (baik terdapat solusi maupun tidak) Level 2 (statistik dipertanyakan), jika telah melakukan pencacahan sesuai SOP, namun permasalahan yang terjadi dan solusinya tidak didokumentasi. Level 1 (statistik buruk), jika pencacahan dilakukan tidak sesuai SOP.
Standar 2.8: Melakukan pengawasan pencacahan sesuai SOP serta permasalahan yang terjadi saat pengawasan pencacahan dan solusinya didokumentasi. (Pertanyaan 503 dalam Kuesioner Pengukuran Kualitas) Kegiatan pengawasan pencacahan harus mengikuti seluruh SOP yang telah ditetapkan BPS. Jika terdapat satu saja pelanggaran terhadap item SOP, dapat dikatakan bahwa kegiatan tersebut tidak sesuai SOP. Setiap permasalahan yang muncul selama proses tersebut berlangsung beserta solusi penanganannya harus didokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •
•
• •
148
Level 4 (statistik berkualitas), jika melakukan pengawasan pencacahan sesuai SOP dan permasalahan yang terjadi serta solusinya didokumentasi. Atau tidak terjadi permasalahan. Level 3 (statistik dapat diterima), jika melakukan pengawasan pencacahan sesuai SOP dan permasalahan yang terjadi telah didokumentasi, tapi solusinya tidak didokumentasi (baik ada solusi ataupun tidak) Level 2 (statistik dipertanyakan), jika melakukan pengawasan pencacahan sesuai SOP, namun permasalahan dan solusinya tidak didokumentasi. Level 1 (statistik buruk), jika pengawasan pencacahan dilakukan tidak sesuai SOP.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Standar 2.9: Melakukan sosialisasi mengenai kegiatan statistik (yang akan diselenggarakan) kepada seluruh calon responden, dan hasilnya didokumentasi. Standar ini menekankan pentingnya sosialisasi kepada seluruh calon responden terkait kegiatan statistik yang akan diselenggarakan. Sosialisasi ini diperlukan untuk mendukung kelancaran dan kerjasama responden, khususnya selama proses pengumpulan data. Sosialisasi tersebut harus terencana dan dilakukan secara formal/resmi/instruktif, sehingga dapat diimplementasikan secara seragam pada berbagai lokasi. Responden yang telah memperoleh sosialisasi akan cenderung lebih kooperatif, sehingga diharapkan target respon rate dari kegiatan statistik tersebut dapat tercapai, serta data yang dikumpulkan lebih valid dan akurat. Sosialisasi dapat dilakukan melalui beragam media, seperti media cetak (koran, tabloid, booklet, dll), media eletronik (televisi, radio, internet, dll), atau secara langsung melalui penyuluhan, dan sebagainya. Kegiatan sosialisasi ini harus didokumentasikan. Penerapan standar dilakukan pada dua tahapan proses statistik, yaitu pada tahap desain dan tahap pengumpulan data. Standar 2.9.1: Melakukan perancangan strategi sosialisasi kegiatan statistik kepada calon responden dan hasilnya didokumentasi. (Pertanyaan 305 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, standar ini bertujuan untuk mengetahui rancangan strategi sosialisasi kegiatan statistik yang akan dilakukan. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika melakukan perancangan strategi sosialisasi mengenai kegiatan statistik yang akan diselenggarakan kepada seluruh calon responden, dan hasilnya didokumentasi. •• Level 3 (statistik dapat diterima), jika hanya melakukan sosialisasi mengenai kegiatan statistik yang akan diselenggarakan kepada sebagian calon responden, dan hasilnya didokumentasi. •• Level 2 (statistik dipertanyakan), jika melakukan sosialisasi mengenai kegiatan statistik yang akan diselenggarakan kepada calon responden (seluruh atau sebagian), namun hasilnya tidak didokumentasi. •• Level 1 (statistik buruk), jika tidak melakukan sosialisasi mengenai kegiatan statistik yang akan diselenggarakan. Standar 2.9.2: Melakukan sosialisasi didokumentasi.
kegiatan
statistik
dan
hasilnya
(Pertanyaan 504 dalam Kuesioner Pengukuran Kualitas)
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
149
Lampiran
Pada tahap pengumpulan data, ingin diketahui bagaimana realisasi dari sosialisasi yang telah dilakukan tersebut. Kriteria kualitas yang harus dipenuhi adalah: • •
• •
Level 4 (statistik berkualitas), jika melakukan sosialisasi kegiatan statistik yang mencakup seluruh responden, dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika melakukan sosialisasi kegiatan statistik yang hanya mencakup sebagian responden saja, dan hasilnya didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan sosialisasi kegiatan statistik (baik kepada seluruh atau sebagian responden), tetapi tidak didokumentasi. Level 1 (statistik buruk), jika tidak melakukan sosialisasi kegiatan statistik.
Standar 2.10: Melakukan pengolahan data (mencakup kegiatan editing, coding, entry, dan validasi data) sesuai SOP, serta permasalahan yang terjadi dan solusinya didokumentasi. (Pertanyaan 604 dalam Kuesioner Pengukuran Kualitas) Kegiatan pengolahan data (mencakup kegiatan editing, coding, entri, dan validasi data) harus mengikuti SOP yang telah ditetapkan BPS. Jika terdapat pelanggaran terhadap SOP (meskipun hanya satu item), dapat dinyatakan bahwa kegiatan tersebut tidak sesuai SOP. Setiap permasalahan yang muncul selama proses tersebut berlangsung beserta solusi penanganannya harus didokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •• Level 4 (statistik berkualitas), jika melakukan pengolahan data sesuai SOP, dimana permasalahan yang terjadi dan solusinya didokumentasi; atau tidak terjadi masalah. •• Level 3 (statistik dapat diterima), jika melakukan pengolahan data sesuai SOP, dimana permasalahan yang terjadi telah didokumentasi, tetapi solusinya tidak didokumentasi (baik ada solusi maupun tidak). •• Level 2 (statistik dipertanyakan), jika melakukan pengolahan data sesuai SOP, namun permasalahan yang terjadi dan solusinya tidak didokumentasi. •• Level 1 (statistik buruk), jika pengolahan data dilakukan tidak sesuai SOP. Standar 2.11: Melakukan pengawasan pengolahan data (mencakup pengawasan untuk kegiatan editing, coding, entry, dan validasi data) sesuai SOP; serta permasalahan yang terjadi dan solusinya didokumentasikan. (Pertanyaan 605 dalam Kuesioner Pengukuran Kualitas) Kegiatan pengawasan pengolahan data (mencakup pengawasan kegiatan 150
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
editing, coding, entry, dan validasi data) harus mengikuti SOP yang ditetapkan BPS. Jika terdapat pelanggaran terhadap salah satu item dari SOP, dapat dikatakan bahwa kegiatan tersebut tidak sesuai dengan SOP. Setiap permasalahan yang muncul selama proses tersebut berlangsung beserta solusi penanganannya harus didokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •
•
• •
Level 4 (statistik berkualitas), jika melakukan pengawasan pengolahan data sesuai SOP, dimana permasalahan yang terjadi dan solusinya didokumentasi; atau tidak terjadi masalah. Level 3 (statistik dapat diterima), jika melakukan pengawasan pengolahan data sesuai SOP, dimana permasalahan yang terjadi telah didokumentasi, tapi solusinya tidak didokumentasi (baik ada solusi maupun tidak). Level 2 (statistik dipertanyakan), jika melakukan pengawasan pengolahan data sesuai SOP, namun permasalahan dan solusinya tidak didokumentasi. Level 1 (statistik buruk), jika pengawasan pengolahan data dilakukan tidak sesuai SOP.
Standar 2.12: Ukuran non-sampling error berada pada level yang dapat diterima, yaitu α < 15% dan β < 15 %, dimana: α=
∑ |final weight - design weight| ∑ design weight
β = max
|final weight - design weight| design weight
(Pertanyaan 606 dalam Kuesioner Pengukuran Kualitas) Sebagaimana diketahui bahwa suatu survei selalu menggunakan pembobot (weight). Weight menunjukkan seberapa besar 1 unit dapat mewakili/ menggambarkan populasinya. Misal, weight sebesar 1/7 berarti bahwa seorang responden dalam survei mewakili karakteristik 7 dari orang di populasi. Weight biasanya ditentukan di awal kegiatan dan dapat menunjukkan perbandingan antara jumlah sampel dengan populasinya (disebut design weight). Namun dalam prakteknya, dimungkinkan terjadi unit sampel yang dapat dicacah lebih sedikit dari target sampel yang direncanakan. Dengan demikian, nilai weight dapat berubah pada akhir kegiatan survei (disebut sebagai final weight). Kriteria kualitas yang harus dipenuhi adalah: • •
Level 4 (statistik berkualitas), jika nilai α < 15% dan nilai β < 15 % Level 3 (statistik dapat diterima), jika nilai α: 15% ≤ α < 25%; atau nilai β:
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
151
Lampiran
• •
15% ≤ β < 25% Level 2 (statistik dipertanyakan), jika nilai α ≥ 25% atau nilai β ≥ 25% Level 1 (statistik buruk), jika nilai α dan β tidak dihitung
Standar 2.13:
Ukuran under coverage berada pada standar yang diterima yaitu: x1 ≥ α1.
(Pertanyaan 607 dalam Kuesioner Pengukuran Kualitas) Coverage error merupakan error atau bias yang timbul akibat kegagalan dalam mencakup seluruh elemen/unit dari populasi yang sedang diteliti. Salah satu jenis coverage error adalah under coverage. Under coverage terjadi ketika sebuah elemen/ unit dari populasi target tidak tercakup dalam frame survei, sehingga elemen/unit tersebut tidak memiliki peluang untuk menjadi sampel dalam survei. Besaran nilai under coverage sulit untuk diketahui secara pasti. Oleh karena itu, perumusan under coverage dan batasan ukurannya harus didiskusikan dengan ahli statistik dan disepakati dengan SM terkait. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x1 ≥ α1 Level 3 (statistik dapat diterima), jika nilai x1: α1- y1 ≤ x1 < α1 Level 2 (statistik dipertanyakan), jika nilai x1: α1 - z1 ≤ x1 < α1 - y1 Level 1 (statistik buruk), jika nilai x1 ≤ α1 - z1 atau ukuran under coverage tidak dihitung, dimana, α1 = standar yang diterima; x1 = nilai yang diperoleh; y1, z1 = ambang batas yang disepakati, nilai z1 > y1. Standar 2.14:
Tingkat duplikasi berada pada level yang dapat diterima, yaitu x2 ≤ α2.
(Pertanyaan 608 dalam Kuesioner Pengukuran Kualitas) Tingkat duplikasi yang diukur disini adalah tingkat duplikasi unit, yaitu terdapat unit yang tercacah lebih dari sekali (terduplikasi). Perumusan tingkat duplikasi unit dan batasan ukurannya perlu didiskusikan dengan ahli statistik dan SM terkait. Kriteria kualitas yang harus dipenuhi adalah: • Level 4 (statistik berkualitas), jika nilai x2 ≥ α2 • Level 3 (statistik dapat diterima), jika nilai x2 : α2 + y2 ≥ x2 > α2 • Level 2 (statistik dipertanyakan), jika nilai x2 : α2 + z2 ≥ x2 > α2 + y2 • Level 1 (statistik buruk), jika nilai atau tingkat duplikasi tidak dihitung Dimana, α2 = standar yang diterima; x2 = nilai yang diperoleh; y2, z2 = ambang batas yang disepakati, nilai z2 > y2.
152
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Standar 2.15:
Proporsi dari over-coverage unit berada pada level yang dapat diterima, yaitu x3 ≤ α3.
(Pertanyaan 609 dalam Kuesioner Pengukuran Kualitas) Selain permasalahan under-coverage, coverage errors juga mencakup masalah over-coverage. Over-coverage terjadi ketika elemen/unit yang bukan menjadi target populasi tercatat/masuk dalam frame kegiatan statistik yang akan dilakukan. Seperti halnya besaran nilai under-coverage yang sulit diketahui, masalah over-coverage juga demikian, sehingga perumusan over-coverage dan batasan ukurannya harus didiskusikan dengan ahli statistik dan SM terkait. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x3 ≤ α3 Level 3 (statistik dapat diterima), jika nilai x3: α3 + y3 ≥ x3 > α3 Level 2 (statistik dipertanyakan), jika nilai x3: α3 + z3 ≥ x3 > α3 + y3 Level 1 (statistik buruk), jika nilai x3 > α3 + z3 atau proporsi dari over coverage unit tidak dihitung dimana, α3 = standar yang diterima; x3 = nilai yang diperoleh; y3, z3 = ambang batas yang disepakati, nilai z3 > y3. Standar 2.16:
Proporsi dari misklasifikasi unit berada pada level yang dapat diterima, yaitu: x4 ≤ α4.
(Pertanyaan 610 dalam Kuesioner Pengukuran Kualitas) Misklasifikasi merupakan kesalahan dalam mengklasifikasikan suatu unit. Contoh, pada Survei Tahunan Perusahaan Industri Manufaktur yang menjadi unit statistik adalah perusahaan berskala besar dan sedang, yaitu perusahaan yang memiliki tenaga kerja minimal 20 orang. Perusahaan berskala kecil tidak termasuk sebagai unit pencacahan dalam survei ini. Namun, bila terdapat satu atau lebih perusahaan kecil yang ikut dicacah, hal ini disebut misklasifikasi. Adapun perumusan dan batasan dari ukuran ini harus didiskusikan dengan ahli statistik dan SM terkait. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x4 ≤ α4 Level 3 (statistik dapat diterima), jika nilai x4 : α4 + y4 ≥ x4 > α4 Level 2 (statistik dipertanyakan), jika nilai x4 : α4 + z4 ≥ x4 > α4 +y4 Level 1 (statistik buruk), jika nilai x4 > α4 + z4 atau proporsi dari unit yang mis-klasifikasi tidak dihitung dimana, α4 = standar yang diterima; x4 = nilai yang diperoleh; y4, z4 = ambang batas yang disepakati, nilai z4 > y4.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
153
Lampiran
Standar 2.17: Melakukan identifikasi systematic didokumentasi dan dilaporkan.
errors,
serta
hasilnya
(Pertanyaan 611 dalam Kuesioner Pengukuran Kualitas) Systematic errors merupakan errors yang disebabkan oleh penerapan sistem secara keseluruhan yang sedang berlangsung. Sytematic errors ini hanya dapat diidentifikasi dan diminimalisir, tetapi tidak dapat dihilangkan karena errors tersebut melekat ke dalam sistem. Misalnya, data penduduk hasil Sensus Penduduk yang dilaksanakan dengan metode sensus yang sudah mempertimbangkan non-response error dan pelaksanaannya sesuai dengan prosedur yang ditetapkan, ternyata ketika hasilnya dibandingkan dengan data penduduk dari Kemendagri (asumsi bila data administrasi dari Kemendagri sudah bagus) masih ditemukan beberapa perbedaan. Perbedaan tersebut terjadi karena adanya systematic errors. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika melakukan identifikasi systematic errors. Hasilnya didokumentasi dan dilaporkan. Level 3 (statistik dapat diterima), jika melakukan identifikasi systematic errors. Hasilnya telah didokumentasi, tetapi tidak dilaporkan. Level 2 (statistik dipertanyakan), jika telah melakukan identifikasi systematic errors, tetapi hasilnya tidak didokumentasi. Level 1 (statistik buruk), jika tidak melakukan identifikasi systematic errors.
Standar 2.18:
Tingkat kesalahan pengumpulan data (yang dihitung dari pencatatan lapangan) berada pada level yang dapat diterima yaitu: x5 ≤ α5.
(Pertanyaan 612 dalam Kuesioner Pengukuran Kualitas) Kesalahan pengumpulan data yang dimaksud pada standar ini adalah kesalahan pengumpulan data yang dilakukan petugas pada saat pencacahan (di lapangan) dan kesalahan tersebut terpantau oleh pengawas. Dengan demikian, informasi kesalahan pengumpulan data ini diperoleh dari catatan pengawas. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x5 ≤ α5 Level 3 (statistik dapat diterima), jika nilai x5: α5 + y5 ≥ x5 > α5 Level 2 (statistik dipertanyakan), jika nilai x5: α5 + z5 ≥ x5 > α5 + y5 Level 1 (statistik buruk), jika nilai atau tingkat kesalahan pengumpulan data tidak dihitung dimana, α5 = standar yang diterima; x5 = nilai yang diperoleh; y5, z5 = ambang batas yang disepakati, nilai z5 > y5.
154
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Standar 2.19: Proxy responses telah dikategorikan secara terpisah (flagged) dan berada pada level yang dapat diterima , yaitu x6 ≤ α6. (Pertanyaan 613 dalam Kuesioner Pengukuran Kualitas) Proxy responses adalah suatu kejadian pada saat pencacahan, dimana responden yang seharusnya dicacah ternyata tidak ditemui atau tidak mampu memberikan data/informasi yang dibutuhkan, sehingga informasi tersebut diberikan oleh pihak lain. Contoh pada suatu survei, yang seharusnya memberikan data/informasi (menjadi responden) adalah kepala rumah tangga (KRT). Namun, ternyata KRT tersebut tidak mampu memberikan jawaban, sehingga data/informasi yang dibutuhkan diberikan oleh anak KRT tersebut. Catatan : • Pada survei rumah tangga, apabila responden yang dituju adalah suami, namun ternyata pada saat pencacahan yang menjawab pertanyaan adalah istri, hal ini tidak termasuk proxy responses. Demikian pula sebaliknya. • Untuk survei jenis lainnya (non-survei rumah tangga), penentuan cakupan proxy responses dapat ditentukan oleh SM yang bersangkutan berdasarkan standar perstatistikan yang berlaku. Kriteria kualitas yang harus dipenuhi adalah: • Level 4 (statistik berkualitas), jika nilai x6 ≤ α6 • Level 3 (statistik dapat diterima), jika nilai x6: a6 + y6 ≥ x6 > α6 • Level 2 (statistik dipertanyakan), jika nilai x6: a6 + z6 ≥ x6 > α6 + y6 • Level 1 (statistik buruk), jika nilai atau tingkat proxy responses tidak dihitung dimana, α6 = standar yang diterima; x6 = nilai yang diperoleh; y6, z6 = ambang batas yang disepakati, nilai z6 > y6. Standar 2.20: Rata-rata tingkat coding/editing berada pada tingkat akurasi yang dapat diterima, x7 ≤ α7. (Pertanyaan 614 dalam Kuesioner Pengukuran Kualitas) Rata-rata tingkat coding/editing yang dimaksud disini adalah nilai rata-rata dari coding/editing per dokumen (kuesioner) yang dilakukan oleh pengawas pencacahan. Rata-rata tingkat coding/editing dapat diidentifikasi pada saat dokumen diperiksa oleh editor. Rumus penghitungan: Rata-rata tingkat coding/editing per dokumen (x7) = Banyaknya tingkat coding/editing di setiap dokumen Banyaknya dokumen Kriteria kualitas yang harus dipenuhi adalah:
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
155
Lampiran
• • • •
Level 4 (statistik berkualitas), jika nilai x7 ≤ α7 Level 3 (statistik dapat diterima), jika nilai x7 : α7 + y7 ≥ x7 > α7 Level 2 (statistik dipertanyakan), jika nilai x7 : α7 + z7 ≥ x7 > α7 + y7 Level 1 (statistik buruk), jika nilai x7 > α7 + z7 atau tingkat coding/editing tidak dihitung dimana, α7 = standar yang diterima; x7 = nilai yang diperoleh; y7, z7 = amban batas yang disepakati, nilai z7 > y7. Standar 2.21:
Rata-rata kesalahan coding/editing berada pada tingkat akurasi yang dapat diterima yaitu x8 ≤ α8.
(Pertanyaan 615 dalam Kuesioner Pengukuran Kualitas) Rata-rata kesalahan coding/editing yang dimaksud adalah nilai rata-rata dari kesalahan pemberian kode terhadap isian/item (coding)/editing per dokumen (kuesioner) yang terjadi selama proses batching dan coding/editing oleh editor. Kesalahan coding/editing dapat diidentifikasi pada saat tahapan entri data. Rumus penghitungan: Rata-rata kesalahan coding/editing per dokumen (x8 ) = Banyaknya kejadian salah coding/editing di setiap dokumen Banyaknya dokumen Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x8 ≤ α8 Level 3 (statistik dapat diterima), jika nilai x8 : α8 + y8 ≥ x8 > α8 Level 2 (statistik dipertanyakan), jika nilai x8 : α8 + z8 ≥ x8 > α8 + y8 Level 1 (statistik buruk), jika nilai x8 > α8 + z8 atau kesalahan coding/editing tidak dihitung
dimana, α8 = standar yang diterima; x8 = nilai yang diperoleh; y8, z8 = ambang batas yang disepakati, nilai z8 > y8. Standar 2.22: Rata-rata kesalahan entri data berada pada tingkat akurasi yang dapat diterima, yaitu x9 ≤ α9. (Pertanyaan 616 dalam Kuesioner Pengukuran Kualitas) Kesalahan entri yang dimaksud dalam standar ini adalah kesalahan entri per dokumen. Pada saat entri data, dimungkinkan petugas entri melakukan kesalahan/ kekeliruan dalam mengentri data dari hardcopy kuesioner ke dalam program entri. Kesalahan ini harus diidentifikasi untuk menghitung tingkat akurasi/kualitas dari statistik yang dihasilkan. Untuk mengidentifikasi dan menghitung tingkat kesalahan ini, perlu kerjasama antara SM terkait dengan programmer yang menyusun program entri. Rumus penghitungan:
156
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Rata-rata kesalahan entri per dokumen (x9)= Banyaknya kejadian salah entri di setiap dokumen Banyaknya dokumen Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x9 ≤ α9 Level 3 (statistik dapat diterima), jika nilai x9 : α9 + y9 ≥ x9 > α9 Level 2 (statistik dipertanyakan), jika nilai x9 : α9 + z9 ≥ x9 > α9 + y9 Level 1 (statistik buruk), jika nilai x9 > α9 + z9 atau rata-rata kesalahan entri tidak dihitung dimana, α9 = standar yang diterima; x9 = nilai yang diperoleh; y9, z9 = ambang batas yang disepakati, nilai z9 > y9. Standar 2.23:
Tingkat non-response item berada pada level yang masih dapat diterima, yaitu x10 ≤ α10.
(Pertanyaan 617 dalam Kuesioner Pengukuran Kualitas) Non-response item terjadi karena kegagalan dalam memperoleh sebagian informasi dari responden (ada item/isian yang kosong). Contoh, informasi usia kepala rumah tangga pada blok keterangan individu dalam Susenas ternyata masih kosong. Rata-rata tingkat non-response item/isian yang dimaksud di sini adalah nilai rata-rata dari banyaknya non-response item/isian per dokumen (kuesioner). Item/isian dikategorikan sebagai non-response bila tidak diperoleh (kosong) hingga akhir periode pencacahan. Penilaian terhadap standar ini dilakukan pada tahap pengolahan data, ketika data/informasi tersebut akan dientri. Dengan demikian, dapat dikatakan bahwa seluruh data/informasi harus telah tersedia ketika akan dientri, sehingga tidak menghambat kinerja proses pengolahan. Rumus penghitungan: Tingkat nonresponse item per dokumen (x10) = Banyaknya item kosong di setiap dokumen Banyaknya dokumen Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x10 ≤ α10 Level 3 (statistik dapat diterima), jika nilai x10 : α10 + y10 ≥ x10 > α10 Level 2 (statistik dipertanyakan), jika nilai x10 : α10 + z10 ≥ x10 > α10 + y10 Level 1 (statistik buruk), jika nilai x10 > α10 + z10 atau tingkat non-response item tidak dihitung
dimana, α10 = standar yang diterima; x10 = nilai yang diperoleh; y10, z10 = ambang Pedoman Kerangka Penjaminan Kualitas Statistik BPS
157
Lampiran
batas yang disepakati, nilai z10 > y10. Standar 2.24:
Tingkat non-response unit berada pada level yang masih dapat diterima, yaitu x11 ≤ α11.
(Pertanyaan 618 dalam Kuesioner Pengukuran Kualitas) Non-response unit terjadi karena kegagalan dalam memperoleh seluruh informasi dari responden (unit statistik), misal responden menolak untuk diwawancarai, responden tidak dapat ditemui hingga batas waktu yang telah ditentukan, atau responden dalam kondisi tidak memungkinkan untuk diwawancarai (misal, sedang sakit parah). Akibatnya seluruh informasi tidak dapat diisi. Penilaian terhadap standar ini dilakukan pada tahap pengolahan data. Rumus penghitungan: Tingkat nonresponse unit (x11) =
Banyaknya unit yang nonresponse Banyaknya unit
Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x11 ≤ α11 Level 3 (statistik dapat diterima), jika nilai nilai x11 : α11 + y11 ≥ x11 > α11 Level 2 (statistik dipertanyakan), jika nilai nilai x11 : α11 + z11 ≥ x11 > α11 + y11 Level 1 (statistik buruk), jika nilai x11 > α11 + z11 atau tingkat non-response unit tidak dihitung
dimana, α11 = standar yang diterima; x11 = nilai yang diperoleh; y11, z11 = ambang batas yang disepakati, nilai z11 > y11. Standar 2.25:
Rata-rata tingkat imputasi non-response item berada pada tingkat akurasi yang dapat diterima yaitu x12 ≤ α12.
(Pertanyaan 619 dalam Kuesioner Pengukuran Kualitas) Imputasi dilakukan ketika terjadi permasalahan data yang tidak lengkap (missing data). Salah satu penyebab ketidaklengkapan data adalah karena penolakan dari responden untuk menjawab beberapa pertanyaan atau bahkan seluruh pertanyaan. Missing data dapat menyebabkan data hasil observasi tidak dapat dianalisis dengan baik. Imputasi item/isian yang dihitung adalah pengisian isian/item yang non-response dengan metode yang telah disepakati, misalnya pendekatan dengan responden lainnya yang memiliki karakteristik yang serupa. Penilaian terhadap standar ini seharusnya dilakukan di tahap process, namun untuk sementara penerapannya bisa disesuaikan oleh masingmasing SM. Rumus penghitungan:
158
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Tingkat imputasi nonresponse item per dokumen (x12) = Banyaknya imputasi yang dilakukan pada item yang kosong pada setiap dokumen Banyaknya item dokumen
Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x12 ≤ α12 Level 3 (statistik dapat diterima), jika nilai x12 : α12 + y12 ≥ x12 > α12 Level 2 (statistik dipertanyakan), jika nilai x12 : α12 + z12 ≥ x12 > α12 + y12 Level 1 (statistik buruk), jika nilai x12 > α12 + z12 atau tingkat imputasi nonresponse item tidak dihitung. dimana, α12 = standar yang diterima; x12 = nilai yang diperoleh; y12, z12 = ambang batas yang disepakati, nilai z12 > y12. Standar 2.26:
Rata-rata tingkat imputasi non-response unit berada pada tingkat akurasi yang dapat diterima yaitu x13 ≤ α13.
(Pertanyaan 620 dalam Kuesioner Pengukuran Kualitas) Imputasi terhadap non-response unit dilakukan ketika terdapat unit (responden) yang keseluruhan informasinya tidak dapat diperoleh, misal karena menolak dicacah. Imputasi unit yang dihitung di sini adalah imputasi yang dilakukan untuk mengisi informasi/data pada unit yang non-response dengan suatu metode yang memenuhi standar perstatistikan. Penilaian terhadap standar ini dilakukan pada tahap pengolahan data. Rumus penghitungan: Tingkat imputasi nonresponse unit (x13) = Banyaknya imputasi yang dilakukan pada unit yang nonresponse Banyaknya unit Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai x13 ≤ α13 Level 3 (statistik dapat diterima), jika nilai x13: α13 + y13 ≥ x13 > α13 Level 2 (statistik dipertanyakan), jika nilai x13: α13 + z13 ≥ x13 > α13 + y13 Level 1 (statistik buruk), jika nilai x13 > α13 + z13 atau tingkat imputasi nonresponse unit tidak dihitung. Dimana, α13 = standar yang diterima; x13 = nilai yang diperoleh; y13, z13 = ambang batas yang disepakati, nilai z13 > y13. Standar 2.27: Seluruh asumsi dalam model terpenuhi dan didokumentasi. (Pertanyaan 621 dalam Kuesioner Pengukuran Kualitas) Standar ini digunakan apabila pada suatu kegiatan statistik dilakukan
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
159
Lampiran
estimasi statistik dengan menggunakan model tertentu. Sebelum model tersebut diimplementasikan, seluruh asumsi dalam model harus diuji terlebih dahulu untuk memberikan kepastian bahwa hasil estimasi telah valid dan reliable. Hasil pengujian asumsi tersebut harus didokumentasi. Contoh, model regresi linear berganda mensyaratkan pemenuhan asumsi klasik, yaitu asumsi normalitas, non-multikolinieritas, non-autokorelasi, homokedastisitas, dan uji linearitas. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika seluruh asumsi dalam model dapat dipenuhi dan hasil pengujian didokumentasi. Level 3 (statistik dapat diterima), jika hanya sebagian dari asumsi dalam model yang dapat dipenuhi dan hasil pengujian didokumentasi. Level 2 (statistik dipertanyakan), jika seluruh/sebagian asumsi dalam model dapat dipenuhi, namun tidak didokumentasi. Level 1 (statistik buruk), jika seluruh asumsi dalam model tidak terpenuhi, atau tidak melakukan pengujian asumsi.
Standar 2.28: Melakukan analisis dampak dari non-sampling errors, serta hasilnya didokumentasikan dan dipublikasikan. (Pertanyaan 703 dalam Kuesioner Pengukuran Kualitas) Analisis dampak dari non-sampling errors dilakukan pada tahap analisis. Untuk saat ini, format analisis dampak yang dimaksud masih dapat berupa analisis deskriptif mengenai dampak yang timbul akibat terjadinya nonsampling errors terhadap data yang dihasilkan. Pada masa mendatang, analisis ini akan dikembangkan dengan menggunakan metode-metode statistik yang lebih relevan dan representatif. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika melakukan analisis dampak dari nonsampling errors. Hasilnya didokumentasi dan dipublikasi. Level 3 (statistik dapat diterima), jika melakukan analisis dampak dari nonsampling errors. Hasilnya telah didokumentasi, tetapi tidak dipublikasi. Level 2 (statistik dipertanyakan), jika melakukan analisis dampak dari nonsampling errors, tetapi hasilnya tidak didokumentasi. Level 1 (statistik buruk), jika tidak melakukan analisis dampak dari nonsampling errors.
Standar 2.29: Terdapat evaluasi resmi terkait non-sampling error dan hasilnya didokumentasi. (Pertanyaan 905 dalam Kuesioner Pengukuran Kualitas) Selain pada sampling errors, evaluasi resmi juga harus dilakukan terhadap 160
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
kemungkinan non-sampling errors yang terjadi pada kegiatan statistik yang telah dilakukan, sehingga dapat diperoleh informasi yang komprehensif terkait non-sampling errors, dan hasilnya dapat digunakan sebagai bahan perbaikan pada kegiatan statistik berikutnya atau kegiatan statistik lainnya. Hasil evaluasi ini juga lebih ditujukan pada internal penyelenggara kegiatan statistik yakni SM di BPS. Kriteria kualitas yang harus dipenuhi adalah: • • • •
C.
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi terkait non-sampling errors, dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika telah melakukan evaluasi secara resmi terkait non-sampling errors, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi terkait nonsampling errors, tetapi dilakukan secara tidak resmi. Level 1 (statistik buruk), jika tidak melakukan evaluasi terkait non-sampling errors. Dimensi aktualitas & ketepatan waktu (timelines & punctuality)
Timelines adalah dimensi kualitas yang menunjukkan rentang waktu antara ketersediaan informasi dengan kejadian atau fenomena yang dijelaskan (Eurostat, 2009:74), sementara punctuality menunjukan rentang waktu antara rencana dan realisasi penerbitan informasi (Eurostat, 2009:74). Dimensi punctuality merupakan aspek pengukuran dari dimensi timeliness (Brackstone, 1999:144). Seluruh besaran angka yang digunakan dalam pengukuran ini perlu disesuikan dengan kebijakan BPS. Sementara ini, sebagian besar besaran angka yang digunakan masih mengikuti standar NSO Afrika Selatan. 1.
Indikator ke-1: timelines
Standar 1.1:
Waktu publikasi hasil sementara berdasarkan standar waktu yang telah ditentukan yaitu: 0,9 < α ≤ 1.
(Pertanyaan 802 dalam Kuesioner Pengukuran Kualitas) Beberapa kegiatan statistik (terutama berskala besar seperti sensus) sering mencantumkan publikasi hasil sementara. Hal ini dilakukan karena lamanya durasi pengolahan data secara lengkap (keseluruhan), yang berdampak pada penurunan tingkat aktualitas data tersebut. Oleh karena itu, publikasi hasil sementara pada kegiatan sensus hanya mencakup data-data pokok saja. Selain sensus, publikasi hasil sementara juga ditemukan pada beberapa kegiatan statistik lainnya, seperti PDB/PDRB. Pada kasus ini, lebih diakibatkan oleh faktor ketersediaan data yang belum lengkap. Mengingat masalah aktualitas sangat penting dalam publikasi hasil
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
161
Lampiran
sementara, maka periode publikasi tersebut harus berdasarkan standar waktu yang telah ditentukan. Standar waktu ini bervariasi menurut jenis kegiatan statistik, sehingga besaran waktunya perlu didiskusikan dengan SM terkait. Selanjutnya, diukur apakah waktu penyampaian publikasi sementara ini telah sesuai dengan standar waktu tersebut. Waktu publikasi hasil sementara dari suatu kegiatan statistik dinyatakan berkualitas, bila waktu publikasi berselang antara 0,9 dan 1 dari waktu jangka standar atau dinotasikan sebagai: 0,9 < t1 ≤ 1. waktu hasil sementara - akhir periode referensi t1 = waktu yang ditentukan (berdasarkan standar yang ada) Nilai t1 > 1 menunjukan adanya keterlambatan dalam publikasi hasil sementara dari jangka waktu yang telah ditentukan berdasarkan standar yang digunakan. Nilai t1 = 1, berarti bahwa publikasi hasil sementara telah sesuai dengan standar jangka waktu, dan nilai t1 < 1 menunjukkan bahwa pelaksanaan publikasi hasil sementara lebih cepat dari standar waktu yang ditentukan. Percepatan publikasi ini dibatasi pada nilai 0,9 dengan alasan bahwa standar waktu yang ditentukan tersebut telah mempertimbangkan segala aspek dalam pelaksanaannya (atau telah optimal), sehingga apabila hasil yang diperoleh lebih cepat dibanding standar tersebut, dikhawatirkan terdapat pelanggaran dalam pelaksanaannya, atau terdapat indikasi bahwa penyusunan jadwal kurang tepat, sehingga pelaksanaan kegiatan dapat dilakukan lebih cepat. Contoh, pada kegiatan statistik X: – Tanggal realisasi publikasi hasil sementara adalah10 Agustus 2014 – Akhir periode referensi untuk hasil sementara adalah 30 Juni 2014 – Jangka waktu yang ditentukan antara akhir periode referensi dengan tanggal realisasi hasil sementara (berdasarkan standar pelaksanaan kegiatan X): 30 hari – Maka: t1 = (10 Agustus 2014 - 30 Juni 2014)/30 = 41/30 = 1,37 Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai t1: 0,9 < t1 ≤ 1 Level 3 (statistik dapat diterima), jika nilai t1: 1 < t1 ≤ 1,25 Level 2 (statistik dipertanyakan), jika nilai t1: t1 < 0,9 atau t1 ≥ 1,25 Level 1 (statistik buruk), jika hasil sementara tidak dipublikasikan.
Standar 1.2 :
Waktu publikasi hasil akhir sudah berdasarkan pada standar waktu yang telah ditentukan.
(Pertanyaan 803 dalam Kuesioner Pengukuran Kualitas) Sama halnya dengan publikasi hasil sementara, publikasi hasil akhir juga harus mempertimbangkan aktualitas dari fenomena yang diwakilinya. Oleh karena itu, penentuan tanggal publikasi hasil akhir harus mempertimbangkan periode referensi dari data yang dikumpulkan. Waktu publikasi hasil akhir dari
162
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
suatu kegiatan statistik dinyatakan berkualitas, bila waktu publikasi berselang antara 0,9 dan 1 dari waktu jangka standar atau dinotasikan sebagai: 0,9 < t2 ≤ 1 waktu hasil akhir - akhir periode referensi t2 = waktu yang ditentukan (berdasarkan standar yang ada) Nilai t2 > 1 menunjukan adanya keterlambatan dalam publikasi hasil akhir dari jangka waktu yang telah ditentukan berdasarkan standar yang digunakan. Nilai t2 = 1, berarti bahwa publikasi hasil akhir telah sesuai dengan standar jangka waktunya, dan nilai t2 < 1 menunjukkan bahwa waktu publikasi hasil akhir lebih cepat dari standar waktu yang ditentukan. Percepatan publikasi ini dibatasi pada nilai 0,9 dengan alasan bahwa standar waktu yang ditentukan tersebut telah mempertimbangkan segala aspek dalam pelaksanaannya (atau telah optimal), sehingga apabila hasil yang diperoleh lebih cepat dibanding standar tersebut, dikhawatirkan terdapat pelanggaran dalam pelaksanaannya, atau terdapat indikasi bahwa penyusunan jadwal kurang tepat, sehingga pelaksanaan kegiatan dapat dilakukan lebih cepat. Contoh, pada kegiatan statistik X: – Tanggal realisasi publikasi hasil akhir adalah 10 April 2014 – Akhir periode referensi untuk hasil akhir adalah 31 Maret 2014 – Jangka waktu yang ditentukan antara akhir periode referensi dengan tanggal realisasi hasil akhir (berdasarkan standar pelaksanaan kegiatan X): 10 hari – Maka: t2 = (10 April 2014 - 31 Maret 2014)/10 = 10/10 = 1 Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai t2: 0,9 < t2 ≤ 1 Level 3 (statistik dapat diterima), jika nilai t2: 1 < t2 ≤ 1,25 Level 2 (statistik dipertanyakan), jika nilai t2 < 0,9 atau t2 ≥ 1,25 Level 1 (statistik buruk), jika hasil sementara tidak dipublikasikan
Standar 1.3: Melakukan evaluasi resmi terkait keterkinian dari output statistik yang dihasilkan. (Pertanyaan 906 dalam Kuesioner Pengukuran Kualitas) Evaluasi terhadap aktualisasi dari output statistik yang dihasilkan harus dilakukan dalam rangka perbaikan/peningkatan kualitas (terutama pada dimensi aktualitas) pada kegiatan statistik selanjutnya, sekaligus dapat meningkatkan pemanfaatan output statistik tersebut oleh para pengguna. Proses evaluasi ini dilakukan secara resmi, dan hasilnya harus didokumentasi. Kriteria kualitas yang harus dipenuhi adalah: •
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi terkait keterkinian dari output statistik yang dihasilkan dan hasilnya didokumentasi. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
163
Lampiran
•
• • 2.
Level 3 (statistik dapat diterima), jika telah melakukan evaluasi secara resmi terkait keterkinian dari output statistik yang dihasilkan, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika telah melakukan evaluasi terkait keterkinian dari output statistik yang dihasilkan, namun bersifat tidak resmi. Level 1 (statistik buruk), jika tidak melakukan evaluasi terkait keterkinian dari output statistik yang dihasilkan. Indikator ke-2 : punctuality
Standar 2.1 : Terdapat perencanaan secara resmi yang mengatur jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik. (Pertanyaan 306 dalam Kuesioner Pengukuran Kualitas) Sebagaimana dikemukakan di atas, ketepatan waktu (punctuality) merupakan salah satu aspek pengukuran dari aktualitas output statistik yang dihasilkan (Brackstone, 1999:144), sehingga ketidaktepatan waktu realisasi dengan jadwal yang telah direncanakan akan berdampak langsung pada aktualitas dari output statistik yang dihasilkan. Dengan demikian, perancangan jadwal pelaksanaan kegiatan tersebut berperan penting dalam pelaksanaan suatu kegiatan statistik. Apabila jadwal terlalu ketat atau kurang realistis untuk diimplementasikan, maka keterlambatan kemungkinan besar akan terjadi. Sebaliknya, bila jadwal tersebut terlalu longgar, maka akan terjadi pemborosan sumber daya yang digunakan. Sama halnya dengan perancangan jadwal, update terhadap progress pelaksanaan kegiatan juga berperan penting. Hal ini berguna dalam penyusunan strategi perbaikan dan pemanfaatan sumber daya jika terjadi keterlambatan, sehingga jadwal rilis atau publikasi dapat terpenuhi. Contoh, pada kegiatan statistik Y telah disusun jadwal kegiatan sebagai berikut: – Penyusunan dokumen: 1 s.d. 30 Maret 2015 – Penggandaan dokumen: 1 s.d. 15 April 2015 – Pengiriman dokumen: 10 s.d. 24 April 2015 – Pelatihan petugas: 25 April 2015 s.d. 5 Mei 2015 Dalam rangka mengevaluasi progress dari pelaksanaan setiap item di atas, disusun jadwal update terhadap progress sebagai berikut: – Update progress penyusunan dokumen: 25 Maret 2015 – Update progress penggandaan dokumen: 10 April 2015 – Update progress pengiriman dokumen: 20 April 2015 – Update progress pelatihan petugas: 30 April 2015
164
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Dengan adanya jadwal update progress tersebut, apabila pelaksanaan suatu item kegiatan mengalami kendala atau keterlambatan, maka harus diambil tindakan-tindakan yang dianggap perlu, dengan mempertimbangkan dua kemungkinan, yaitu (1) jadwal item kegiatan berikutnya tidak berubah atau (2) jadwal item kegiatan berikutnya terpaksa mengalami perubahan. Kedua kemungkinan tersebut tentunya memiliki konsekuensi-konsekuensi berbeda yang harus ditanggung pihak pelaksana kegiatan. Kriteria kualitas yang harus dipenuhi adalah: •
• • •
Level 4 (statistik berkualitas), jika terdapat perencanaan secara resmi yang mengatur jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik. Level 3 (statistik dapat diterima), jika terdapat perencanaan secara resmi yang hanya mengatur mengenai jadwal kegiatan saja. Level 2 (statistik dipertanyakan), jika terdapat perencanaan yang mengatur mengenai jadwal kegiatan dan jadwal update, namun bersifat tidak resmi. Level 1 (statistik buruk), jika tidak terdapat perencanaan jadwal kegiatan.
Standar 2.2 : Terdapat perencanaan mengenai jadwal rutin pertemuan antar bagian pelaksana kegiatan statistik untuk membahas permasalahan kegiatan. (Pertanyaan 307 dalam Kuesioner Pengukuran Kualitas) Perencanaan mengenai jadwal pertemuan rutin antar bagian-bagian/ pihak-pihak yang terlibat dalam pelaksanaan suatu kegiatan statistik untuk membahas permasalahan yang terjadi sangat diperlukan, untuk mengatasi permasalahan sedini mungkin, sehingga kerugian yang diakibatkan dapat diminimalisir. Untuk mewujudkan hal ini, dibutuhkan komitmen yang kuat dari seluruh bagian tersebut. Kriteria kualitas yang harus dipenuhi adalah: • •
• •
Level 4 (statistik berkualitas), jika terdapat jadwal pertemuan rutin dan terdapat komitmen seluruh bagian untuk memecahkan masalah. Level 3 (statistik dapat diterima), jika terdapat jadwal pertemuan rutin, namun tidak semua bagian memiliki komitmen untuk memecahkan masalah. Level 2 (statistik dipertanyakan), jika terdapat jadwal pertemuan, namun masih bersifat tidak rutin (add hoc). Level 1 (statistik buruk), jika tidak terdapat jadwal pertemuan.
Standar 2.3 :
Terdapat kesesuaian antara jadwal dan realisasi pada tahap pengumpulan data.
(Pertanyaan 505 dalam Kuesioner Pengukuran Kualitas)
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
165
Lampiran
Pengumpulan data biasanya dijadwalkan selama durasi tertentu. Mengingat jadwal tersebut disusun berdasarkan hasil ujicoba atau gladi atau pengalaman dari pelaksanaan kegiatan sebelumnya, maka jadwal tersebut dianggap telah mempertimbangkan beragam aspek sehingga dapat direalisasikan. Selain itu, mengingat hasil pengumpulan data akan digunakan dalam tahapan kegiatan berikutnya, maka realisasi pengumpulan data harus bersesuaian dengan jadwal tersebut. Dalam standar ini, kesesuaian antar keduanya dinotasikan dengan t3 ≤ 1, dimana t3 =
durasi sebenarnya - rencana durasi +1 rencana durasi
Nilai t3 > 1 menunjukan bahwa durasi realisasi pengumpulan data melebihi durasi waktu yang direncanakan; nilai t3 = 1 menunjukkan bahwa durasi realisasi pengumpulan data telah tepat dengan durasi waktu yang disediakan, dan nilai t3 < 1 menunjukkan bahwa durasi realisasi pengumpulan data lebih cepat dari yang waktu dijadwalkan. Contoh: – Durasi dari rencana pengumpulan data: 31 hari – Durasi dari realisasi pengumpulan data: 31 hari – Maka t3 = [(31 – 31)/31] + 1 = 1 Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai t3 ≤ 1 kali dari waktu pengumpulan data yang direncanakan Level 3 (statistik dapat diterima), jika nilai t3: 1 < t3 < 1,25 kali dari waktu pengumpulan data yang direncanakan Level 2 (statistik dipertanyakan), jika nilai t3: 1,25 ≤ t3 < 1,5 kali dari waktu pengumpulan data yang direncanakan Level 1 (statistik buruk), jika nilai t3 ≥ 1,5 kali dari waktu pengumpulan data yang direncanakan
Standar 2.4 : Untuk sumber data administratif, terdapat peraturan yang mengatur tentang ketersediaan data administrasi pada waktu yang telah disepakati. (Pertanyaan 506 dalam Kuesioner Pengukuran Kualitas) Pengumpulan data yang bersumber dari data administratif mensyaratkan tersedianya suatu kesepakatan (Memorandum of Understanding, MoU) yang mengatur tentang jadwal/waktu penyerahan data antara pihak pemberi data dengan BPS. Dengan adanya MoU ini, BPS akan lebih mudah menyusun jadwal pelaksanaan kegiatan statistik, sekaligus memberi kepastian terhadap kelancaran pelaksanan kegiatan. Bagi penyedia data, MoU ini akan lebih mendorong mereka dalam melakukan penyiapan data yang diperlukan BPS, karena pemanfaatan
166
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
data tersebut telah jelas. MoU ini seharusnya senantiasa diperbaharui secara berkala untuk memberi kepastian hukum dalam penyediaan data administratif. Contoh kegiatan statistik dalam kelompok ini adaah Podes dan Ekspor-Impor. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika terdapat MoU yang didokumentasi dan diperbaharui secara berkala. Level 3 (statistik dapat diterima), jika terdapat MoU yang didokumentasi, tetapi tidak diperbaharui secara berkala. Level 2 (statistik dipertanyakan), jika hanya terdapat kesepakatan secara tertulis, namun bukan merupakan MoU. Level 1 (statistik buruk), jika tidak terdapat kesepakatan tertulis dalam pelaksanaan pengumpulan data administratif.
Standar 2.5 :
Terdapat kesesuaian antara jadwal dan realisasi pengolahan data.
(Pertanyaan 622 dalam Kuesioner Pengukuran Kualitas) Sama halnya dengan tahapan proses pengumpulan data, kesesuaian antara jadwal dan realisasi juga diukur dalam tahapan pengolahan data. Hal ini penting untuk memberi kepastian bahwa rencana jadwal yang telah disusun benarbenar implementatif ketika dilaksanakan, sekaligus memberi kepastian bahwa tahapan kegiatan berikutnya dapat berjalan sesuai jadwal yang direncanakan. Dalam standar ini, kesesuaian antar jadwal dan realisasinya dinotasikan dengan t4 ≤ 1. t4 =
durasi sebenarnya - rencana durasi rencana durasi
+1
Nilai t4 > 1 menunjukan bahwa durasi realisasi pengolahan data melebihi durasi waktu yang direncanakan, nilai t4 = 1 menunjukkan bahwa durasi realisasi pengolahan data telah tepat dengan durasi waktu yang disediakan, dan nilai t4 < 1 menunjukkan bahwa durasi realisasi pengolahan data lebih cepat dari yang waktu dijadwalkan. Contoh: – Durasi rencana pengolahan data: 31 hari (1 s.d. 31 Mei 2015) – Durasi realisasi pengolahan data: 41 hari (1 Mei s.d. 10 Juni 2015) – Maka t4 = [(41 – 31)/31] + 1 = 1,32 Kriteria kualitas yang harus dipenuhi adalah: • •
Level 4 (statistik berkualitas), jika nilai t4 ≤ 1 kali dari waktu pengolahan data yang direncanakan. Level 3 (statistik dapat diterima), jika nilai t4: 1 < t4 < 1,25 kali dari waktu pengolahan data yang direncanakan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
167
Lampiran
• •
Level 2 (statistik dipertanyakan), jika nilai t4: 1,25 ≤ t4 < 1,5 kali dari waktu pengolahan data yang direncana. Level 1 (statistik buruk), jika nilai t4 ≥ 1,5 kali dari waktu pengolahan data yang direncanakan.
Standar 2.6 :
Jumlah perbaikan aplikasi pengolahan data yang dilakukan setelah proses entry data dimulai.
(Pertanyaan 623 dalam Kuesioner Pengukuran Kualitas) Keterlambatan rilis atau publikasi data juga dapat disebabkan oleh ketidaklengkapan/ketidaksempurnaan aplikasi pengolahan data yang diwujudkan dengan munculnya kesalahan/error. Kesalahan tersebut dapat memperlambat pelaksanaan pengolahan data, atau bahkan harus dilakukan entry ulang. Jumlah perbaikan dalam suatu aplikasi pengolahan dapat berbeda sesuai jenis kegiatan statistik. Pada hakekatnya, belum ditemukan referensi yang menunjukkan adanya NSO yang menerapkan standar ini, sehingga jumlah perbaikan yang disyaratkan dalam setiap tingkatan kualitas baru bersifat usulan. Penerapan standar ini di BPS dianggap penting, karena masalah ini sering terjadi yang menyebabkan realisasi pelaksanaan pengolahan data tidak sesuai dengan jadwal yang direncanakan. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika tidak ada perbaikan program aplikasi pengolahan data (program sudah lengkap/sempurna). Level 3 (statistik dapat diterima), jika terdapat 1-2 kali perbaikan program . Level 2 (statistik dipertanyakan), jika terdapat 3-4 kali perbaikan program. Level 1 (statistik buruk), jika terdapat lebih dari 4 kali perbaikan program, atau program tidak diperbaiki ketika terjadi kesalahan.
Standar 2.7:
Terdapat kesesuaian antara jadwal dan realisasi analisis data.
(Pertanyaan 704 dalam Kuesioner Pengukuran Kualitas) Keterlambatan dalam tahapan proses analisis data, juga akan berakibat langsung terhadap keterlambatan publikasi output statistik. Oleh karena itu, jadwal analisis yang telah disusun harus dilaksanakan tepat pada waktunya. Kesesuaian antara durasi jadwal dan realisasi analisis data dinotasikan dengan t5 ≤ 1. t5 =
durasi sebenarnya - rencana durasi rencana durasi
+1
Nilai t5 > 1 menunjukan bahwa durasi realisasi analisis data melebihi durasi waktu yang direncanakan, nilai t5 = 1 menunjukkan bahwa durasi realisasi analisis data telah tepat dengan durasi waktu yang disediakan, dan nilai t5 < 1
168
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
menunjukkan bahwa durasi realisasi analisis data lebih cepat dari yang waktu dijadwalkan Contoh: – Durasi rencana analisis data: 60 hari (1 Juni s.d. 30 Juli 2015) – Durasi realisasi analisis data: 55 hari (1 Juni s.d. 25 Juli 2015) – Maka t5 = [(55 – 60)/60] + 1 = 0,91 Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai t5 ≤ 1 kali dari waktu analisis data yang direncanakan. Level 3 (statistik dapat diterima), jika nilai t5: 1 < t5 < 1,25 kali dari waktu analisis data yang direncanakan. Level 2 (statistik dipertanyakan), jika nilai t5: 1,25 ≤ t5 < 1,5 kali dari waktu analisis data yang direncanakan. Level 1 (statistik buruk), jika nilai t5 ≥ 1,5 kali dari waktu analisis data yang direncanakan.
Standar 2.8:
Terdapat kesesuaian antara durasi jadwal dengan realisasi diseminasi output statistik sementara.
(Pertanyaan 804 dalam Kuesioner Pengukuran Kualitas) Standar ini hanya digunakan ketika suatu kegiatan statistik menghasilkan output statistik sementara. Meskipun bersifat sementara, durasi yang dibutuhkan untuk melakukan rilis/publikasi harus ditentukan sejak awal, dan ditepati. Konsep sementara pada output tersebut harus disampaikan secara jelas ke publik (pengguna data). Demikian pula rentang waktu pemberlakuan output sementara tersebut juga harus dipertegas. Harus dihindari pencantuman status sementara pada output dalam kurun waktu lama (tergantung jenis kegiatan statistiknya) untuk memberikan kepastian kepada pengguna data. Kesesuaian antara durasi jadwal dan realisasi diseminasi output statistik sementara dinotasikan dengan t6 ≤ 1. t6 =
durasi sebenarnya - rencana durasi rencana durasi
+1
Nilai t6 > 1 menunjukan bahwa durasi realisasi dari diseminasi output statistik sementara melebihi durasi waktu yang direncanakan, nilai t6 = 1 menunjukkan bahwa durasi realisasi dari diseminasi output statistik sementara telah sesuai dengan durasi waktu yang disediakan, dan nilai t6 < 1 menunjukkan bahwa durasi realisasi dari diseminasi output statistik sementara lebih cepat dari durasi waktu yang dijadwalkan. Contoh penghitungan level kualitas pada rincian ini adalah:
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
169
Lampiran
Durasi yang direncanakan untuk mendiseminasi output statistik sementara adalah 90 hari (3 bulan) sejak data terakhir dikumpulkan. Namun, output tersebut terlambat didiseminasi selama 10 hari. Maka nilai t6 = [(100 – 90)/90] + 1 = 1,18. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika nilai t6 ≤ 1 kali dari waktu diseminasi output statistik sementara yang direncanakan. Level 3 (statistik dapat diterima), jika nilai t6: 1 < t6 < 1,25 kali dari waktu diseminasi output statistik sementara yang direncanakan. Level 2 (statistik dipertanyakan), jika nilai t6: 1,25 ≤ t6 < 1,5 kali dari waktu diseminasi output statistik sementara yang direncanakan. Level 1 (statistik buruk), jika nilai t6 ≥ 1,5 kali dari waktu diseminasi output statistik sementara yang direncanakan.
Standar 2.9:
Terdapat kesesuaian antara durasi jadwal dan realisasi diseminasi output statistik akhir.
(Pertanyaan 805 dalam Kuesioner Pengukuran Kualitas) Rincian ini bertujuan untuk melihat kesesuaian antara durasi realisasi dari diseminasi akhir output statistik dengan durasi jadwal yang telah direncanakan. Kesesuaian antara durasi jadwal dan realisasi diseminasi output statistik akhir dinotasikan dengan t7 ≤ 1. t7 =
durasi sebenarnya - rencana durasi rencana durasi
+1
Nilai t7 > 1 menunjukan bahwa durasi realisasi dari diseminasi output statistik akhir melebihi durasi waktu yang direncanakan, nilai t7 = 1 menunjukkan bahwa durasi realisasi dari diseminasi output statistik akhir telah sesuai dengan durasi waktu yang disediakan, dan nilai t7 < 1 menunjukkan bahwa durasi realisasi dari diseminasi output statistik akhir lebih cepat dari durasi waktu yang dijadwalkan. Contoh kasus pada rincian ini sama dengan pada Pertanyaan 804. Kriteria kualitas yang harus dipenuhi adalah: • • • •
170
Level 4 (statistik berkualitas), jika nilai t7 ≤ 1 kali dari waktu diseminasi output statistik akhir yang direncanakan. Level 3 (statistik dapat diterima), jika nilai t7: 1 < t7 < 1,25 kali dari waktu diseminasi output statistik akhir yang direncanakan. Level 2 (statistik dipertanyakan), jika nilai t7: 1,25 ≤ t7 < 1,5 kali dari waktu diseminasi output statistik akhir yang direncanakan. Level 1 (statistik buruk), jika nilai t7 ≥ 1,5 kali dari waktu diseminasi output statistik akhir yang direncanakan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Standar 2.10: Jika terjadi keterlambatan diseminasi output statistik, penyebab keterlambatan tersebut disampaikan kepada pengguna. (Pertanyaan 806 dalam Kuesioner Pengukuran Kualitas) Standar ini bertujuan untuk memberikan penjelasan kepada pengguna (khususnya pengguna utama) terkait keterlambatan yang terjadi pada output statistik yang akan didiseminasi, termasuk faktor-faktor penyebab keterlambatan tersebut. Informasi ini disampaikan ke para pangguna tanpa harus menunggu adanya pertanyaan dari para pengguna. Hal ini sebagai wujud pelayanan BPS kepada publik dalam bentuk transparansi informasi yang harus diketahui para pengguna terkait pelaksanaan suatu kegiatan statistik, sekaligus sebagai bentuk transparansi BPS dalam diseminasi output yang dihasilkan. Keterlambatan yang terjadi berikut informasi penyebabnya tersebut harus dilaporkan kepada atasan (pejabat terkait). Kriteria kualitas yang harus dipenuhi adalah: •
•
• •
Level 4 (statistik berkualitas), jika keterlambatan diseminasi dijelaskan kepada para pengguna, didokumentasikan, dan dilaporkan kepada atasan (pejabat terkait); atau tidak terjadi keterlambatan diseminasi Level 3 (statistik dapat diterima), jika keterlambatan diseminasi dijelaskan kepada para pengguna dan didokumentasikan, namun tidak dilaporkan kepada atasan (pejabat terkait) Level 2 (statistik dipertanyakan), jika keterlambatan diseminasi telah dijelaskan kepada pengguna, namun tidak didokumentasikan Level 1 (statistik buruk), jika keterlambatan diseminasi tidak/belum dijelaskan kepada para pengguna
Standar 2.11: Terdapat evaluasi resmi terkait jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik. (Pertanyaan 907 dalam Kuesioner Pengukuran Kualitas) Penyusunan rencana jadwal kegiatan serta mekanisme peng-updateannya telah dilakukan pada tahap desain, dan diimplementasikan sesuai tahapan kegiatan statistik. Untuk mengetahui apakah implementasi tersebut telah berjalan sesuai rencana, harus dilakukan suatu evaluasi secara resmi yang melibatkan SM terkait. Hasil evaluasi tersebut dapat digunakan sebagai bahan perbaikan terkait perencanaan jadwal kegiatan statistik dan mekanisme pengupdate-annya pada kegiatan statistik berikutnya. Kriteria kualitas yang harus dipenuhi adalah: •
Level 4 (statistik berkualitas), jika terdapat evaluasi secara resmi terkait jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
171
Lampiran
• • •
Level 3 (statistik dapat diterima), jika terdapat evaluasi secara resmi yang hanya terkait jadwal kegiatan saja. Level 2 (statistik dipertanyakan), jika terdapat evaluasi terkait jadwal kegiatan dan jadwal update, namun bersifat tidak resmi. Level 1 (statistik buruk), jika tidak terdapat evaluasi terkait jadwal kegiatan dan jadwal update.
Standar 2.12: Terdapat evaluasi secara resmi terkait ketepatan waktu pelaksanaan kegiatan statistik, dan hasilnya didokumentasikan. (Pertanyaan 908 dalam Kuesioner Pengukuran Kualitas) Evaluasi secara resmi juga harus dilakukan terhadap ketepatan waktu pelaksanaan setiap tahapan kegiatan statistik, dimana hasil evaluasi tersebut didokumentasi. Evaluasi tersebut dibutuhkan untuk perbaikan/meningkatkan ketepatan waktu proses kegiatan statistik berikutnya, agar tidak terjadi keterlambatan dalam rilis output statistik. Kriteria kualitas yang harus dipenuhi adalah: • •
•
•
Level 4 (statistik berkualitas), jika melakukan evaluasi ketepatan waktu pelaksanaan kegiatan statistik secara resmi dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika melakukan evaluasi ketepatan waktu pelaksanaan kegiatan statistik secara resmi, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi ketepatan waktu pelaksanaan kegiatan statistik, namun bersifat tidak resmi (dapat berupa inisiatif perorangan). Level 1 (statistik buruk), jika tidak melakukan evaluasi ketepatan waktu pelaksanaan kegiatan statistik.
D. Dimensi Aksesibilitas (Accessibility) 1.
Indikator ke-1: kebijakan pengaksesan data, metadata, dan informasi
Standar 1.1: Terdapat dokumen terkait prosedur/kebijakan kontrol yang memastikan bahwa output statistik yang akan didiseminasikan tidak melanggar aturan kerahasiaan dan integritas data. Hak akses yang dimaksud adalah hak akses atas suatu output statistik yang didiseminasikan, baik secara internal maupun eksternal. Secara internal, hal ini berkaitan dengan integritas data, seperti siapa saja yang berhak merubah data, sedangkan secara eksternal berkaitan dengan kerahasiaan data, seperti
172
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
data apa saja yang dapat diakses oleh pihak tertentu, atau data apa saja yang dapat diakses secara umum. Poin-poin tersebut harus tercantum dalam suatu prosedur/kebijakan yang berfungsi sebagai kontrol yang memastikan bahwa output statistik yang didiseminasikan tidak melanggar aturan kerahasiaan dan integritas data. Standar ini berlaku pada dua tahapan yaitu pada tahap desain dan analisis. Standar 1.1.1: Terdapat rancangan prosedur/kebijakan yang mengatur hak akses (kerahasiaan dan integritas data) terhadap output statistik. (Pertanyaan 316 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, dirancang suatu prosedur/kebijakan yang mengatur hak akses data. Adapun kriteria kualitas yang harus dipenuhi adalah: •
•
•
•
Level 4 (statistik berkualitas), jika terdapat rancangan prosedur/kebijakan yang mengatur hak akses data terkait kerahasiaan dan integritas data, dan didokumentasikan. Level 3 (statistik dapat diterima), jika terdapat rancangan prosedur/ kebijakan yang mengatur hak akses data terkait kerahasiaan atau integritas data, dan didokumentasikan. Level 2 (statistik dipertanyakan), jika terdapat rancangan prosedur/ kebijakan yang mengatur hak akses data terkait kerahasiaan dan/atau integritas data, namun tidak didokumentasikan. Level 1 (statistik buruk), jika tidak terdapat rancangan prosedur/kebijakan yang mengatur hak akses data terkait kerahasiaan dan/atau integritas data.
Standar 1.1.2: Tersedia dokumen mengenai prosedur/kebijakan kontrol yang memastikan bahwa output statistik yang didiseminasikan tidak melanggar aturan kerahasiaan dan integritas data. (Pertanyaan 710 dalam Kuesioner Pengukuran Kualitas) Pada tahap analisis, standar ini ditujukan untuk memastikan ketersediaan dokumen prosedur/kebijakan yang mengatur hak akses terhadap data. Adapun kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika ada dokumen prosedur/kebijakan terkait kerahasiaan data dan integritas data. Level 3 (statistik dapat diterima), jika ada dokumen prosedur/kebijakan terkait kerahasiaan data atau integritas data. Level 2 (statistik dipertanyakan), jika ada prosedur/kebijakan tetapi tidak terdokumentasi. Level 1 (statistik buruk), jika tidak ada prosedur/kebijakan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
173
Lampiran
Standar 1.2: Pengguna dapat mengakses prosedur/kebijakan terkait akses data. (Pertanyaan 807 dalam Kuesioner Pengukuran Kualitas) Prosedur/kebijakan yang dimaksud adalah prosedur/kebijakan yang berfungsi sebagai kontrol untuk memastikan bahwa output statistik yang didiseminasikan tidak melanggar aturan kerahasiaan dan integritas data (berkaitan dengan Standar 1.1.2). Prosedur/ kebijakan tersebut harus didokumentasi dan dapat diakses secara mudah oleh para pengguna. Dokumentasi tersebut dapat berupa hardcopy maupun softcopy. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika terdapat dokumen prosedur/kebijakan terkait akses data dan dapat diakses para pengguna. Level 3 (statistik dapat diterima), jika terdapat dokumen prosedur/kebijakan terkait akses data, tetapi tidak dapat diakses. Level 2 (statistik dipertanyakan), jika terdapat prosedur/kebijakan terkait akses data, tetapi tidak terdokumentasi. Level 1 (statistik buruk), jika tidak terdapat prosedur/kebijakan terkait akses data; atau terdapat prosedur/kebijakan terkait akses data tetapi tidak bersifat formal.
Standar 1.3:
Terdapat kebijakan terkait biaya/harga diseminasi output statistik dan mudah diakses.
(Pertanyaan 808 dalam Kuesioner Pengukuran Kualitas) Untuk memperoleh suatu output statistik, pengguna dapat memperoleh secara gratis (tanpa biaya) atau dengan biaya/harga tertentu. Besaran biaya ini harus merujuk pada suatu peraturan sehingga memiliki legalitas hukum. Biaya atas diseminasi output statistik BPS merupakan salah satu jenis penerimaan negara bukan pajak (PNBP) yang merujuk pada Peraturan Pemerintah Republik Indonesia (PP) nomor 54 tahun 2009. Dalam peraturan tersebut, yang termasuk PNBP diantaranya : a. Penjualan publikasi cetakan; b. Penjualan publikasi elektronik/softcopy; c. Penjualan data mentah d. Penjualan peta digital wilayah Dalam PP tersebut juga disebutkan biaya tarif per masing-masing output statistik. Kriteria kualitas yang harus dipenuhi adalah: •
174
Level 4 (statistik berkualitas), jika terdapat dokumen kebijakan terkait biaya/harga diseminasi output statistik, dan mudah diakses. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
• • •
Level 3 (statistik dapat diterima), jika terdapat terdapat dokumen kebijakan terkait biaya/harga diseminasi output statistik, tetapi tidak dapat diakses. Level 2 (statistik dipertanyakan), jika terdapat kebijakan terkait biaya/harga diseminasi output statistik, tetapi tidak didokumentasi. Level 1 (statistik buruk), jika tidak terdapat kebijakan terkait biaya/harga diseminasi output statistik; atau terdapat kebijakan tetapi tidak bersifat formal.
Standar 1.4: Melakukan evaluasi secara resmi terkait akses output statistik yang dihasilkan. (Pertanyaan 912 dalam Kuesioner Pengukuran Kualitas) Evaluasi secara resmi terkait akses output statistik yang dihasilkan bertujuan untuk memastikan bahwa para pengguna telah dapat mengakses output tersebut secara mudah melalui beragam media dan format yang disediakan. Dalam evaluasi ini, dapat dicantumkan pendapat atau komentar dari para pengguna atas akses tersebut, sehingga dapat diperoleh informasi penting dalam rangka meningkatkan pelayanan akses data. Evaluasi juga dapat mencakup fasilitas media yang tersedia dibandingkan dengan perkembangan sarana/infrastruktur IT yang sedang berkembang, dalam rangka optimalisasi kemudahan akses data. Kegiatan evaluasi tersebut harus dilakukan secara resmi dengan melibatkan SM terkait, dan hasil evaluasi harus didokumentasikan. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika melakukan evaluasi secara resmi, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak). Level 1 (statistik buruk), jika tidak melakukan evaluasi.
Standar 1.5: Melakukan evaluasi secara resmi terkait manajemen dokumentasi dari setiap tahap kegiatan statistik. (Pertanyaan 913 dalam Kuesioner Pengukuran Kualitas) Rincian ini mengatur mengenai proses evaluasi terkait kemudahan akses dokumentasi dari masing-masing tahapan kegiatan yang dilakukan oleh pihak internal BPS. Manajemen pengarsipan menyangkut pengelolaan pengarsipan termasuk penanggung jawab, pelaksana, bagaimana penyimpanan serta bagaimana akses terhadap dokumen tersebut. Tujuan dari evaluasi ini adalah untuk keperluan internal yaitu untuk kemudahan akses oleh pihak tertentu pada saat diperlukan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
175
Lampiran
Sebagai contoh, pada saat akan melaksanakan SE2016, pihak pelaksana SE2016 membutuhkan dokumentasi tahapan pencacahan SE2006 sebagai bahan untuk membuat perencanaan. Jika manajemen dokumentasi SE2006 dilakukan dengan baik, maka pihak pelaksana SE2016 tidak akan mengalami kesulitan saat mengakses dokumen tersebut. Kegiatan evaluasi tersebut harus dilakukan secara resmi dengan melibatkan SM terkait, dan hasil evaluasi harus didokumentasikan. Kriteria kualitas yang harus dipenuhi adalah: •
•
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika melakukan evaluasi secara resmi, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak). Level 1 (statistik buruk), jika tidak melakukan evaluasi.
2.
Indikator ke-2: media Akses
• •
Standar 2.1: Output statistik dapat diakses melalui berbagai media dengan mekanisme yang menjamin kerahasiaan output statistik tersebut. Output statistik yang dihasilkan BPS harus dapat diakses melalui beragam media yang telah disepakati dengan pengguna utama, sehingga standar ini lebih difokuskan kepada pihak pengguna. Oleh karena itu, standar ini hanya menggunakan kerahasiaan sebagai salah satu bagian dari sistem keamanan26. Penjaminan kerahasiaan pada media akses dapat disesuaikan dengan media yang digunakan. Contoh, penggunaan firewall pada media akses website, atau penggunaan watermark pada media akses. Akses dari berbagai media yang dimaksud di sini adalah semua media yang telah disepakati dengan pengguna utama, sedangkan media terbatas berarti bahwa tidak semua media yang telah disepakati dapat diakses. Standar ini berlaku pada dua tahapan yaitu pada tahap desain dan diseminasi statistik. Standar 2.1.1: Terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai media, dan rancangan mengenai penjaminan kerahasiaan output tersebut. (Pertanyaan 317 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, harus dirancang suatu media yang akan digunakan pada saat diseminasi, sesuai kesepakatan dengan pengguna utama berikut penjaminan kerahasiaannya. Adapun kriteria kualitas yang harus dipenuhi adalah: 26 176
Sistem keamanan dibagi menjadi: aksesibilitas, kerahasiaan, dan interitas
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
•
•
•
•
Level 4 (statistik berkualitas), jika terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai media, dan terdapat rancangan kerahasiaan secara menyeluruh. Level 3 (statistik dapat diterima), jika terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai media, namun rancangan kerahasiaan belum menyeluruh. Level 2 (statistik dipertanyakan), jika terdapat rancangan mengenai output statistik yang dapat diakses melalui beberapa media, tetapi belum terdapat rancangan mekanisme untuk mengatur kerahasiaan. Level 1 (statistik buruk), jika belum terdapat rancangan media yang menjamin kerahasiaan data dan informasi.
Standar 2.1.2: Output statistik yang dihasilkan dapat diakses melalui media dengan mekanisme kerahasiaan yang sesuai rencana. (Pertanyaan 809 dalam Kuesioner Pengukuran Kualitas) Pada standar 2.1.1, dilakukan perancangan jenis/jumlah media termasuk mekanisme kerahasiaan yang akan digunakan para pengguna untuk mengakses output statistik yang dihasilkan BPS, dimana ragam media tersebut telah disepakati dengan pengguna utama. Pada tahap diseminasi, rancangan tersebut dimplementasikan dan harus bersesuaian antara rancangan dan implementasinya. Dengan demikian, standar ini bertujuan untuk memastikan bahwa implementasi dari media diseminasi output statistik (termasuk mekanisme kerahasiaan) telah sesuai dengan rencana, atau apakah seluruh media akses yang telah disepakati dan dirancang benar-benar dapat digunakan. Kriteria kualitas yang harus dipenuhi adalah: • •
•
•
Level 4 (statistik berkualitas), jika output statistik dapat diakses melalui media dengan mekanisme kerahasiaan yang sesuai dengan hasil perancangan. Level 3 (statistik dapat diterima), jika output statistik dapat diakses melalui media sesuai perancangan, namun mekanisme kerahasiaan belum sesuai dengan hasil perancangan . Level 2 (statistik dipertanyakan), jika output statistik dapat diakses melalui media sesuai rancangan, belum terdapat mekanisme untuk mengatur kerahasiaan. Level 1 (statistik buruk), jika output statistik dapat diakses melalui media tetapi tidak sesuai dengan hasil perancangan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
177
Lampiran
3.
Indikator ke-3: format data dan metadata
Standar 3.1: Output statistik tersedia dalam berbagai format dengan mekanisme yang menjamin kerahasiaan output statistik tersebut. Output statistik yang dihasilkan BPS juga harus tersedia dalam beragam format yang telah disepakati dengan pengguna utama. Contoh format data, seperti data disajikan dalam dinamyc tabel, docx, excel, dbf, sav, dll. Standar ini berlaku pada dua tahapan yaitu pada tahap desain dan diseminasi statistik. Standar 3.1.1: Terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai format, dan rancangan mengenai kerahasiaan format data dan metadata yang menjamin kerahasiaan output statistik tersebut. (Pertanyaan 318 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, harus dirancang suatu bentuk format yang akan digunakan pada saat diseminasi, sesuai kesepakatan dengan pengguna beserta penjaminan kerahasiaannya. Kriteria kualitas yang harus dipenuhi adalah: •
•
•
•
Level 4 (statistik berkualitas), jika terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai format, dan terdapat rancangan kerahasiaan secara menyeluruh. Level 3 (statistik dapat diterima), jika terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai format, namun rancangan kerahasiaan belum menyeluruh. Level 2 (statistik dipertanyakan), jika terdapat rancangan mengenai output statistik yang dapat diakses melalui beberapa format, tetapi belum terdapat rancangan mekanisme untuk mengatur kerahasiaan. Level 1 (statistik buruk), jika belum terdapat rancangan format yang menjamin kerahasiaan output statistik.
Standar 3.1.2: Output statistik yang dihasilkan tersedia dalam berbagai format dengan mekanisme kerahasiaan sesuai dengan perencanaan. (Pertanyaan 810 dalam Kuesioner Pengukuran Kualitas) Pada tahap diseminasi, format yang digunakan untuk diseminasi output statistik harus sesuai dengan rencana yang telah disusun pada tahap desain. Dengan demikian, standar ini bertujuan untuk memastikan bahwa implementasi dari format diseminasi output statistik (termasuk mekanisme kerahasiaan) telah sesuai dengan rencana, atau apakah seluruh format yang telah disepakati dan dirancang benar-benar dapat diimplementasikan. Kriteria kualitas yang harus dipenuhi adalah: •
178
Level 4 (statistik berkualitas), jika output statistik tersedia dalam berbagai
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
•
• •
4.
format dengan mekanisme kerahasiaan yang sesuai dengan hasil perancangan. Level 3 (statistik dapat diterima), jika output statistik berikut mekanisme kerahasiaan tersedia dalam format terbatas, namun telah sesuai dengan hasil perancangan. Level 2 (statistik dipertanyakan), jika belum seluruh format sesuai dengan hasil perancangan. Level 1 (statistik buruk), jika output statistik hanya tersedia dalam satu format. Indikator ke-4: tersedia jadwal rilis publikasi
Standar 4.1: Terdapat jadwal rilis publikasi dan diumumkan pada pengguna serta ditepati. (Pertanyaan 811 dalam Kuesioner Pengukuran Kualitas) Jadwal rilis suatu output statistik diketahui oleh publik sebelum output tersebut didiseminasikan, sehingga para pengguna mengetahui apakah output telah seuai dengan jadwal atau mengalami keterlambatan. Contoh, ARC. Jadwal rilis ini harus sudah dirancang pada tahap desain. Dengan demikian, pada tahap diseminasi, standar ini hanya memastikan bahwa jadwal rilis tersebut telah dilaksanakan dengan tepat. Kriteria kualitas yang harus dipenuhi adalah: •
•
Level 4 (statistik berkualitas), jika tersedia jadwal rilis publikasi, diumumkan pada pengguna dan ditepati. Level 3 (statistik dapat diterima), jika tersedia jadwal rilis publikasi, diumumkan pada pengguna tetapi tidak ditepati. Level 2 (statistik dipertanyakan), jika tersedia jadwal rilis tapi tidak diumumkan (baik ditepati ataupun tidak ditepati). Level 1 (statistik buruk), jika tidak tersedia jadwal rilis.
5.
Indikator ke-5: tersedia katalog publikasi
• •
Standar 5.1: Output statistik termuat dalam katalog yang mudah diakses pengguna utama. (Pertanyaan 812 dalam Kuesioner Pengukuran Kualitas) Katalog merupakan buku yang memuat informasi tertentu yan disampaikan yang disusun secara berurutan dan teratur biasanya berdasarkan alfabet. Katalog ini berfungsi untuk membantu dalam pencarian seperti pada perpustakaan. Katalog yang dimaksud di sini dapat berupa manual katalog maupun elektronik katalog.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
179
Lampiran
Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika tersedia katalog publikasi output statistik yang mudah diakses oleh pengguna. Level 3 (statistik dapat diterima), jika tersedia katalog publikasi output statistik, tetapi sulit/tidak dapat diakses oleh pengguna. Level 2 (statistik dipertanyakan), jika output statistik dimuat dalam publikasi tanpa katalog. Level 1 (statistik buruk), jika tidak tersedia katalog publikasi.
E. Interpretabilitas 1.
Indikator ke-1: ketersediaan penjelasan ringkas mengenai temuan penting
Standar 1.1: Semua temuan penting dan perbaikan data disampaikan ke pengguna data, dan didokumentasikan. (Pertanyaan 711 dalam Kuesioner Pengukuran Kualitas) Temuan-temuan penting merupakan fenomena yang tidak biasa yang terjadi pada saat pelaksanaan yang mungkin tidak terdeteksi pada saat perencanaan. Fenomena tersebut harus dijelaskan bersamaan dengan data yang disajikan kepada pengguna baik dalam publikasi softcopy maupun hardcopy agar pengguna mengetahui informasi yang terdapat pada data saat mereka membaca data. Sebagai contoh, pada saat SUPAS 2005 ditemukan 30 Blok sensus di Aceh yang tidak respon, ternyata hal tersebut disebabkan karena blok sensus tersebut pada saat pencacahan terkena tsunami. Akibatnya, data yang dihasilkan tidak seperti yang diharapkan. Maka pada data tersebut disertakan penjelasan bahwa terdapat 30 blok sensus di Aceh tidak respon karena terkena tsunami. Kriteria kualitas yang harus dipenuhi adalah: • •
• •
180
Level 4 (statistik berkualitas), jika semua temuan penting dan perbaikan data disampaikan ke pengguna. Informasi ini didokumentasikan. Level 3 (statistik dapat diterima), jika tidak semua temuan penting atau perbaikan data disampaikan ke pengguna, dimana informasi ini didokumentasikan. Level 2 (statistik dipertanyakan), jika sebagian atau semua temuan penting dan perbaikan data disampaikan ke pengguna, tapi tidak didokumentasi. Level 1 (statistik buruk), jika temuan penting dan perbaikan data tidak disampaikan ke penguna.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
2.
Indikator ke-2: ketersediaan contact point
Standar 2.1: Terdapat kontak layanan (hotline) yang diumumkan kepada publik dan mudah diakses. (Pertanyaan 813 dalam Kuesioner Pengukuran Kualitas) Contact point merupakan salah satu layanan yang diberikan kepada pengguna data untuk berkonsultasi. Pengguna data dapat memperoleh informasi apa saja yang dibutuhkan oleh pengguna seperti informasi bagaimana prosedur pengaksesan data, bagaimana membaca data, bagaimana interpretasi data tersebeut dan sebagainya. Pada standar ini, contact point lebih ditekankan untuk membantu pengguna dalam memahami dan menginterpretasikan data. Contact point ini bisa berupa telp, fax, email dll. Daftar contact point ini idealnya diumumkan kepada publik, sehingga publik dengan mudah mengetahui daftar contact tersebut saat membutuhkan informasi lebih terkait data yang dibutuhkan. Pada suatu kegiatan, idealnya, bukan jumlah contact yang menentukan kemudahan pemahaman dari pengguna, melainkan apakah contact tersebut berfungsi dengan baik atau tidak. Berfungsi dengan baik atau tidak merupakan hasil penilaian pengguna data, yang diperoleh misalnya melalui survei kepuasan pengguna terhadap kontak. Namun, untuk sementara ini dilakukan pendekatan dengan menggunakan banyaknya kontak karena belum tersedianya survei tersebut. Yang dimaksud contact point “mudah diakses” adalah jika contact tersedia lebih dari satu sehingga ketika ada salah satu contact yang tidak merespon/ tidak bisa dihubungi, maka masih tersedia contact lain. Sedangkan “tidak mudah diakses” maksudnya adalah hanya tersedia 1 contact. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika tersedia hotline yang diumumkan ke publik dan mudah diakses. Level 3 (statistik dapat diterima), jika tersedia hotline yang diumumkan ke publik, namun tidak mudah diakses. Level 2 (statistik dipertanyakan), jika tersedia hotline, namun tidak diumumkan ke publik. Level 1 (statistik buruk), jika hotline tidak tersedia.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
181
Lampiran
3.
Indikator ke-3 : ketersediaan metadata
Standar 3.1: Penyusunan metadata mengikuti suatu standar. (Pertanyaan 319 dalam Kuesioner Pengukuran Kualitas) Menurut wikipedia, metadata adalah informasi terstruktur yang mendeskripsikan, menjelaskan, menemukan, atau setidaknya membuat suatu informasi menjadi mudah untuk ditemukan kembali, digunakan, atau dikelola. Metadata sering disebut sebagai data tentang data atau informasi tentang informasi. Metadata ini mengandung informasi mengenai isi dari suatu data yang dipakai untuk keperluan manajemen file/data itu nantinya dalam suatu basis data. Penyusunan metadata harus mengikuti suatu standar baku sehingga mudah dipahami publik. Suatu standar yang dibuat dan hanya digunakan oleh negara tertentu, dikelompokkan sebagai standar nasional. Contoh standar internasional untuk metadata adalah Dublin Core (DC) dan the Dublin Core Metadata Initiative (DCMI), atau UNECE. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika penyusunan metadata telah mengikuti standar internasional. Level 3 (statistik dapat diterima), jika penyusunan metadata mengikuti standar nasional. Level 2 (statistik dipertanyakan), jika penyusunan metadata mengikuti standar lainnya. Level 1 (statistik buruk), jika penyusunan metadata tidak mengikuti standar apapun.
Standar 3.2:
Terdapat informasi minimum dari metadata yang dibutuhkan pengguna untuk mengintepretasikan output statistik.
Dokumen metadata minimum merupakan isian/konten metadata minimal yang harus dipenuhi oleh SM ketika mempublikasi suatu output statistik. Pemenuhan minimum metadata ini untuk membantu para pengguna ketika menginterpretasi output tersebut. Contoh, metadata minimum yang harus dipenuhi menurut UNECE adalah Judul, Label dalam tabel atau grafik, definisi dari label, unit pengukuran (satuan data yang disajikan), waktu referensi, unit wilayah, keterbandingan antar waktu, catatan kaki, Sumber data, penjelasan simbol dalam tabel, informasi hak cipta/pembatasan penggunaan dan contact point. Standar ini berlaku pada dua tahapan yaitu pada tahap desain dan analisis statistik. Standar 3.2.1: Terdapat rancangan mengenai jenis output statistik yang akan ditampilkan termasuk informasi minimum dari metadata yang harus disediakan. (Pertanyaan 320 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, harus disusun suatu perencanaan mengenai jenis output statistik yang akan ditampilkan berikut informasi minimum dari metadata yang harus disediakan. Adapun kriteria kualitas yang harus dipenuhi adalah: •
182
Level 4 (statistik berkualitas), jika tersedia rancangan mengenai jenis output statistik yang akan ditampilkan dan informasi minimum dari metadata yang harus disediakan. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
•
• •
Hal ini didokumentasi. Level 3 (statistik dapat diterima), jika tersedia rancangan mengenai jenis output statistik yang akan ditampilkan dan informasi minimum dari metadata yang harus disediakan, namun belum terdokumentasi. Level 2 (statistik dipertanyakan), jika hanya tersedia rancangan mengenai jenis output statistik yang akan ditampilkan (baik didokumentasi atau tidak). Level 1 (statistik buruk), jika tidak tersedia rancangan mengenai jenis output statistik yang akan ditampilkan.
Standar 3.2.2: Seluruh informasi minimum dari metadata yang dibutuhkan pengguna untuk mengintepretasikan output statistik telah dipenuhi dan didokumentasikan. (Pertanyaan 712 dalam Kuesioner Pengukuran Kualitas) Pada tahap analisis, dilakukan penyusunan metadata berdasarkan hasil rancangan pada standar 3.2.1. Kriteria kualitas yang harus dipenuhi adalah: •
• • •
Level 4 (statistik berkualitas), jika seluruh informasi minimum dari metadata yang dibutuhkan pengguna untuk mengintepretasikan output statistik dipenuhi dan didokumentasi. Level 3 (statistik dapat diterima), jika hanya sebagian dari informasi minimum dari metadata yang dapat dipenuhi dan didokumentasi. Level 2 (statistik dipertanyakan), jika sebagian atau seluruh informasi minimum dari metadata disediakan hanya jika ada permintaan (baik didokumentasi atau tidak). Level 1 (statistik buruk), jika tidak tersedia informasi minimum dari metadata untuk mengintepretasikan output statistik.
Standar 3.3: Output statistik yang akan didiseminasikan sudah diukur kualitasnya. (Pertanyaan 814 dalam Kuesioner Pengukuran Kualitas) Sebelum suatu output statistik didiseminasikan ke publik, output tesebut harus diukur kualitasnya, untuk memastikan bahwa output tersebut benar-benar telah memenuhi kaidah perstatistikan dan standar-standar kualitas. Pengukuran kualitas menggunakan diseminasi dan indikator kualitas yang digunakan BPS, dan dilakukan menurut tahapan GSBPM (mulai Specify Needs hingga Evaluate). Hasil pengukuran tersebut selanjutnya disampaikan kepada pihak-pihak terkait dalam bentuk Quality Declare, dan idealnya, dipublikasikan bersamaan output statistik. Hal ini akan dibahas lebih lanjut pada level pimpinan BPS. Kriteria kualitas yang harus dipenuhi adalah: • • •
Level 4 (statistik berkualitas), jika output statistik yang akan disajikan sudah diukur kualitasnya. Ukuran tersebut didokumentasi dan didiseminasikan. Level 3 (statistik dapat diterima), jika output statistik yang akan disajikan sudah diukur kualitasnya. Ukuran tersebut telah didokumentasi, tapi tidak didiseminasi. Level 2 (statistik dipertanyakan), jika output statistik yang akan disajikan sudah diukur kualitasnya, tapi tidak didokumentasi.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
183
Lampiran
•
Level 1 (statistik buruk), jika tidak tersedia ukuran kualitas output statistik.
Standar 3.4: Ukuran kualitas statistik dari indikator didiseminasikan tersedia dan dipublikasikan.
statistik
yang
(Pertanyaan 815 dalam Kuesioner Pengukuran Kualitas) Pengukuran kualitas tidak hanya disyaratkan pada output statistik yang mencakup Dimensi dan tahapan GSBPM, tetapi juga pada indikator statistik yang dipublikasikan. Selanjutnya, ukuran tersebut dipublikasikan ke para pengguna agar mereka mengetahui tingkat kualitas indikator tersebut, sekaligus sebagai informasi, apakah data tersebut dapat digunakan sesuai kebutuhan mereka atau tidak. Sebagai langkah awal, tidak semua ukuran kualitas dari indikator statistik harus ditampilkan, hanya ukuran kualitas utama/terpilih saja, misal: standar error. Ragam ukuran kualitas yang akan dipublikasikan, sebaiknya dibahas antara SM terkait dengan Direktorat Metodologi. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika ukuran kualitas statistik dari seluruh indikator dihitung dan didesiminasikan. Level 3 (statistik dapat diterima), jika ukuran kualitas statistik dari seluruh indikator telah dihitung, tapi hanya sebagian ukuran yang didiseminasikan. Level 2 (statistik dipertanyakan), jika ukuran kualitas statistik dari seluruh atau sebagian indikator telah dihitung, namun tidak didesiminasikan. Level 1 (statistik buruk), jika tidak menghitung ukuran kualitas statistik dari indikator.
Standar 3.5: Melakukan evaluasi secara resmi terkait kelengkapan metadata pada output statistik yang dihasilkan. (Pertanyaan 914 dalam Kuesioner Pengukuran Kualitas) Ketersediaan metadata sangat penting untuk mempermudah para pengguna mengintepretasi output statistik yang disajikan. Metadata harus mencakup seluruh informasi (seperti konsep/definisi, klasifikasi, metodologi, contoh interpretasi dari output, dan sebagainya) yang dianggap penting untuk menunjang kejelasan informasi atas output dan juga dibutuhkan para pengguna. Penyusunan metadata sudah dilakukan sejak tahap Specify Needs, dan harus dievaluasi pada tahap Evaluate. Kegiatan evaluasi tersebut harus dilakukan secara resmi dengan melibatkan SM terkait, dan hasil evaluasi harus didokumentasikan. Kriteria kualitas yang harus dipenuhi adalah: •
184
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi terkait kelengkapan metadata pada output statistik yang dihasilkan. Hasilnya didokumentasi.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
•
•
•
Level 3 (statistik dapat diterima), jika melakukan evaluasi secara resmi terkait kelengkapan metadata pada output statistik yang dihasilkan, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi terkait kelengkapan metadata pada output statistik yang dihasilkan, namun dilaksanakan secara tidak resmi (baik didokumentasikan ataupun tidak). Level 1 (statistik buruk), jika tidak melakukan evaluasi terkait kelengkapan metadata pada output statistik yang dihasilkan.
Standar 3.6: Melakukan evaluasi terkait manajemen metadata dari output statistik yang dihasilkan. (Pertanyaan 915 dalam Kuesioner Pengukuran Kualitas) Manajemen metadata berkaitan dengan pengelolaan metadata dari output statistik yang disajikan, termasuk di dalamnya adalah siapa yang bertanggungjawab, siapa pelaksananya, bagaimana penyimpanan metadata, serta bagaimana akses terhadap metadata tersebut. Evaluasi ini lebih ditujukan untuk keperluan internal, yaitu untuk kemudahan akses oleh pihak tertentu pada saat diperlukan, sekaligus dapat digunakan untuk perbaikan manajemen metadata pada kegiatan statistik berikutnya. Sebagai contoh, pada perancangan kegiatan SUSENAS 2014 akan dibuat rancangan metadata SUSENAS 2014. Mengingat kegiatan SUSENAS 2014 tidak banyak berubah dari periode sebelumnya, maka metadata tersebut tidak mengalami banyak berubah. Sehingga pada saat SM akan merancang metadata SUSENAS 2014, BPS dapat menggunakan metadata SUSENAS 2013 sebagai dasar rancangan. Jika manajemen metada SUSENAS 2013 dilakukan dengan baik, maka SM penyelenggara SUSENAS 2014 tidak akan kesulitan memperoleh metadata tersebut. Kegiatan evaluasi tersebut harus dilakukan secara resmi dengan melibatkan SM terkait, dan hasil evaluasi harus didokumentasikan. Kriteria kualitas yang harus dipenuhi adalah: •
•
•
•
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi terkait manajemen metadata dari output statistik yang dihasilkan. Hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika melakukan evaluasi secara resmi terkait manajemen metadata dari output statistik yang dihasilkan, tapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi terkait manajemen metadata dari output statistik yang dihasilkan, namun dilaksanakan secara tidak resmi (baik didokumentasikan ataupun tidak). Level 1 (statistik buruk), jika tidak melakukan evaluasi terkait manajemen
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
185
Lampiran
metadata dari output statistik yang dihasilkan. 4.
Indikator 4: format publikasi statistik disusun sesuai dengan standar
Standar 4.1: Format publikasi statistik disusun sesuai dengan standar. (Pertanyaan 713 dalam Kuesioner Pengukuran Kualitas) Standar ini lebih menekankan pada bagaimana publikasi yang disusun dapat memberi kemudahan dan kejelasan bagi para pengguna dalam memahami hasil publikasi. Namun hal ini sulit untuk diukur, sehingga untuk saat ini didekati melalui format publikasi. Format yang dimaksud adalah susunan beserta konten yang terkandung di dalamnya. Misalnya, dalam pendahuluan terdapat latar belakang, dimana latar belakang sendiri mencakup beberapa hal/ bagian. • • • •
F.
Kriteria kualitas yang harus dipenuhi adalah: Level 4 (statistik berkualitas), jika format publikasi statistik disusun mengikuti standar internasional. Level 3 (statistik dapat diterima), jika format publikasi statistik disusun mengikuti standar nasional. Level 2 (statistik dipertanyakan), jika format publikasi statistik disusun mengikuti standar-standar lainnya. Level 1 (statistik buruk), jika format publikasi statistik disusun tidak mengikuti standar apapun. Dimensi Koherensi & Komparabilitas (Coherence & Comparability)
Koherensi adalah dimensi kualitas yang menunjukan keterbandingan produk statistik yang dihasilkan dengan produk dari proses statistik lain untuk menghasilkan analisis yang lebih luas. Komparabilitas merupakan kasus spesial dari koherensi yang merujuk pada proses statistik yang sama namun berbeda periode waktu dan/atau wilayah untuk menghasilkan analisis yang lebih luas. Untuk menghasilkan suatu produk statistik yang memiliki tingkat koherensi dan keterbandingan yang tinggi, produk statistik harus dibangun dengan klasifikasi, metodologi, serta konsep dan definisi harmonis/sejalan. (Eurostat, 2009:82) 1.
Indikator ke-1: standar klasifikasi, metodologi, konsep, dan definisi yang digunakan
Standar 1.1: Klasifikasi yang digunakan pada kegiatan statistik mengikuti suatu standar. (Pertanyaan 308 dalam Kuesioner Pengukuran Kualitas) Menurut Kamus Besar Bahasa Indonesia (KBBI), klasifikasi didefinisikan
186
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
sebagai penyusunan bersistem ke dalam kelompok atau golongan menurut kaidah atau standar yang ditetapkan. Pengelompokkan suatu kegiatan baik ekonomi maupun sosial ke dalam suatu klasifikasi sangat penting untuk keseragaman konsep dan definisi yang akan digunakan dalam suatu kegiatan statistik, serta dalam menentukan klasifikasi lapangan usaha (dalam kegiatan ekonomi). Sebagai contoh, Klasifikasi Baku Lapangan Indonesia (KBLI) yang digunakan BPS. Struktur klasifikasi dalam KBLI menunjukkan suatu format standar untuk mengelola informasi secara rinci mengenai keadaan ekonomi, berdasarkan prinsip-prinsip dan persepsi ekonomi. Klasifikasi tersebut harus senantiasa di-update dan merujuk pada suatu standar baku agar dapat diperbandingkan dengan output statistik lainnya. Semakin tinggi standar yang digunakan, maka semakin baik tingkat kualitas statistik yang dihasilkan. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika klasifikasi yang digunakan telah mengikuti standar internasional. Level 3 (statistik dapat diterima), jika klasifikasi yang digunakan mengikuti standar nasional. Level 2 (statistik dipertanyakan), jika klasifikasi yang digunakan mengikuti standar lainnya. Level 1 (statistik buruk), jika klasifikasi yang digunakan tidak mengikuti standar apapun.
Standar 1.2: Metodologi yang digunakan pada kegiatan statistik mengikuti suatu standar. (Pertanyaan 309 dalam Kuesioner Pengukuran Kualitas) KBBI mendefinisikan metodologi sebagai suatu uraian tentang metode (dalam hal ini metode yang digunakan dalam suatu kegiatan statistik). Sama halnya dengan klasifikasi, metodologi yang digunakan pada suatu kegiatan statistik juga harus merujuk pada suatu standar baku agar dapat diperbandingkan dengan output statistik lainnya. Semakin tinggi standar yang digunakan, maka semakin baik tingkat kualitas statistik yang dihasilkan. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika metodologi yang digunakan telah mengikuti standar internasional. Level 3 (statistik dapat diterima), jika metodologi yang digunakan mengikuti standar nasional. Level 2 (statistik dipertanyakan), jika metodologi yang digunakan mengikuti standar lainnya. Level 1 (statistik buruk), jika metodologi yang digunakan tidak mengikuti standar apapun.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
187
Lampiran
Standar 1.3: Konsep dan definisi yang digunakan pada kegiatan statistik mengikuti suatu standar. (Pertanyaan 310 dalam Kuesioner Pengukuran Kualitas) Penggunaan konsep dan definisi pada suatu kegiatan statistik juga harus merujuk pada suatu standar baku. Konsep dan definisi mengenai suatu variabel yang telah ditentukan harus dipegang teguh oleh seluruh penyelenggara kegiatan statistik dan didokumentasikan dalam metadata. Perbedaan makna dari konsep dan definisi berakibat pada perbedaan makna output statistik yang dihasilkan, sehingga tidak dapat diperbandingkan. Semakin tinggi level standar dari konsep dan definisi yang digunakan dalam suatu kegiatan statistik, maka semakin baik tingkat kualitas statistik yang dihasilkan. Kriteria kualitas yang harus dipenuhi adalah: • • • •
2.
Level 4 (statistik berkualitas), jika konsep dan definisi yang digunakan telah mengikuti standar internasional. Level 3 (statistik dapat diterima), jika konsep dan definisi yang digunakan mengikuti standar nasional. Level 2 (statistik dipertanyakan), jika konsep dan definisi yang digunakan mengikuti standar lainnya. Level 1 (statistik buruk), jika konsep dan definisi yang digunakan tidak mengikuti standar apapun. Indikator ke-2: series data yang dapat diperbandingkan
Standar 2.1: Seluruh konsep dan definisi yang digunakan dalam series data harus sama dan didokumentasikan dalam metadata. Seluruh konsep dan definisi yang digunakan dalam suatu kegiatan statistik harus disertakan dalam metadata. Tujuannya agar para pengguna dapat menggunakan produk statistik dengan benar, khususnya terkait komparabilitas. Ketika terjadi perubahan konsep dan definisi namun tidak disertakan dalam metadata, akan menyebabkan pengguna salah dalam membandingkan output statistik yang digunakan. Series data yang sama maksudnya adalah data disajikan dalam satu rangkaian series. Untuk standar ini berlaku untuk dua tahap kegiatan, yaitu pada tahap desain dan analisis statistik. Standar 2.1.1: Setiap perubahan konsep dan definisi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya. (Pertanyaan 311 dalam Kuesioner Pengukuran Kualitas) Standar ini ditujukan pada tahap desain. Pada tahap ini harus dilakukan kajian terkait konsep dan definisi yang akan digunakan dalam kegiatan statistik.
188
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Ketika terjadi perubahan konsep definisi, penyelenggaran kegiatan statistik harus menyertakan dasar-dasar perubahan, dan hasilnya didokumentasi serta dilaporkan. Kajian tersebut untuk memastikan terpenuhinya relevansi dari para penggunaan. Perubahan konsep dan definisi yang terjadi harus dilaporkan ke pejabat terkait untuk memastikan bahwa output dari kegiatan statistik yang akan dilaksanakan masih dapat diperbandingkan dengan output kegiatan statistik lainnya, sebagaimana sebelum terjadi perubahan konsep dan definisi. Kriteria kualitas yang harus dipenuhi adalah: •
• • •
Level 4 (statistik berkualitas), jika setiap perubahan konsep dan definisi sudah dikaji, didokumentasi, dan dilaporkan. Atau tidak terdapat perubahan konsep dan definisi. Level 3 (statistik dapat diterima), jika setiap perubahan konsep dan definisi sudah dikaji dan didokumentasi, namun tidak dilaporkan. Level 2 (statistik dipertanyakan), jika setiap perubahan konsep dan definisi sudah dikaji, namun tidak didokumentasikan. Level 1 (statistik buruk), jika tidak dilakukan kajian terhadap perubahan konsep dan definisi.
Standar 2.1.2: Semua konsep dan definisi yang digunakan dalam series data harus sama dan didokumentasikan dalam metadata. (Pertanyaan 705 dalam Kuesioner Pengukuran Kualitas) Pada tahap analisis, jika terjadi perubahan konsep dan definisi harus disertakan dasar perubahannya dan penjelasan dampaknya dalam metadata. Kriteria kualitas yang harus dipenuhi adalah: •
•
•
•
Level 4 (statistik berkualitas), jika konsep dan definisi yang digunakan adalah sama dibandingkan dengan data periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, hal ini telah dijelaskan dalam metadata beserta dasar perubahan dan dampaknya. Level 3 (statistik dapat diterima), jika konsep dan definisi yang digunakan adalah sama dibandingkan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika ada permintaan. Level 2 (statistik dipertanyakan), jika terdapat perbedaan konsep dan definisi yang digunakan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika terdapat permintaan. Level 1 (statistik buruk), jika tidak melakukan perbandingan konsep dan definisi dengan data periode sebelumnya; atau tidak terdapat dokumentasi dalam metadata.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
189
Lampiran
Standar 2.2: Semua klasifikasi yang digunakan dalam series data harus sama dan didokumentasikan dalam metadata. Sama halnya dengan penggunaan konsep dan definisi, klasifikasi yang digunakan dalam kegiatan statistik juga harus disertakan dalam metadata. Jika terjadi perubahan klasifikasi yang digunakan, dijelaskan dalam metadata dan disertakan dasar perubahannya. Tujuannya untuk memberikan penjelasan kepada pengguna bahwa data tidak dapat di-series-kan. Contoh klasifikasi, penggolongan kategori industri kecil, sedang, dan besar. Standar ini berlaku dalam dua tahapan kegiatan statistik, yaitu tahap desain dan analisis statistik. Standar 2.2.1: Setiap perubahan klasifikasi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya. (Pertanyaan 312 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, klasifikasi yang digunakan dalam kegiatan statistik juga harus dikaji keterbandingannya dengan periode sebelumnya. Ketika terjadi perubahan klasifikasi, penyelengara kegiatan harus menyertakan dasar-dasar perubahan, untuk penjelasan kepada para pengguna bahwa data tidak dapat di-series-kan. Contoh klasifikasi, penggolongan kategori industri kecil, sedang, dan besar. Kajian tersebut untuk memastikan terpenuhinya relevansi dari para penggunaan. Perubahan klasifikasi yang terjadi harus didokumentasi dan dilaporkan ke pejabat terkait untuk memastikan bahwa output dari kegiatan statistik yang akan dilaksanakan masih dapat diperbandingkan dengan output kegiatan statistik lainnya, sebagaimana sebelum terjadi perubahan klasifikasi. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika setiap perubahan klasifikasi sudah dikaji, didokumentasi, dan dilaporkan. Atau tidak terdapat perubahan klasifikasi. Level 3 (statistik dapat diterima), jika setiap perubahan klasifikasi sudah dikaji dan didokumentasi, namun tidak dilaporkan. Level 2 (statistik dipertanyakan), jika setiap perubahan klasifikasi sudah dikaji, namun tidak didokumentasikan. Level 1 (statistik buruk), jika tidak melakukan kajian terhadap perubahan klasifikasi.
Standar 2.2.2: Semua klasifikasi yang digunakan dalam series data sama dan didokumentasikan dalam metadata. (Pertanyaan 706 dalam Kuesioner Pengukuran Kualitas) Pada tahap analisis, jika terjadi perubahan klasifikasi harus disertakan dasar perubahannya dan penjelasan dampaknya dalam metadata.
190
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Kriteria kualitas yang harus dipenuhi adalah: •
•
•
•
Level 4 (statistik berkualitas), jika klasifikasi yang digunakan adalah sama dibandingkan dengan data periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, hal ini telah dijelaskan dalam metadata beserta dasar perubahan dan dampaknya. Level 3 (statistik dapat diterima), jika klasifikasi yang digunakan adalah sama dibandingkan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika ada permintaan. Level 2 (statistik dipertanyakan), jika terdapat perbedaan klasifikasi yang digunakan dengan data periode sebelumnya, didokumentasikan dalam metadata hanya jika ada permintaan. Level 1 (statistik buruk), jika tidak melakukan perbandingan klasifikasi dengan data periode sebelumnya; atau tidak terdapat dokumentasi dalam metadata.
Standar 2.3:
Semua metodologi yang digunakan dalam series data harus sama dan didokumentasikan dalam metadata.
Sama halnya dengan penggunaan klasifikasi, metodologi yang digunakan dalam kegiatan statistik juga harus disertakan dalam metadata. Jika terjadi perubahan pada metodologi, hal ini harus dijelaskan dalam metadata dan dicantumkan dasar-dasar perubahannya. Hal ini bertujuan untuk memberi penjelasan kepada para pengguna, apakah series data masih dapat dilakukan ataukah tidak. Dengan kata lain, untuk memastikan terpenuhinya relevansi dari para pengguna. Perubahan yang terjadi pada metodologi harus didokumentasi dan dilaporkan kepada pejabat terkait. Standar 2.3.1: Setiap perubahan metodologi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya. (Pertanyaan 313 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, dilakukan kajian terkait metodologi yang akan digunakan dalam kegiatan statistik. Jika terjadi perubahan dari metodologi yang digunakan, dasar perubahannya harus didokumentasikan, dilaporkan, dan disertakan dalam metadata. Kriteria kualitas yang harus dipenuhi adalah: •
• •
Level 4 (statistik berkualitas), jika setiap perubahan metodologi sudah dikaji, didokumentasi, dan dilaporkan. Atau tidak terdapat perubahan metodologi. Level 3 (statistik dapat diterima), jika setiap perubahan metodologi sudah dikaji dan didokumentasi, namun tidak dilaporkan. Level 2 (statistik dipertanyakan), jika setiap perubahan metodologi sudah dikaji, namun tidak didokumentasikan. Pedoman Kerangka Penjaminan Kualitas Statistik BPS
191
Lampiran
•
Level 1 (statistik buruk), jika tidak melakukan kajian terhadap perubahan metodologi.
Standar 2.3.2: Semua metodologi yang digunakan dalam series data sama dan didokumentasikan dalam metadata. (Pertanyaan 707 dalam Kuesioner Pengukuran Kualitas) Pada tahap analisis, jika terjadi perubahan metodologi harus disertakan dasar perubahannya dan penjelasan dampaknya dalam metadata. Adapun kriteria kualitas yang harus dipenuhi adalah : •
•
•
•
Level 4 (statistik berkualitas), jika metodologi yang digunakan adalah sama dibandingkan dengan data periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, hal ini telah didokumentasikan dalam metadata beserta dasar perubahan dan dampaknya. Level 3 (statistik dapat diterima), jika metodologi yang digunakan adalah sama dibandingkan dengan data periode sebelumnya, namun didokumentasikan dalam metadata hanya jika ada permintaan. Level 2 (statistik dipertanyakan), jika terdapat perbedaan metodologi yang digunakan dengan data periode sebelumnya, didokumentasikan dalam metadata hanya jika ada permintaan. Level 1 (statistik buruk), jika tidak melakukan perbandingan metodologi dengan data periode sebelumnya; atau tidak tersedia dokumentasi dalam metadata.
Standar 2.4: Melakukan evaluasi secara resmi terkait keterbandingan series data dari output statistik yang dihasilkan. (Pertanyaan 909 dalam Kuesioner Pengukuran Kualitas) Pada kegiatan statistik yang dilakukan secara rutin/berkala, keterbandingan atas series data dari output statistik yang dihasilkan harus diperhatikan oleh BPS. Keterbandingan tersebut dapat terwujud apabila konsep/definisi, klasifikasi, dan metodologi yang digunakan juga dapat dijamin keterbandingannya antar periode. Kajian terhadap keterbandingan ketiga elemen tersebut telah mulai dilakukan pada tahap desain (sebelum pengumpulan data dilakukan) berupa perbandingan arti dan muatan dari ketiga elemen tersebut. Selanjutnya pada tahap analisis, keterbandingan tersebut juga dilakukan untuk memastikan bahwa konsep/definisi, klasifikasi, dan metodologi masih sama. Akhirnya, keterbandingan tersebut juga dilakukan pada output statistik yang dihasilkan, dalam bentuk evaluasi. Hasil evaluasi tersebut dapat digunakan sebagai bahan evaluasi dan perencanaan perbaikan keterbandingan series data yang akan datang. Evaluasi keterbandingan ini juga harus memperhatikan ketersediaan data 192
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
statistik yang disajikan. Jika series data terlalu pendek, misal hanya 2 atau 3 periode, dapat berakibat hasil analisis time series kurang optimal. Sebaliknya, jika series data terlalu panjang, maka perlu dipertimbangkan relevansi dari klasifikasi, metodologi, konsep dan definisi yang digunakan. Kegiatan evaluasi tersebut harus dilakukan secara resmi dengan melibatkan SM terkait, dan hasil evaluasi harus didokumentasikan. Kriteria kualitas yang harus dipenuhi adalah: •
•
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika melakukan evaluasi secara resmi, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak). Level 1 (statistik buruk), jika tidak melakukan evaluasi.
3.
Indikator ke-3: keterbandingan dengan produk statistik lainnya
• •
Standar 3.1: Melakukan analisis koherensi dengan sumber data yang lain dalam periode yang sama. Koherensi menunjukan sejauhmana proses statistik yang dilakukan, seperti konsep dan metodologi yang digunakan, dapat menghasilkan informasi statistik yang dapat digabungkan dengan informasi statistik lainnya dalam penggunaan yang luas. Selain untuk analisis yang lebih luas, analisis koherensi juga dibutuhkan untuk melihat apakah output statistik yang dihasilkan, sudah dapat saling mendukung dengan fenomena yang digambarkan output-output statistik lain. Pada tahap desain, dilakukan perancangan koherensi output statistik. Standar ini berlaku dalam tiga tahapan kegiatan statistik, yaitu tahap desain, pengolahan, dan analisis statistik. Standar 3.1.1: Terdapat perancangan koherensi output statistik dengan sumber data lain dalam periode yang sama. (Pertanyaan 314 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, dilakukan perancangan koherensi output statistik. Perancangan ini dilakukan dengan mengkaji output-output statistik lain yang berpotensi digabungkan untuk analisis yang lebih luas. Kriteria kualitas yang harus dipenuhi adalah: • •
Level 4 (statistik berkualitas), jika terdapat perancangan koherensi output statistik, koherensi sudah diidentifikasi, dikaji, dan didokumentasi. Level 3 (statistik dapat diterima), jika terdapat perancangan koherensi output statistik, koherensi sudah diidentifikasi dan dikaji, namun belum Pedoman Kerangka Penjaminan Kualitas Statistik BPS
193
Lampiran
• •
didokumentasi. Level 2 (statistik dipertanyakan), jika terdapat perancangan koherensi output statistik, koherensi sudah diidentifikasi, namun belum dikaji. Level 1 (statistik buruk), jika tidak terdapat perancangan koherensi output statistik.
Standar 3.1.2: Tahapan processing (meliputi editing, imputasi, dan validasi) sudah mempertimbangkan koherensi dengan output statistik lainnya dan didokumentasikan. (Pertanyaan 624 dalam Kuesioner Pengukuran Kualitas) Pada tahap pengolahan, proses editing, imputasi, dan validasi dilakukan dengan mempertimbangkan koherensinya dengan output lain. Contoh, ketika menentukan imputasi harga barang, dapat mempertimbangkan data inflasi, karena ketika inflasi naik harga barang secara umum naik. Kriteria kualitas yang harus dipenuhi adalah: •
•
• •
Level 4 (statistik berkualitas), jika editing, imputasi, dan validasi sudah mempertimbangkan koherensi dengan output statistik lainnya dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika tidak semua tahapan (editing, imputasi, dan validasi) mempertimbangkan koherensi dengan output statistik lainnya dan hasilnya didokumentasi. Level 2 (statistik dipertanyakan), jika koherensi dengan output statistik lainnya dilakukan tetapi tidak terdapat dokumentasi. Level 1 (statistik buruk), jika tahapan editing, imputasi dan validasi belum mempertimbangkan koherensi.
Standar 3.1.3: Melakukan analisis koherensi dengan sumber data yang lain dalam periode yang sama. (Pertanyaan 708 dalam Kuesioner Pengukuran Kualitas) Pada tahap analisis, dilakukan analisis koherensi output statistik yang dihasilkan dengan sumber data lainnya. Setiap keterbandingan yang terjadi harus dapat dijelaskan dan didokumentasikan dalam metadata, sehingga memudahkan pengguna dalam memanfaatkan output statistik yang dihasilkan. Kriteria kualitas yang harus dipenuhi adalah: •
•
194
Level 4 (statistik berkualitas), jika melakukan analisis koherensi dengan sumber data lain, dimana seluruh keterbandingan dapat dijelaskan. Hasilnya didokumentasi dalam metadata. Level 3 (statistik dapat diterima), jika melakukan analisis koherensi dengan sumber data lain, namun tidak semua keterbandingan dapat dijelaskan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
• •
Hasilnya didokumentasi dalam metadata. Level 2 (statistik dipertanyakan), jika melakukan analisis koherensi dengan sumber data lain, namun hasilnya belum didokumentasi. Level 1 (statistik buruk), jika tidak melakukan analisis koherensi dengan sumber data lain.
Standar 3.2: Melakukan evaluasi secara resmi terkait koherensi dari output statistik yang dihasilkan dengan sumber data lainnya. (Pertanyaan 910 dalam Kuesioner Pengukuran Kualitas) Analisis koherensi terhadap output statistik yang dihasilkan dengan sumber data lainnya telah dilakukan pada tahap analisis. Untuk mengetahui kelebihan dan kelemahan dari hasil analisis tersebut, maka harus dilakukan evaluasi, terutama ketika terjadi koherensi data yang tidak dapat dijelaskan. Evaluasi ini berujuan untuk memastikan bahwa output statistik yang diperoleh telah benar. Kegiatan evaluasi tersebut harus dilakukan secara resmi dengan melibatkan SM terkait, dan hasil evaluasi harus didokumentasikan. Kriteria kualitas yang harus dipenuhi adalah: •
•
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi, dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika melakukan evaluasi secara resmi, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak). Level 1 (statistik buruk), jika tidak melakukan evaluasi.
4.
Indikator ke-4: keterbandingan antar item data
• •
Standar 4.1: Melakukan analisis koherensi antar item data. Koherensi antar item data (koherensi internal) adalah koherensi yang merujuk pada item data yang dihasilkan oleh satu kegiatan statistik (dapat terjadi antar segmen) dalam satu periode dan wilayah tertentu (Eurostat, 2009:83). Keterbandingan yang terjadi antar item data harus dijelaskan secara menyeluruh dan didokumentasikan dalam metadata. Hal ini bertujuan untuk memudahkan para pengguna dalam memanfaatkan output statistik yang dihasilkan. Standar ini berlaku dalam tiga tahapan kegiatan statistik, yaitu tahap desain, pengolahan, dan analisis statistik. Standar 4.1.1: Terdapat perancangan koherensi output statistik antar item data. (Pertanyaan 315 dalam Kuesioner Pengukuran Kualitas) Pada tahap desain, koherensi output statistik antar item data dirancang
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
195
Lampiran
untuk dituangkan dalam bentuk konsistensi antar item pertanyaan dalam kuesioner. Perancangan ini dilakukan dengan mengkaji hubungan antar item data yang akan dikumpulkan. •
•
•
•
Kriteria kualitas yang harus dipenuhi adalah: Level 4 (statistik berkualitas), jika terdapat perancangan koherensi output statistik antar item data, dimana koherensi sudah diidentifikasi, dikaji, dan didokumentasi. Level 3 (statistik dapat diterima), jika terdapat perancangan koherensi output statistik antar item data, dimana koherensi sudah diidentifikasi, namun belum dikaji. Informasi ini telah didokumentasikan. Level 2 (statistik dipertanyakan), jika terdapat perancangan koherensi output statistik antar item data, namun informasi ini belum didokumentasikan (baik koherensi sudah diidentifikasi atau belum). Level 1 (statistik buruk), jika tidak terdapat perancangan koherensi output statistik antar item data.
Standar 4.1.2: Tahapan processing (meliputi editing, imputasi, dan validasi) sudah mempertimbangkan koherensi antar item data dan didokumentasikan. (Pertanyaan 625 dalam Kuesioner Pengukuran Kualitas) Pada tahap pengolahan, dilakukan proses editing, imputasi, dan validasi dengan mempertimbangkan koherensi antar item data. Contoh, ketika menentukan imputasi dari jumlah beras yang dikonsumsi suatu rumah tangga, maka harus mempertimbangkan data jumlah anggota rumah tangga tersebut. Kriteria kualitas yang harus dipenuhi adalah: •
•
• •
Level 4 (statistik berkualitas), jika semua tahapan processing (editing, imputasi, dan validasi) sudah mempertimbangkan koherensi antar item data dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika tidak semua tahapan processing (editing, imputasi, dan validasi) mempertimbangkan koherensi antar item data dan hasilnya didokumentasi. Level 2 (statistik dipertanyakan), jika koherensi antar item data dilakukan tetapi tidak didokumentasi. Level 1 (statistik buruk), jika tahapan processing belum mempertimbangkan koherensi antar item data.
Standar 4.1.3: Melakukan analisis koherensi antar item data. (Pertanyaan 709 dalam Kuesioner Pengukuran Kualitas) Pada tahap analisis, dilakukan analisis koherensi antar item data, dimana
196
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
setiap keterbandingan yang terjadi harus dapat dijelaskan. Informasi ini harus tercatat dalam metadata, sehingga memudahkan para pengguna dalam memanfaatkan output statistik yang dihasilkan. Kriteria kualitas yang harus dipenuhi adalah: •
•
• •
Level 4 (statistik berkualitas), jika melakukan analisis koherensi antar item, dimana seluruh keterbandingan dapat dijelaskan dan didokumentasi dalam metadata. Level 3 (statistik dapat diterima), jika melakukan analisis koherensi antar item, namun tidak semua keterbandingan dapat dijelaskan. Hasilnya didokumentasi dalam metadata. Level 2 (statistik dipertanyakan), jika telah melakukan analisis koherensi antar item, namun belum didokumentasi dalam metadata. Level 1 (statistik buruk), jika tidak melakukan analisis koherensi antar item data.
Standar 4.2:
Melakukan evaluasi secara resmi terkait koherensi antar item data dari output statistik yang dihasilkan.
(Pertanyaan 911 dalam Kuesioner Pengukuran Kualitas) Mengingat analisis koherensi juga dilakukan antar item data (pada tahap analisis), maka evaluasi terhadap pelaksanaan analisis sangat diperlukan, terutama ketika terjadi koherensi item data yang tidak dapat dijelaskan. Evaluasi ini bertujuan untuk memastikan bahwa output statistik yang diperoleh telah benar. Kegiatan evaluasi tersebut harus dilakukan secara resmi dengan melibatkan SM terkait, dan hasil evaluasi harus didokumentasikan. Kriteria kualitas yang harus dipenuhi adalah: • • • •
Level 4 (statistik berkualitas), jika melakukan evaluasi secara resmi dan hasilnya didokumentasi. Level 3 (statistik dapat diterima), jika melakukan evaluasi secara resmi, tetapi hasilnya tidak didokumentasi. Level 2 (statistik dipertanyakan), jika melakukan evaluasi, namun dilaksanakan secara tidak resmi (baik tersedia dokumentasi maupun tidak). Level 1 (statistik buruk), jika tidak melakukan evaluasi.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
197
Lampiran
Lampiran 2 KUESIONER PENGUKURAN KUALITAS (keterangan: angka pada kotak adalah angka dummy untuk simulasi pengisian)
REPUBLIK INDONESIA BADAN PUSAT STATISTIK PENGUKURAN KUALITAS STATISTIK BLOK I. IDENTITAS KEGIATAN 101. Nama Kegiatan
Survei A
102. Penyelenggara
Sub-direktorat B
103. Subject Matter yang Terlibat
1. Sub-direktorat C 2. Sub-direktorat D 3. Sub-direktorat E 4. Sub-direktorat F 5. Sub-direktorat G
104. Frekuensi Kegiatan
1. Tahunan 2. Semesteran 3. Triwulanan
105. Cara Pengumpulan Data
Sensus 1. Survei 2. Pendataan Administrasi 3. Kompilasi Statistik
106. Cakupan Responden
107. Tahun Kegiatan
4. Bulanan 5. Lainnya
1
2
Perusahaan 1. Rumah Tangga 2. Usaha 3. Kementerian/Lembaga
2
2014
BLOK II: MENENTUKAN KEBUTUHAN (SPECIFY NEEDS)
A. RELEVANSI 201. Apakah terdapat dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama, yang up to date & lengkap?
33
4. Ya, ada dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama yang up to date dan lengkap.
3. Ada dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama. Dokumen/database telah up to date tapi belum lengkap.
2. Ada dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama. Namun, dokumen/database tersebut tidak up to date (baik lengkap atau tidak).
1. Tidak ada dokumen/database yang memuat deskripsi dan klasifikasi pengguna utama.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
199
Lampiran
200
202. Apakah terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama, dimana hasilnya didokumentasi serta dilaporkan?
4
4. Ya, terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama. Hasilnya didokumentasi dan dilaporkan.
3. Terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama. Hasilnya telah didokumentasi, tetapi tidak dilaporkan.
2. Terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama, tapi hasilnya tidak didokumentasi.
1. Tidak terdapat proses resmi untuk mengidentifikasi kebutuhan pengguna utama.
203. Apakah tersedia informasi kebutuhan pengguna utama yang didokumentasi dan up to date?
2
4. Ya, tersedia informasi kebutuhan pengguna utama yang didokumentasi dan up to date.
3. Tersedia informasi kebutuhan pengguna utama yang telah didokumentasi, tetapi tidak up to date.
2. Tersedia informasi kebutuhan pengguna utama, tapi tidak didokumentasi (baik up to date atau tidak).
1. Tidak tersedia informasi kebutuhan pengguna utama.
204. Apakah hasil evaluasi dari kegiatan statistik sebelumnya digunakan sebagai bahan acuan untuk perbaikan, dan informasi tersebut didokumentasi?
3
4. Ya, hasil evaluasi dari kegiatan statistik sebelumnya digunakan sebagai bahan acuan untuk perbaikan. Informasi terkait hal ini didokumentasi.
3. Hasil evaluasi dari kegiatan statistik sebelumnya digunakan sebagai bahan acuan untuk perbaikan, tetapi informasi terkait hal ini tidak didokumentasi.
2. Hasil evaluasi dari kegiatan statistik sebelumnya tersedia tetapi tidak digunakan sebagai bahan acuan untuk perbaikan (baik didokumentasi atau tidak).
1. Hasil evaluasi dari kegiatan statistik sebelumnya tidak tersedia.
205. Apakah tersedia analisis kebutuhan pengguna utama dan manfaat dari data/ informasi statistik yang dihasilkan, serta hasil analisis tersebut didokumentasikan dan dilaporkan?
3
4. Ya, tersedia analisis kebutuhan pengguna utama dan manfaat dari data/ informasi statistik yang dihasilkan. Hasil analisis tersebut didokumentasikan dan dilaporkan.
3. Tersedia analisis kebutuhan pengguna utama dan manfaat dari data/ informasi statistik yang dihasilkan. Hasil analisis telah didokumentasikan, tetapi tidak dilaporkan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
4
2
3
3
Lampiran
2. Tersedia analisis kebutuhan pengguna utama dan manfaat dari data/ informasi statistik yang dihasilkan, tapi hasil analisis tersebut tidak didokumentasikan.
1. Tidak tersedia analisis kebutuhan pengguna utama dan manfaat dari data/ informasi statistik yang dihasilkan.
206. Apakah perubahan/perbedaan yang terjadi (gap) antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan dikonfirmasi ke pengguna utama dan didokumentasikan?
4
4. Ya, gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan dikonfirmasi ke pengguna utama dan didokumentasikan. Atau tidak terdapat gap.
3. Gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan telah dikonfirmasikan ke pengguna utama tetapi tidak didokumentasikan.
2. Gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan telah dikonfirmasi ke pengguna utama. Namun, gap tersebut tidak disetujui oleh pengguna utama (baik didokumentasi atau tidak).
1. Tidak, gap antara hasil analisis kebutuhan pengguna utama dengan rencana pelaksanaan tidak dikonfirmasi ke pengguna utama.
4
BLOK III : DESAIN (DESIGN)
A. RELEVANSI
301. Apakah seluruh proses perancangan (perancangan kuesioner, tabulasi, analisis, dan diseminasi output) dikonsultasikan ke pengguna utama, dimana informasi terkait hal ini dan hasil konsultasi didokumentasi?
3
4. Ya, seluruh proses perancangan dikonsultasikan ke pengguna utama. Informasi terkait hal ini dan hasil konsultasi didokumentasi.
3. Hanya sebagian dari proses perancangan yang dikonsultasikan ke pengguna utama. Informasi dan hasil konsultasi didokumentasi.
2. Sebagian atau seluruh proses perancangan dikonsultasikan ke pengguna utama, tapi tidak didokumentasi.
1. Tidak ada proses konsultasi ke pengguna utama dalam proses perancangan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
3
201
Lampiran
B. AKURASI 302. Apakah desain sampling errors yang digunakan dalam kegiatan statistik telah mencakup seluruh tahapan (rencana target, metode penghitungan, identifikasi penyebab, serta upaya pencegahan) dan seluruh ukuran sampling error, dimana hasilnya didokumentasi?
4
4. Ya, desain sampling errors mencakup seluruh tahapan dan seluruh ukuran sampling errors. Hasilnya didokumentasi.
3. Ya, desain sampling errors mencakup seluruh tahapan, tapi hanya mencakup sebagian ukuran sampling errors. Hasilnya didokumentasi.
2. Desain hanya mencakup sebagian tahapan dan sebagian/seluruh ukuran sampling errors. Hasilnya didokumentasi.
1. Tidak terdapat desain sampling errors, atau terdapat desain sampling errors tetapi tidak didokumentasi.
303. Apakah metode yang digunakan dalam kegiatan statistik sudah mencakup seluruh tahapan (rencana target, metode penghitungan, identifikasi penyebab, serta upaya pencegahan), dan telah mempertimbangkan seluruh ukuran nonsampling errors, dimana hasilnya didokumentasi?
202
33
4. Ya, metode yang digunakan sudah mencakup seluruh tahapan dan seluruh ukuran non-sampling errors, serta hasilnya didokumentasi.
3. Metode yang digunakan sudah mencakup seluruh tahapan dan seluruh ukuran non-sampling errors, tapi hasilnya tidak didokumentasi.
2. Metode yang digunakan hanya mencakup sebagian tahapan dan seluruh/ sebagian ukuran non-sampling errors, dan hasilnya didokumentasi.
1. Metode yang digunakan tidak mencakup satupun tahapan dan tidak mempertimbangkan ukuran non-sampling errors.
304. Berapakah perbedaan waktu antara periode referensi dengan update terakhir pada direktori yang digunakan?
44
(Ket: Level kualitas yang tertera hanya sekedar contoh, rentang waktu riil tergantung dari masing-masing subject matter)
4.
< 3 bulan
3.
3 – 6 bulan
2.
6 – 12 bulan
1.
> 12 bulan
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
4
Lampiran
305. Apakah melakukan perancangan strategi sosialisasi kegiatan statistik kepada calon responden dan hasilnya didokumentasi?
2
4. Ya, melakukan perancangan strategi sosialisasi yang mencakup seluruh calon responden. Hasilnya didokumentasi.
3. Melakukan perancangan strategi sosialisasi, namun hanya mencakup calon responden tertentu. Hasilnya didokumentasi.
2. Melakukan perancangan strategi sosialisasi, tetapi hasilnya tidak didokumentasi.
1. Tidak ada perancangan strategi sosialisasi.
C. AKTUALITAS & TEPAT WAKTU 306. Apakah terdapat perencanaan secara resmi yang mengatur jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik?
33
4. Ya, ada perencanaan secara resmi yang mengatur jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik
3. Ada perencanaan resmi, namun hanya tersedia jadwal kegiatan saja
2. Ada perencanaan namun bersifat tidak resmi (informal)
1. Tidak ada perencanaan jadwal dan update-nya
307. Apakah terdapat perencanaan mengenai jadwal rutin pertemuan antar bagian pelaksana kegiatan statistik untuk membahas permasalahan kegiatan?
3
4. Ya, ada jadwal rutin pertemuan, dan ada komitmen untuk memecahkan masalah
3. Ada jadwal rutin pertemuan, namun belum ada komitmen untuk memecahkan masalah
2. Ada jadwal namun bersifat add hoc
1. Tidak ada jadwal pertemuan
D. KOHERENSI & KOMPARABILITAS 308. Apakah klasifikasi yang digunakan pada kegiatan statistik mengikuti suatu standar?
2
3
3
4.
Ya, mengikuti standar internasional.
3.
Ya, mengikuti standar nasional.
2.
Ya, mengikuti standar lainnya.
1.
Tidak mengikuti suatu standar.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
3
203
Lampiran
309. Apakah metodologi yang digunakan pada kegiatan statistik mengikuti suatu standar? 4.
Ya, mengikuti standar internasional.
3.
Ya, mengikuti standar nasional.
2.
Ya, mengikuti standar lainnya.
1.
Tidak mengikuti suatu standar.
310. Apakah konsep dan definisi yang digunakan pada kegiatan statistik mengikuti suatu standar?
3
4.
Ya, mengikuti standar internasional.
3.
Ya, mengikuti standar nasional.
2.
Ya, mengikuti standar lainnya.
1.
Tidak mengikuti suatu standar.
311. Apakah setiap perubahan konsep dan definisi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya?
3. Setiap perubahan konsep dan definisi sudah dikaji dan didokumentasikan, tetapi tidak/belum dilaporkan.
2. Setiap perubahan konsep dan definisi sudah dikaji, tetapi tidak/belum didokumentasikan dan dilaporkan.
1. Tidak dilakukan kajian terhadap perubahan konsep dan definisi.
44
4. Ya, setiap perubahan klasifikasi sudah dikaji, didokumentasikan, dan dilaporkan. Atau tidak terjadi perubahan klasifikasi.
3. Ya, setiap perubahan klasifikasi sudah dikaji dan didokumentasikan, tetapi tidak/belum dilaporkan.
2. Ya, setiap perubahan klasifikasi sudah dikaji, tetapi tidak/belum didokumentasikan dan dilaporkan.
1. Tidak dilakukan kajian terhadap perubahan klasifikasi.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
3
44
4. Ya, setiap perubahan konsep dan definisi sudah dikaji, didokumentasikan, dan dilaporkan. Atau tidak terjadi perubahan konsep dan definisi.
312. Apakah setiap perubahan klasifikasi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya?
204
44
Lampiran
313. Apakah setiap perubahan metodologi yang digunakan pada kegiatan statistik dibandingkan dengan periode sebelumnya?
4
4. Ya, setiap perubahan metodologi sudah dikaji, didokumentasikan, dan dilaporkan. Atau tidak terjadi perubahan metodologi.
3. Ya, setiap perubahan metodologi sudah dikaji dan didokumentasikan, tetapi tidak/belum dilaporkan.
2. Ya, setiap perubahan metodologi sudah dikaji, tetapi tidak/belum didokumentasikan dan dilaporkan.
1. Tidak dilakukan kajian terhadap perubahan metodologi.
314. Apakah terdapat perancangan koherensi output statistik dengan sumber data lain dalam periode yang sama?
3
4. Ya, ada perancangan koherensi output statistik, koherensi sudah diidentifikasi, dikaji, dan didokumentasi.
3. Ada perancangan koherensi output statistik, koherensi sudah diidentifikasi dan dikaji, tetapi belum didokumentasikan.
2. Ada perancangan koherensi output statistik, koherensi sudah diidentifikasi, tetapi belum didokumentasikan dan dilaporkan.
1. Tidak ada perancangan koherensi output statistik.
315. Apakah terdapat perancangan koherensi output statistik antar item data?
3. Ya, ada perancangan koherensi output statistik antar item data, koherensi sudah diidentifikasi dan dikaji, tetapi belum didokumentasikan.
2. Ya, ada perancangan koherensi output statistik antar item data, koherensi sudah diidentifikasi, tetapi belum dikaji dan didokumentasikan.
1. Tidak ada perancangan koherensi output statistik antar item data.
316. Apakah terdapat rancangan prosedur/kebijakan yang mengatur hak akses (kerahasiaan dan integritas data) terhadap output statistik?
3
44
4. Ya, ada perancangan koherensi output statistik antar item data, koherensi sudah diidentifikasi, dikaji, dan didokumentasi.
E. AKSESIBILITAS
4
33
4. Ya, sudah ada rancangan prosedur/kebijakan yang mengatur hak akses data terkait kerahasiaan dan integritas data, hasilnya didokumentasikan.
3. Sudah ada rancangan prosedur/kebijakan yang mengatur hak akses data terkait kerahasiaan atau integritas data, hasilnya didokumentasikan.
2. Sudah ada rancangan prosedur/kebijakan, tetapi tidak didokumentasikan.
1. Tidak ada rancangan prosedur/kebijakan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
205
Lampiran
317. Apakah terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai media, dan rancangan mengenai penjaminan kerahasiaan output tersebut? 4. Ya, ada rancangan mengenai output statistik yang dapat diakses melalui berbagai media, dan ada rancangan penjaminan kerahasiaan.
3. Ada rancangan mengenai output statistik yang dapat diakses melalui berbagai media, tetapi rancangan kerahasiaan belum/tidak menyeluruh.
2. Ada rancangan mengenai output statistik dapat diakses melalui beberapa media, tetapi belum/tidak ada rancangan mekanisme untuk mengatur kerahasiaan.
1. Belum terdapat rancangan media akses untuk memperoleh output statistik tersebut
318. Apakah terdapat rancangan mengenai output statistik yang dapat diakses melalui berbagai format, dan rancangan mengenai kerahasiaan format data dan metadata yang menjamin kerahasiaan output statistik tersebut?
33
4. Ya, ada rancangan mengenai output statistik yang dapat diakses melalui berbagai format, dan terdapat rancangan kerahasiaan.
3. Ada rancangan mengenai output statistik yang dapat diakses melalui berbagai format, tetapi rancangan kerahasiaan belum/tidak menyeluruh.
2. Ada rancangan mengenai output statistik yang dapat diakses melalui beberapa format, tetapi belum/tidak ada rancangan mekanisme untuk mengatur kerahasiaan.
1. Belum/tidak terdapat rancangan format untuk memperoleh output statistik
F. INTERPREBILITAS
319. Apakah penyusunan metadata mengikuti suatu standar?
22
4. Ya, mengikuti standar internasional.
3. Ya, mengikuti standar nasional.
2. Ya, mengikuti standar lainnya.
1. Belum/tidak mengikuti suatu standar.
320. Apakah terdapat rancangan mengenai jenis output statistik yang akan ditampilkan termasuk informasi minimum dari metadata yang harus disediakan?
206
33
2
4. Ya, ada rancangan mengenai jenis output statistik yang akan ditampilkan termasuk informasi minimum dari metadata yang harus disediakan. Hal ini telah didokumentasikan.
3. Ada rancangan mengenai jenis output statistik yang akan ditampilkan termasuk informasi minimum dari metadata yang harus disediakan. Hal ini belum didokumentasikan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
2
Lampiran
2. Ada rancangan mengenai jenis output statistik yang akan ditampilkan (baik didokumentasikan atau tidak), namun tidak memenuhi informasi minimum dari metadata yang harus disediakan.
1. Tidak ada rancangan mengenai jenis output statistik yang akan ditampilkan.
BLOK IV : MEMBANGUN (BUILD)
A. AKURASI
401.
Apakah terdapat rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil uji coba dan mencakup solusi penanganannya?
33
4. Ya, ada rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil uji coba dan mencakup solusi penanganannya. Permasalahan yang muncul dan solusinya didokumentasikan.
3. Ada rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil uji coba. Permasalahan yang muncul telah didokumentasikan, tapi solusinya tidak didokumentasikan.
2. Ada rencana perbaikan terhadap desain kegiatan statistik berdasarkan hasil uji coba, tapi permasalahan dan solusinya tidak didokumentasi.
1. Tidak terdapat rencana perbaikan terhadap desain kegiatan atau tidak melakukan uji coba desain kegiatan statistik.
402. Apakah melakukan uji coba seluruh instrumen dan hasilnya didokumentasi?
44
4. Ya, melakukan uji coba seluruh instrumen dan hasilnya didokumentasi.
3. Hanya melakukan uji coba sebagian instrumen dan hasilnya didokumentasi.
2. Melakukan uji coba instrumen tetapi hasilnya tidak didokumentasi.
1. Tidak dilakukan uji coba instrumen.
Apakah melakukan uji coba seluruh sistem produksi dan hasilnya didokumentasi
44
4. Ya, melakukan uji coba seluruh sistem produksi dan hasilnya didokumentasi
3. Hanya melakukan uji coba sebagian sistem produksi dan hasilnya didokumentasi
2. Melakukan uji coba sistem produksi tetapi hasilnya tidak didokumentasi
1. Tidak melakukan uji coba sistem produksi
303.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
207
Lampiran
BLOK V: PENGUMPULAN DATA (COLLECT) A. AKURASI 501.
502.
Apakah hasil pelatihan resmi petugas pengumpulan data digunakan sebagai dasar penentuan petugas?
208
33
4.
Ya, hasil pelatihan resmi petugas pengumpulan data didokumentasi dan digunakan sebagai dasar penentuan petugas.
3.
Hasil pelatihan resmi petugas pengumpulan data didokumentasi tetapi tidak digunakan sebagai dasar penentuan petugas.
2.
Hasil pelatihan resmi petugas pengumpulan data tidak didokumentasi dan tidak menjadi dasar penentuan petugas.
1.
Pelatihan petugas pengumpulan data tidak dilakukan, ataupun dilakukan tetapi tidak secara resmi.
Apakah melakukan pencacahan sesuai SOP, serta permasalahan yang terjadi pada saat pencacahan dan solusinya didokumentasi?
33
4.
Ya, melakukan pencacahan sesuai SOP. Permasalahan yang terjadi saat pencacahan dan solusinya didokumentasi. Atau tidak terjadi permasalahan.
3.
Melakukan pencacahan sesuai SOP. Permasalahan telah didokumentasi, tapi solusinya tidak didokumentasi (baik ada solusi ataupun tidak).
2.
Melakukan pencacahan sesuai SOP. Permasalahan dan solusinya tidak didokumentasi.
1. Pencacahan dilakukan tidak sesuai SOP.
503.
Apakah melakukan pengawasan pencacahan sesuai SOP serta permasalahan yang terjadi saat pengawasan pencacahan dan solusinya didokumentasi?
22
4.
Ya, melakukan pengawasan pencacahan sesuai SOP; permasalahan yang terjadi dan solusinya didokumentasi, atau memang tidak ada masalah.
3.
Melakukan pengawasan pencacahan sesuai SOP; permasalahan telah didokumentasi, tetapi solusinya tidak didokumentasi (baik ada solusi atau tidak).
2.
Melakukan pengawasan pencacahan sesuai SOP; tetapi permasalahan dan solusinya tidak didokumentasi.
1.
Pengawasan pencacahan dilakukan tidak sesuai SOP.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
504. Apakah melakukan sosialisasi kegiatan statistik dan hasilnya didokumentasi? 4.
Ya, melakukan sosialisasi kegiatan statistik mencakup seluruh responden dan hasilnya didokumentasi.
3.
Melakukan sosialisasi kegiatan statistik hanya mencakup responden tertentu dan hasilnya didokumentasi.
2.
Melakukan sosialisasi kegiatan statistik tetapi tidak didokumentasi.
1.
Tidak melakukan sosialisasi kegiatan statistik.
B. AKTUALITAS & TEPAT WAKTU 505.
506.
22
Apakah terdapat kesesuaian antara jadwal dan realisasi pada tahap pengumpulan data (t1)?
33
Misalkan
4.
t1 ≤ 1 kali dari waktu pengumpulan data yang direncanakan.
3.
1 < t1 < 1,25 kali dari waktu pengumpulan data yang direncanakan.
2.
1,25 ≤ t1 < 1,5 kali dari waktu pengumpulan data yang direncana.
1.
t1 ≥ 1,5 kali dari waktu pengumpulan data yang direncanakan.
Untuk sumber data administratif, apakah terdapat peraturan yang mengatur tentang ketersediaan data administrasi pada waktu yang telah disepakati?
X
4.
Ya, ada peraturan yang terdokumentasi dan dilaksanakan.
3.
Ada peraturan yang terdokumentasikan tetapi tidak dilaksanakan.
2.
Ada peraturan dan dilaksanakan tetapi tidak terdokumentasi.
1.
Tidak ada peraturan.
BLOK VI: PENGOLAHAN DATA (PROCESS)
601.
A. AKURASI
Apakah estimator yang dihasilkan memiliki nilai koefisien variasi yang kecil dan unbiased?
22
4.
CV ≤ 5% dan B2 (θ) = 0
3.
CV ≤ 5% danB2 (θ) > 0
2.
5% < CV ≤ 30%
1.
CV > 30%
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
209
Lampiran
602.
603.
604.
605.
210
Apakah menggunakan teknik sampling secara ilmiah dan nilai design effect (DEFF): 0 < DEFF ≤ 1?
11
4.
Ya, dilakukan penggunaan teknik sampling secara ilmiah, dan nilai Deff : 0 < Deff ≤ 1
3.
Dilakukan penggunaan teknik sampling secara ilmiah, dan nilai Deff : 1,0 < Deff ≤ 1,2
2.
Dilakukan penggunaan teknik sampling secara ilmiah, dan nilai Deff : 1,2 < Deff ≤ 1,5
1.
Tidak menggunakan teknik sampling secara ilmiah, atau menggunakan teknik sampling secara ilmiah tetapi nilai Deff : Deff > 1,5
Apakah hasil pelatihan resmi petugas processing data digunakan sebagai dasar penentuan petugas?
33
4.
Ya, hasil pelatihan resmi petugas processing didokumentasi dan digunakan sebagai dasar penentuan petugas.
3.
Hasil pelatihan resmi petugas processing didokumentasi tetapi tidak digunakan sebagai dasar penentuan petugas.
2.
Hasil pelatihan resmi petugas processing tidak didokumentasi dan tidak menjadi dasar penentuan petugas.
1.
Tidak melakukan pelatihan petugas processing, atau melakukan pelatihan tetapi tidak resmi.
Apakah melakukan pengolahan data (mencakup kegiatan editing, coding, entry, dan validasi data) sesuai SOP, serta permasalahan yang terjadi dan solusinya didokumentasi?
22
4.
Ya, melakukan pengolahan data sesuai SOP, serta permasalahan dan solusinya didokumentasikan; atau tidak terjadi masalah.
3.
Melakukan pengolahan data sesuai SOP, permasalahan didokumentasikan, tapi solusinya tidak didokumentaskan (baik ada solusi atau tidak).
2.
Melakukan pengolahan data sesuai SOP, tapi permasalahan dan solusinya tidak didokumentasikan.
1.
Pengolahan data dilakukan tidak sesuai SOP.
Apakah melakukan pengawasan pengolahan data (mencakup pengawasan untuk kegiatan editing, coding, entry, dan validasi data) sesuai SOP; serta permasalahan yang terjadi dan solusinya didokumentasikan?
22
4.
Ya, melakukan pengawasan pengolahan data sesuai SOP, serta permasalahan dan solusinya didokumentasikan.
3.
Melakukan pengawasan pengolahan data sesuai SOP, permasalahan telah didokumentasikan, tapi solusinya tidak didokumentasikan (baik ada solusi maupun tidak)
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
606.
607.
2.
Melakukan pengawasan pengolahan data sesuai SOP, tapi permasalahan dan solusinya tidak didokumentasikan
1.
Pengawasan pengolahan data dilakukan tidak sesuai SOP
Apakah ukuran nonsampling error berada pada level yang dapat diterima?
33
4.
α < 15% dan β < 15 %
3.
15% ≤ α < 25%; atau 15% ≤ β < 25%
2.
α ≥ 25% atau β ≥ 25%
1.
α dan β tidak dihitung
Apakah ukuran under-coverage berada pada standar yang diterima?
33
4.
x1 ≥ α1
3.
α1 - y1 ≤ x1 < α1
2.
α1 - z1 ≤ x1 < α1 - y1
1. x1 ≤ α1 - z1 atau ukuran under-coverage tidak dihitung
Keterangan: α1 = standar yang diterima, x1 = nilai yang diperoleh, dan y1, z1 = ambang batas yang disepakati sehingga z1 > y1
608.
Apakah tingkat duplikasi berada pada level yang dapat diterima?
33
4.
x2 ≤ α2
3.
α2 + y2 ≥ x2 > α2
2.
α2 + z2 ≥ x2 > α2 + y2
1. x2 > α2 + z2 atau tingkat duplikasi tidak dihitung
Keterangan: α2 = standar yang diterima, x2 = nilai yang diperoleh, dan y2, z2 = ambang batas yang disepakati sehingga z2 > y2
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
211
Lampiran
609.
Apakah proporsi dari over-coverage unit berada pada level yang dapat diterima?
44
4.
x3 ≤ α3
3.
α3 + y3 ≥ x3 > α3
2.
α3 + z3 ≥ x3 > α3 + y3
1.
x3 > α3 + z3 atau proporsi dari over-coverage unit tidak dihitung
Keterangan: α3 = standar yang diterima, x3 = nilai yang diperoleh, dan y3, z3 = ambang batas yang disepakati sehingga z3 > y3 610.
Apakah proporsi dari mis-klasifikasi unit berada pada level yang dapat diterima?
33
4.
x4 ≤ α4
3.
α4 + y4 ≥ x4 > α4
2.
α4 + z4 ≥ x4 > α4 + y4
1.
x4 > α4 + z4 atau proporsi dari unit yang mis-klasifikasi tidak dihitung
Keterangan: α4 = standar yang diterima, x4 = nilai yang diperoleh, dan y4, z4 = ambang batas yang disepakati sehingga z4 > y4 611.
612.
Apakah melakukan identifikasi systematic errors, serta hasilnya didokumentasi dan dilaporkan? 4.
Ya, melakukan identifikasi systematic errors. Hasilnya didokumentasikan dan dilaporkan.
3.
Melakukan identifikasi systematic errors. Hasilnya telah didokumentasikan, tapi tidak dilaporkan.
2.
Melakukan identifikasi didokumentasikan.
1.
Tidak melakukan identifikasi systematic errors.
systematic
errors,
tapi
hasilnya
tidak
Apakah tingkat kesalahan pengumpulan data (yang dihitung dari pencatatan lapangan) berada pada level yang dapat diterima?
22
4.
x5 ≤ a5
3.
a5 + y5 ≥ x5 > a5
2.
a5 + z5 ≥ x5 > a5 + y5
1. x5 > α5 + z5 atau tingkat kesalahan pengumpulan data tidak dihitung Keterangan: α5 = standar yang diterima, x5 = nilai yang diperoleh, dan y5, z5 = ambang batas yang disepakati sehingga z5 > y5
212
11
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
613.
Apakah proxy responses telah dikategorikan secara terpisah (flagged) dan berada pada level yang dapat diterima?
22
4.
x6 ≤ α6
3.
α6 + y6 ≥ x6 > α6
2.
α6 + z6 ≥ x6 > α6 + y6
1. x6 > α6 + z6 atau tingkat proxy responses tidak dihitung
Keterangan: α6 = standar yang diterima, x6 = nilai yang diperoleh, dan y6, z6 = ambang batas yang disepakati sehingga z6 > y6 614.
Apakah rata-rata tingkat coding/editing berada pada tingkat akurasi yang dapat diterima?
33
4.
x7 ≤ α7
3.
α7 + y7 ≥ x7 > α7
2.
α7 + z7 ≥ x7 > α7 + y7
1. x7 > α7 + z7 atau tingkat coding/editing tidak dihitung
Keterangan: α7 = standar yang dapat diterima, x7 = nilai yang diperoleh, dan y7, z7 = ambang batas yang disepakati sehingga z7 > y7 615.
Apakah rata-rata kesalahan coding/editing berada pada tingkat akurasi yang dapat diterima?
33
4.
x8 ≤ α8
3.
α8 + y8 ≥ x8 > α8
2.
α8 + z8 ≥ x8 > α8 + y8
1.
x8 > α8 + z8 atau kesalahan coding/editing tidak dihitung
Keterangan: α8 = standar yang dapat diterima, x8 = nilai yang diperoleh, dan y8, z8 = ambang batas yang disepakati sehingga z8 > y8 616.
Apakah rata-rata kesalahan entri data berada pada tingkat akurasi yang dapat diterima?
33
4.
x9 ≤ α9
3.
α9 + y9 ≥ x9 > α9
2.
α9 + z9 ≥ x9 > α9 + y9
1.
x9 > α9 + z9 atau rata-rata kesalahan entri tidak dihitung
Keterangan: α9 = standar yang diterima, x9 = nilai yang diperoleh, dan y9, z9 = ambang batas yang disepakati sehingga z9 > y9 Pedoman Kerangka Penjaminan Kualitas Statistik BPS
213
Lampiran
617.
Apakah tingkat non-response item berada pada level yang masih dapat diterima?
33
4.
x10 ≤ α10
3.
α10 + y10 ≥ x10 > a10
2.
α10 + z10 ≥ x10 > α10 + y10
1.
x10 > α10 + z10 atau tingkat non-response item tidak dihitung
Keterangan: α10 = standar yang diterima, x10 = nilai yang diperoleh, dan y10, z10 = ambang batas yang disepakati sehingga z10 > y10 618.
Apakah tingkat non-response unit berada pada level yang masih dapat diterima?
44
4.
x11 ≤ α11
3.
α11 + y11 ≥ x11 > α11
2.
α11 + z11 ≥ x11 > α11 + y11
1.
x11 > α11 + z11 atau tingkat non-response unit tidak dihitung
Keterangan: α11 = standar yang diterima, x11 = nilai yang diperoleh, dan y11, z11 = ambang batas yang disepakati sehingga z11 > y11 619.
Apakah rata-rata tingkat imputasi non-response item berada pada tingkat akurasi yang dapat diterima?
22
4.
x12 ≤ α12
3.
α12 + y12 ≥ x12 > α12
2.
α12 + z12 ≥ x12 > α12 + y12
1.
x12 > α12 + z12 atau tingkat imputasi non-response item tidak dihitung.
Keterangan: α12 = standar yang diterima, x12 = nilai yang diperoleh, dan y12, z12 = ambang batas yang disepakati sehingga z12 > y12 620.
Apakah rata-rata tingkat imputasi non-response unit berada pada tingkat akurasi yang dapat diterima?
22
4.
x13 ≤ α13
3.
α13 + y13 ≥ x13 > α13
2.
α13 + z13 ≥ x13 > α13 + y13
1.
x13 > α13 + z13 atau tingkat imputasi non-response unit tidak dihitung
Keterangan: α13 = standar yang diterima, x13 = nilai yang diperoleh, dan y13, z13 = ambang batas yang disepakati sehingga z13 > y13 214
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
621.
Apakah seluruh asumsi dalam model terpenuhi dan didokumentasi?
44
4.
Ya, seluruh asumsi dalam model terpenuhi dan didokumentasi
3.
Hanya sebagian asumsi dalam model terpenuhi dan didokumentasi
2.
Seluruh/sebagian asumsi dalam model terpenuhi, tapi tidak didokumentasi
1.
Seluruh asumsi dalam model tidak terpenuhi, atau tidak melakukan pengujian asumsi
B. AKTUALITAS & TEPAT WAKTU 622.
623.
624.
Apakah terdapat kesesuaian antara jadwal dan realisasi pengolahan data?
44
Misalkan
4.
t2 ≤ 1 kali dari waktu pengolahan data yang direncanakan
3.
1 < t2 < 1,25 kali dari waktu pengolahan data yang direncanakan
2.
1,25 ≤ t2 < 1,5 kali dari waktu pengolahan data yang direncanakan
1.
t2 ≥ 1,5 kali dari waktu pengolahan data yang direncanakan
Berapakah jumlah perbaikan aplikasi pengolahan data yang dilakukan setelah proses entry data dimulai?
44
4.
Tidak ada perbaikan program (program sudah sempurna)
3.
Perbaikan program 1-2 kali perbaikan
2.
Perbaikan program 3-4 kali perbaikan
1.
Lebih dari 4 kali perbaikan. Atau terjadi kesalahan tetapi tidak diperbaiki.
C. KOHERENSI & KOMPARABILITAS
Apakah tahapan processing (meliputi editing, imputasi, dan validasi) sudah mempertimbangkan koherensi dengan output statistik lainnya dan didokumentasikan?
2 2
4.
Ya, seluruh tahapan processing sudah mempertimbangkan koherensi dengan output statistik lainnya dan didokumentasikan.
3.
Tidak semua tahapan processing mempertimbangkan koherensi dengan output statistik lainnya dan didokumentasikan.
2.
Koherensi dengan output statistik lainnya telah dilakukan tetapi tidak didokumentasi.
1.
Tahapan processing tidak/belum mempertimbangkan koherensi dengan output statistik lainnya.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
215
Lampiran
625.
Apakah tahapan processing (meliputi editing, imputasi, dan validasi) sudah mempertimbangkan koherensi antar item data dan didokumentasikan?
22
4.
Ya, seluruh tahapan processing sudah mempertimbangkan koherensi koherensi antar item data dan didokumentasikan.
3.
Tidak semua tahapan processing mempertimbangkan koherensi koherensi antar item data dan didokumentasikan.
2.
Koherensi antar item data telah dilakukan tetapi tidak didokumentasi.
1.
Tahapan processing tidak/belum mempertimbangkan koherensi koherensi antar item data.
BLOK VII: ANALISIS (ANALYSE) A. RELEVANSI 701.
Apakah output hasil analisis telah sesuai dengan desain awal dan tersedia dokumentasinya? 4.
Ya, output hasil analisis telah sesuai dengan desain awal dan didokumentasi.
3.
Output hasil analisis telah sesuai dengan desain awal, tetapi tidak didokumentasi.
2.
Output hasil analisis berbeda dengan desain awal, tetapi didokumentasi.
1.
Output hasil analisis berbeda dengan desain awal dan tidak didokumentasi.
33
B. AKURASI 702.
Apakah melakukan analisis dampak dari sampling error, serta hasilnya didokumentasikan dan dipublikasikan? (Keterangan: ada tidaknya analisis dampak tergantung ada tidaknya desain sampling error di tahap design)
216
4.
Ya, dilakukan analisis dampak dari sampling error, hasilnya didokumentasi dan dipublikasi.
3.
Dilakukan analisis dampak dari sampling error, hasilnya didokumentasi tetapi tidak dipublikasi.
2.
Dilakukan analisis dampak dari sampling error, tetapi hasilnya belum/ tidak didokumentasi.
1.
Tidak dilakukan analisis dampak dari sampling error atau tidak ada desain sampling error.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
33
Lampiran
703.
Apakah melakukan analisis dampak dari non-sampling errors, serta hasilnya didokumentasikan dan dipublikasikan?
22
(Keterangan: ada tidaknya analisis dampak tergantung pada ada tidaknya desain non-sampling errors di tahap design) 4.
Ya, melakukan analisis dampak dari non-sampling errors. Hasilnya didokumentasikan dan dipublikasi.
3.
Melakukan analisis dampak dari non-sampling errors. Hasilnya telah didokumentasikan, tetapi tidak dipublikasi.
2.
Melakukan analisis dampak dari non-sampling errors, tetapi hasilnya tidak didokumentasi.
1.
Tidak melakukan analisis dampak dari non-sampling errors atau tidak ada desain mengenai non-sampling errors.
C. AKTUALITAS & TEPAT WAKTU 704.
Apakah terdapat kesesuaian antara jadwal dan realisasi analisis data?
33
Misalkan 4.
t3 ≤ 1 kali dari waktu analisis data yang direncanakan
3.
1 < t3 < 1,25 kali dari waktu analisis data yang direncanakan
2.
1,25 ≤ t3 < 1,5 kali dari waktu analisis data yang direncanakan
1.
t3 ≥ 1,5 kali dari waktu analisis data yang direncanakan
D. KOHERENSI & KOMPARABILITAS 705.
Apakah semua konsep dan definisi yang digunakan dalam series data sama dan didokumentasikan dalam metadata? 4.
Ya, konsep dan definisi yang digunakan sama dibandingkan dengan periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
3.
Konsep dan definisi yang digunakan sama dibandingkan dengan periode sebelumnya dan dijelaskan dalam metadata jika ada permintaan.
2.
Ada perbedaan konsep dan definisi yang digunakan dengan periode sebelumnya, dijelaskan dalam metadata jika ada permintaan.
1.
Tidak dilakukan perbandingan atau tidak ada dokumentasinya.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
44
217
Lampiran
706.
707.
708.
709.
218
Apakah semua klasifikasi yang digunakan dalam series data sama dan didokumentasikan dalam metadata? 4.
Ya, klasifikasi yang digunakan sama dibandingkan dengan periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
3.
Klasifikasi yang digunakan sama dibandingkan dengan periode sebelumnya, dijelaskan dalam metadata jika ada permintaan.
2.
Ada perbedaan klasifikasi yang digunakan dengan periode sebelumnya, dijelaskan dalam metadata jika ada permintaan.
1.
Tidak dilakukan perbandingan atau tidak ada dokumentasinya.
Apakah semua metodologi yang digunakan dalam series data sama dan didokumentasikan dalam metadata? 4.
Ya, metodologi yang digunakan sama dibandingkan dengan periode sebelumnya dan didokumentasikan dalam metadata. Atau jika terjadi perbedaan, dijelaskan dalam metadata beserta dasar perubahan dan dampaknya.
3.
Metodologi yang digunakan sama dibandingkan dengan periode sebelumnya, dijelaskan dalam metadata jika ada permintaan.
2.
Ada perbedaan metodologi yang digunakan dengan periode sebelumnya, dijelaskan dalam metadata jika ada permintaan.
1.
Tidak dilakukan perbandingan atau tidak ada dokumentasinya.
Apakah melakukan analisis koherensi dengan sumber data lain dalam periode yang sama? 4.
Ya, dilakukan analisis koherensi dengan sumber data lain, seluruh keterbandingan dapat dijelaskan dan terdokumentasi dalam metadata.
3.
Dilakukan analisis koherensi dengan sumber data lain, tidak semua keterbandingan dapat dijelaskan, telah terdokumentasi dalam metadata.
2.
Dilakukan analisis koherensi dengan sumber data lain, namun belum terdokumentasi dalam metadata.
1.
Tidak dilakukan analisis koherensi.
Apakah melakukan analisis koherensi antar item data? 4.
Ya, melakukan analisis koherensi antar item data, seluruh keterbandingan dapat dijelaskan dan terdokumentasi dalam metadata.
3.
Melakukan analisis koherensi antar item data, tidak semua keterbandingan dapat dijelaskan, telah terdokumentasi dalam metadata.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
44
44
22
44
Lampiran
2.
Melakukan analisis koherensi antar item data, namun belum terdokumentasi dalam metadata
1.
Tidak dilakukan analisis koherensi antar item data.
E. AKSESIBILITAS 710.
Apakah tersedia dokumen mengenai prosedur/kebijakan kontrol yang memastikan bahwa output statistik yang didiseminasikan tidak melanggar aturan kerahasiaan dan integritas data? 4.
Ya, ada dokumen prosedur/kebijakan terkait kerahasiaan data dan integritas data.
3.
Ya, ada dokumen prosedur/kebijakan terkait kerahasiaan data atau integritas data.
2.
Ya, ada prosedur/kebijakan tetapi tidak terdokumentasi.
1.
Tidak ada prosedur/kebijakan.
44
F. INTERPREBILITAS 711.
712.
Apakah semua temuan penting dan perbaikan data disampaikan ke pengguna data, dan didokumentasikan? 4.
Ya, semua temuan penting dan perbaikan data disampaikan ke pengguna dan didokumentasikan.
3.
Tidak semua temuan penting atau perbaikan data disampaikan ke pengguna. Hal ini sudah didokumentasikan.
2.
Temuan-temuan penting dan perbaikan data disampaikan ke pengguna, tapi tidak didokumentasikan.
1.
Temuan penting dan perbaikan data tidak disampaikan ke pengguna data.
Apakah seluruh informasi minimum dari metadata yang dibutuhkan pengguna untuk mengintepretasikan output statistik telah dipenuhi dan didokumentasikan? 4.
Ya, seluruh informasi minimum telah dipenuhi dan didokumentasikan.
3.
Hanya sebagian informasi minimum yang dapat dipenuhi dan telah didokumentasikan.
2.
Sebagian atau seluruh informasi minimum disediakan jika ada permintaan.
1.
Tidak ada informasi minimum dari metadata.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
22
22
219
Lampiran
713.
Apakah format publikasi statistik disusun sesuai dengan standar?
33
4.
Ya, format publikasi statistik disusun sesuai dengan standar internasional
3.
Ya, format publikasi statistik disusun sesuai dengan standar nasional.
2.
Ya, format publikasi statistik disusun dengan standar lainnya.
1.
Format publikasi statistik tidak disusun sesuai standar.
BLOK VIII: DISEMINASI (DISEMINATE) A. RELEVANSI 801.
Apakah penjelasan mengenai ketidaksesuaian antara output dengan desain awal telah disampaikan ke pengguna utama, dan didokumentasikan?
44
4.
Ya, penjelasan mengenai ketidaksesuaian antara output dengan desain awal telah disampaikan ke pengguna utama, dan didokumentasikan. Atau output sama dengan desain awal.
3.
Penjelasan mengenai ketidaksesuaian antara output dengan desain awal telah disampaikan kepada pengguna utama, tetapi tidak didokumentasikan.
2.
Penjelasan mengenai ketidaksesuaian antara output dengan desain awal tersedia, tapi tidak disampaikan kepada pengguna utama.
1.
Tidak tersedia penjelasan mengenai ketidaksesuaian antara output dengan desain awal.
B. AKTUALITAS & TEPAT WAKTU 802.
220
Apakah waktu publikasi hasil sementara berdasarkan standar waktu yang telah ditentukan?
X
Misalkan
4.
0,9 < t4 ≤ 1.
3.
1 < t4 ≤ 1,25
2.
t4 < 0,9 atau t4 ≥ 1,25
1.
Hasil sementara tidak dipublikasikan
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
803.
804.
Apakah waktu publikasi hasil akhir sudah berdasarkan pada standar waktu yang telah ditentukan?
44
Misalkan
4.
0,9 < t5 ≤ 1.
3.
1 < t5 ≤ 1,25
2.
t5 < 0,9 atau t5 ≥ 1,25
1.
Hasil akhir tidak dipublikasikan
Apakah terdapat kesesuaian antara durasi jadwal dengan realisasi diseminasi output statistik sementara?
Misalkan
805.
806.
X
4.
t6 ≤ 1 kali dari waktu diseminasi output statistik sementara yang direncanakan
3.
1 < t6 < 1,25 kali dari waktu diseminasi output statistik sementara yang direncanakan
2.
1,25 ≤ t6 < 1,5 kali dari waktu diseminasi output statistik sementara yang direncanakan
1.
t6 ≥ 1,5 kali dari waktu diseminasi output statistik sementara yang direncanakan
Apakah terdapat kesesuaian antara durasi jadwal dan realisasi diseminasi output statistik akhir?
34
Misalkan
4.
t7 ≤ 1 kali dari waktu diseminasi output statistik akhir yang direncanakan
3.
1 < t7 < 1,25 kali dari waktu diseminasi output statistik akhir yang direncanakan
2.
1,25 ≤ t7 < 1,5 kali dari waktu diseminasi output statistik akhir yang direncanakan
1.
t7 ≥ 1,5 kali dari waktu diseminasi output statistik akhir yang direncanakan
Jika terjadi keterlambatan diseminasi output statistik, apakah penyebab keterlambatan tersebut disampaikan kepada pengguna?
22
4.
Ya, keterlambatan dijelaskan kepada pengguna, didokumentasikan, dan dilaporkan. Atau tidak terjadi keterlambatan
3.
Ya, keterlambatan dijelaskan kepada pengguna dan didokumentasikan
2.
Ya, keterlambatan dijelaskan kepada pengguna
1.
Keterlambatan belum dijelaskan kepada pengguna
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
221
Lampiran
C. AKSESIBILITAS 807.
808.
809.
810.
222
Apakah pengguna dapat mengakses kebijakan organisasi terkait akses data?
44
4.
Ya, ada kebijakan, didokumentasikan, dan dapat diakses.
3.
Ya, ada kebijakan dan didokumentasikan, tetapi tidak dapat diakses.
2.
Ya, ada kebijakan, tetapi tidak terdokumentasi.
1.
Tidak ada kebijakan atau ada kebijakan, tetapi tidak bersifat formal.
Apakah terdapat kebijakan terkait biaya/harga diseminasi output statistik dan mudah diakses?
44
4.
Ya, ada kebijakan, didokumentasikan, dan dapat diakses.
3.
Ya, ada kebijakan dan didokumentasikan, tetapi tidak dapat diakses.
2.
Ya, ada kebijakan, tetapi tidak didokumentasikan.
1.
Tidak ada kebijakan atau ada kebijakan, tetapi tidak bersifat formal.
Apakah output statistik yang dihasilkan dapat diakses melalui media dengan mekanisme kerahasiaan yang sesuai rencana?
33
4.
Ya, data dan informasi dapat diakses melalui media dengan mekanisme kerahasiaan yang sesuai perancangan.
3.
Ya, data dan informasi dapat diakses melalui media sesuai perancangan, tetapi mekanisme kerahasiaan belum/tidak sesuai perancangan.
2.
Ya, data dan informasi dapat diakses melalui media sesuai perancangan, tetapi belum/tidak ada mekanisme untuk mengatur kerahasiaan.
1.
Data dan informasi dapat diakses melalui media tetapi tidak sesuai dengan perancangan.
Apakah output statistik yang dihasilkan tersedia dalam berbagai format dengan mekanisme kerahasiaan sesuai dengan rencana?
44
4.
Ya, data dan informasi tersedia dalam berbagai format (termasuk perancangan dan inisiatif ).
3.
Ya, data dan informasi tersedia dalam format terbatas, tetapi sesuai perancangan.
2.
Belum seluruh format sesuai dengan hasil perancangan
1.
Data dan informasi hanya tersedia dalam satu format.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
811.
812.
Apakah terdapat jadwal rilis publikasi dan diumumkan pada pengguna serta ditepati?
44
4.
Ya, terdapat jadwal rilis publikasi, diumumkan pada pengguna dan ditepati.
3.
Ya, terdapat jadwal rilis publikasi, diumumkan pada pengguna tetapi tidak ditepati.
2.
Ya, terdapat jadwal rilis publikasi, tetapi tidak diumumkan (baik ditepati ataupun tidak ditepati).
1.
Tidak tersedia jadwal rilis.
Apakah output statistik termuat dalam katalog yang mudah diakses pengguna utama?
44
4.
Ya, output statistik termuat dalam katalog, mudah diakses.
3.
Ya, output statistik termuat dalam katalog, tetapi tidak sesuai dengan kesepakatan.
2.
Tidak, output statistik tidak termuat dalam katalog.
1.
Tidak tersedia katalog publikasi.
D. INTERPREBILITAS 813.
814.
Apakah terdapat kontak layanan (hotline) yang diumumkan kepada publik dan mudah diakses?
44
4.
Ya, ada daftar kontak layanan tersedia, diumumkan secara luas, dan kontak mudah diakses.
3.
Ya, daftar kontak layanan tersedia, diumumkan secara luas, tetapi kontak tidak mudah diakses.
2.
Ya, daftar kontak layanan tersedia, tetapi tidak diumumkan secara luas.
1.
Daftar kontak layanan tidak tersedia.
Apakah output statistik yang akan didiseminasikan sudah diukur kualitasnya? kualitasnya,
hasilnya
didokumentasikan
dan
22
4.
Ya, sudah diukur didiseminasikan.
3.
Ya, sudah diukur kualitasnya, hasilnya didokumentasikan tetapi tidak didiseminasikan.
2.
Ya, sudah diukur kualitasnya tetapi belum didokumentasikan.
1.
Tidak ada pengukuran kualitas data.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
223
Lampiran
815.
Apakah ukuran kualitas statistik dari indikator statistik yang didiseminasikan tersedia dan dipublikasikan?
33
4.
Ya, ukuran kualitas statistik dari semua indikator ada dan dipublikasikan.
3.
Ya, ukuran kualitas statistik ada tapi tidak semua indikator dipublikasikan.
2.
Ya, ukuran kualitas statistik dari indikator ada tetapi tidak dipublikasikan.
1.
Ukuran kualitas statistik dari indikator tidak dihitung.
BLOK IX: EVALUASI (EVALUATE)
901.
902.
903.
A. RELEVANSI
Apakah terdapat proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik yang dihasilkan, dan hasilnya didokumentasikan?
44
4.
Ya, ada proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik, serta hasilnya didokumentasikan.
3.
Ya, ada proses formal untuk mengetahui kepuasan pengguna utama terhadap output statistik, tetapi hasilnya tidak didokumentasikan.
2.
Ya, ada proses untuk mengetahui kepuasan pengguna utama terhadap output statistik, tetapi proses tersebut tidak formal (baik hasilnya didokumentasi atau tidak).
1.
Tidak ada proses untuk mengetahui kepuasan pengguna utama terhadap output statistik.
Apakah terdapat proses formal untuk mengevaluasi kegiatan statistik secara menyeluruh (mencakup biaya, SDM, waktu/jadwal, alur kerja, sistem, dan kualitas output statistik yang dihasilkan), guna meningkatkan kualitas output statistik ke depan, serta hasilnya didokumentasikan? 4.
Ya, ada proses formal untuk mengevaluasi kegiatan statistik secara menyeluruh. Hasilnya didokumentasikan.
3.
Ya, ada proses formal untuk mengevaluasi kegiatan statistik tapi tidak secara menyeluruh. Hasilnya didokumentasikan.
2.
Ya, ada proses untuk mengevaluasi kegiatan statistik tapi tidak secara formal (baik hasilnya didokumentasi atau tidak).
1.
Tidak ada proses untuk evaluasi kegiatan statistik.
Apakah terdapat perencanaan formal untuk perbaikan kegiatan statistik secara menyeluruh (mencakup biaya, SDM, waktu/jadwal, alur kerja, dan sistem), guna meningkatkan kualitas output statistik ke depan, serta hasilnya didokumentasikan? 4.
224
2 2
Ya, ada perencanaan formal untuk perbaikan kegiatan statistik secara menyeluruh. Hasilnya didokumentasikan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
2 2
Lampiran
3.
Ya, ada perencanaan formal untuk perbaikan kegiatan statistik, tapi tidak secara menyeluruh. Hasilnya didokumentasikan.
2.
Ya, ada perencanaan formal untuk perbaikan kegiatan statistik, tapi tidak secara formal (baik hasilnya didokumentasi atau tidak).
1.
Tidak ada perencanaan untuk perbaikan kegiatan statistik.
B. AKURASI 904.
905.
906.
Apakah terdapat evaluasi resmi terkait sampling error dan hasilnya didokumentasi?
44
4.
Ya, ada evaluasi resmi terkait sampling error, dan hasilnya didokumentasi.
3.
Ada evaluasi resmi terkait sampling error, tetapi hasilnya tidak didokumentasi.
2.
Ada evaluasi terkait sampling error, tetapi tidak resmi (baik didokumentasi ataupun tidak).
1.
Tidak ada evaluasi terkait sampling error.
Apakah terdapat evaluasi resmi terkait non-sampling error dan hasilnya didokumentasi?
33
4.
Ya, ada evaluasi secara resmi terkait non-sampling errors. Hasilnya didokumentasi.
3.
Ada evaluasi secara resmi terkait non-sampling errors, tapi hasilnya tidak didokumentasi.
2.
Ada evaluasi terkait non-sampling errors, tapi dilakukan secara tidak resmi.
1.
Tidak ada evaluasi terkait non-sampling errors.
C. AKTUALITAS & TEPAT WAKTU
Apakah melakukan evaluasi resmi terkait keterkinian dari output statistik yang dihasilkan?
33
4.
Ya, ada evaluasi resmi dan hasilnya terdokumentasi.
3.
Ya, ada evaluasi resmi, tetapi hasilnya tidak terdokumentasi.
2.
Ya, ada evaluasi, tetapi bersifat tidak resmi.
1.
Tidak ada evaluasi.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
225
Lampiran
907.
908.
909.
910.
911.
226
Apakah terdapat evaluasi resmi terkait jadwal kegiatan dan jadwal update terhadap progress pelaksanaan kegiatan statistik?
22
4.
Ya, ada evaluasi resmi terkait jadwal kegiatan dan jadwal update catatan pertukaran data antar bagian dalam kegiatan produksi statistik.
3.
Ya, ada evaluasi resmi tetapi hanya terkait jadwal kegiatan saja.
2.
Ya, ada evaluasi tetapi bersifat tidak resmi.
1.
Tidak ada evaluasi.
Apakah terdapat evaluasi secara resmi terkait ketepatan waktu pelaksanaan kegiatan statistik, dan hasilnya didokumentasikan?
33
4.
Ya, ada evaluasi resmi dan hasilnya terdokumentasi.
3.
Ya, ada evaluasi resmi, tetapi hasilnya tidak terdokumentasi.
2.
Ya, ada evaluasi tetapi bersifat tidak resmi.
1.
Tidak ada evaluasi.
D. KOHERENSI & KOMPARABILITAS
Apakah melakukan evaluasi secara resmi terkait keterbandingan series data dari output statistik yang dihasilkan?
22
4.
Ya, ada proses evaluasi resmi, dan hasilnya didokumentasikan.
3.
Ya, ada proses evaluasi resmi, tetapi tidak didokumentasikan.
2.
Ya, ada proses evaluasi tetapi tidak resmi dan tidak terdokumentasi.
1.
Tidak ada proses evaluasi.
Apakah melakukan evaluasi secara resmi terkait koherensi dari output statistik yang dihasilkan dengan sumber data lainnya?
22
4.
Ya, ada proses evaluasi resmi dan hasilnya terdokumentasi.
3.
Ya, ada proses evaluasi resmi, tetapi tidak terdokumentasi.
2.
Ya, ada proses evaluasi tetapi tidak/belum terdokumentasi.
1.
Tidak ada proses evaluasi.
Apakah melakukan evaluasi secara resmi terkait koherensi antar item data dari output statistik yang dihasilkan?
22
4.
Ya, ada proses evaluasi resmi, hasilnya didokumentasi.
3.
Ya, ada proses evaluasi resmi, tetapi tidak didokumentasikan.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
912.
913.
914.
915.
2.
Ya, ada proses evaluasi tetapi tidak didokumentasikan.
1.
Tidak ada proses evaluasi.
E. AKSESIBILITAS
Apakah melakukan evaluasi secara resmi terkait akses output statistik yang dihasilkan?
33
4.
Ya, ada proses evaluasi resmi, hasilnya didokumentasikan.
3.
Ya, ada proses evaluasi resmi, tetapi tidak didokumentasikan.
2.
Ya, ada proses evaluasi tetapi belum/tidak didokumentasikan.
1.
Tidak ada proses evaluasi.
Apakah melakukan evaluasi secara resmi terkait manajemen dokumentasi dari setiap tahap kegiatan?
22
4.
Ya, ada proses evaluasi resmi dan hasilnya didokumentasikan.
3.
Ya, ada proses evaluasi resmi, tetapi tidak didokumentasikan.
2.
Ya, ada proses evaluasi tetapi tidak resmi.
1.
Tidak ada proses evaluasi.
F. INTERPREBILITAS
Apakah melakukan evaluasi secara resmi terkait kelengkapan metadata pada output statistik yang dihasilkan?
33
4.
Ya, ada proses evaluasi resmi dan hasilnya didokumentasikan.
3.
Ya, ada proses evaluasi resmi, tetapi tidak didokumentasikan.
2.
Ya, ada proses evaluasi tetapi tidak resmi (baik didokumentasikan ataupun tidak)
1.
Tidak ada proses evaluasi.
Apakah melakukan evaluasi terkait manajemen metadata dari output statistik yang dihasilkan?
33
4.
Ya, ada proses evaluasi resmi, hasilnya terdokumentasi.
3.
Ya, ada proses evaluasi resmi, tetapi tidak terdokumentasi.
2.
Ya, ada proses evaluasi namun belum terdokumentasi
1.
Tidak ada proses evaluasi.
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
227
Lampiran
Lampiran 3 Ilustrasi Pengukuran Kualitas menurut Tahapan Proses Bisnis (GSBPM) dan Dimensi Kualitas Tahapan perencanaan (mencakup specify needs, design, dan build) Dimensi
Indikator
Nama
Weighting
Nilai Kualitas (%)
Nama
Weighting
Nilai Standar
Nilai (5) * (6)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
0,1667
77,08
Mendeskripsikan dan mengelompokkan pengguna utama
0,0833
0,7500
0,0625
Identifikasi kebutuhan pengguna utama
0,0833
0,7917
0,0660
Sampling error
0,0833
1,0000
0,0833
Non sampling error
0,0833
0,8333
0,0694
Punctuality
0,1667
0,7500
0,1250
Standar klasifikasi, metodologi, konsep dan definisi yang digunakan
0,0417
0,8333
0,0347
Series data yang dapat diperbandingkan
0,0417
1,0000
0,0417
Keterbandingan dengan produk statistik lainnya
0,0417
0,7500
0,0313
Keterbandingan antar item data
0,0417
1,0000
0,0417
Kebijakan pengaksesan data, metadata, dan informasi
0,0556
0,7500
0,0417
Media akses
0,0556
0,7500
0,0417
Format data dan metadata
0,0556
0,7500
0,0417
Ketersediaan metadata
0,1667
0,5000
0,0833
Relevansi
Akurasi
0,1667
91,67
Aktualitas & tepat waktu
0,1667
75,00
Koherensi & komparabilitas
Aksesbilitas
Intepretabilitas
0,1667
0,1667
0,1667
Nilai kualitas
89,58
75,00
50,00 76,39
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
229
Lampiran
Tahapan pengumpulan data (collect) Dimensi
Indikator
Nama
Weighting
Nilai Kualitas (%)
Nama
Weighting
Nilai Standar
Nilai (5) * (6)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
Akurasi
0,5000
62,50
Non sampling error
0,5000
0,6250
0,3125
Aktualitas & tepat waktu
0,5000
75,00
Punctuality
0,5000
0,7500
0,3750
Nilai kualitas
68,75
Tahapan pengolahan (processing) Dimensi
Indikator
Nama
Weighting
Nilai Kualitas (%)
Nama
Weighting
Nilai Standar
Nilai (5) * (6)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
Akurasi
0,3333
52,96
Sampling error
0,1667
0,3750
0,0625
Non sampling error
0,1667
0,6842
0,1140
Aktualitas & tepat waktu
0,3333
100,00
Punctuality
0,3333
1,0000
0,3333
Koherensi & komparabilitas
0,3333
50,00
Keterbandingan dengan produk statistik lainnya
0,1667
0,5000
0,0833
Keterbandingan antar item data
0,1667
0,5000
0,0833
Nilai kualitas
67,65
Tahapan Analisis (analyse) Dimensi
230
Indikator
Nama
Weighting
Nilai Kualitas (%)
Nama
Weighting
Nilai Standar
Nilai (5) * (6)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
Relevansi
0,1667
75,00
Gap antara kebutuhan pengguna utama dengan output yang dihasilkan
0,1667
0,7500
0,1250
Akurasi
0,1667
62,50
Sampling error
0,0833
0,7500
0,0625
Non sampling error
0,0833
0,5000
0,0417
Aktualitas & tepat waktu
0,1667
75,00
Punctuality
0,1667
0,7500
0,1250
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
Lampiran
Dimensi
Indikator
Nama
Weighting
Nilai Kualitas (%)
Nama
Weighting
Nilai Standar
Nilai (5) * (6)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
Series data yang dapat diperbandingkan
0,0556
1,0000
0,0556
Keterbandingan dengan produk statistik lainnya
0,0556
0,5000
0,0278
Keterbandingan antar item data
0,0556
1,0000
0,0556
Kebijakan pengaksesan data, metadata, dan informasi
0,1667
1,0000
0,1667
Ketersediaan penjelasan ringkas mengenai temuan penting
0,0556
0,5000
0,0278
Ketersediaan metadata
0,0556
0,5000
0,0278
Format publikasi statistik disusun sesuai dengan standar
0,0556
0,7500
0,0417
Koherensi & komparabilitas
Aksesbilitas
Intepretabilitas
0,1667
0,1667
0,1667
Nilai kualitas
83,33
100,00
58,33
75,69
Tahapan Diseminasi (disseminate) Dimensi
Indikator
Nama
Weighting
Nilai Kualitas (%)
Nama
Weighting
Nilai Standar
Nilai (5) * (6)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
Relevansi
0,2500
100,00
Gap antara kebutuhan pengguna utama dengan output yang dihasilkan
0,2500
1,0000
0,2500
Aktualitas & tepat waktu
0,2500
81,25
Timeliness
0,1250
1,0000
0,1250
Punctuality
0,1250
0,6250
0,0781
Kebijakan pengaksesan data, metadata, dan informasi
0,0500
1,0000
0,0500
Media akses
0,0500
0,7500
0,0375
Format data dan metadata
0,0500
1,0000
0,0500
Tersedia jadwal rilis publikasi
0,0500
1,0000
0,0500
Tersedia katalog publikasi
0,0500
1,0000
0,0500
Ketersediaan contact point
0,1250
1,0000
0,1250
Ketersediaan metadata
0,1250
0,6250
0,0781
Aksesbilitas
Intepretabilitas
0,2500
0,2500
Nilai kualitas
95,00
81,25 89,38
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
231
Lampiran
Tahapan Evaluasi (evaluate) Dimensi Nama
Weighting
Nilai Kualitas (%)
Nama
Weighting
Nilai Standar
Nilai (5) * (6)
(1)
(2)
(3)
(4)
(5)
(6)
(7)
Relevansi
0,1667
66,67
Gap antara kebutuhan pengguna utama dengan output yang dihasilkan
0,1667
0,6667
0,1111
Akurasi
0,1667
87,50
Sampling error
0,0833
1,0000
0,0833
Non sampling error
0,0833
0,7500
0,0625
Timeliness
0,0833
0,7500
0,0625
Punctuality
0,0833
0,6250
0,0521
Series data yang dapat diperbandingkan
0,0556
0,5000
0,0278
Keterbandingan dengan produk statistik lainnya
0,0556
0,5000
0,0278
Keterbandingan antar item data
0,0556
0,5000
0,0278
Aktualitas & tepat waktu Koherensi & komparabilitas
0,1667
0,1667
68,75
50,00
Aksesbilitas
0,1667
62,50
Kebijakan pengaksesan data, metadata, dan informasi
0,1667
0,6250
0,1042
Intepretabilitas
0,1667
75,00
Ketersediaan metadata
0,1667
0,7500
0,1250
Nilai kualitas
232
Indikator
68,40
Pedoman Kerangka Penjaminan Kualitas Statistik BPS
