Langsung ke konten utama

DATA PROCESSING DAN DATA CLEANING

Data processing adalah proses pengolahan data mentah menjadi informasi yang berguna sedangkan Data cleaning adalah proses untuk mengidentifikasi dan memperbaiki atau menghapus data yang kotor atau tidak akurat dari dataset.

1. Penanganan Nilai Hilang (Missing Value) : Setelah melakukan pencarian, ditemukan bahwa terdapat beberapa data yang memiliki nilai null pada kolom-kolom tertentu. Ini dapat mempengaruhi analisis, sehingga perlu dilakukan penanganan nilai hilang. Beberapa teknik yang dapat digunakan termasuk pengisian nilai hilang dengan rata-rata, median, atau mode dari kolom tersebut, atau penghapusan baris/kolom yang memiliki banyak nilai hilang.

2. Identifikasi dan Penghapusan Duplikat : Setelah dilakukan identifikasi, beberapa baris dalam dataset ternyata merupakan duplikat. Langkah selanjutnya adalah menghapus duplikat tersebut untuk memastikan analisis dilakukan pada data yang bersih. Ini penting untuk mencegah bias dalam hasil analisis yang disebabkan oleh pengulangan data yang sama.

3. Penanganan Nilai Ekstrem : Melalui analisis, teridentifikasi adanya nilai-nilai yang ekstrem dalam dataset. Nilai-nilai ini dapat mempengaruhi hasil analisis secara signifikan. Oleh karena itu, perlu dilakukan penanganan khusus terhadap nilai-nilai ekstrem ini. Teknik yang dapat digunakan termasuk transformasi data, penghapusan outlier, atau pengaturan batas atas dan bawah untuk data.

4. Penanganan Kesalahan Tipe atau Format : Terdapat beberapa kesalahan tipe atau ketidaksesuaian format dalam dataset yang perlu diidentifikasi dan diperbaiki. Hal ini penting untuk memastikan konsistensi data dan akurasi analisis. Misalnya, memastikan bahwa semua tanggal dalam format yang sama, atau semua angka diformat dengan konsistensi desimal yang benar.

5. Identifikasi Anomali atau Nilai Tidak Sesuai : Selama proses analisis, terdapat beberapa nilai yang tidak sesuai dengan aturan bisnis atau ilmu pengetahuan yang relevan. Penting untuk mengidentifikasi dan menangani anomali ini agar analisis dapat dilakukan dengan akurat. Ini dapat melibatkan validasi terhadap aturan-aturan tertentu dan koreksi data yang tidak sesuai.

6. Pembersihan dan Pemrosesan Data Teks : Terdapat juga data teks dalam dataset yang perlu dibersihkan dan diproses. Ini termasuk penghapusan karakter khusus, konversi teks ke format standar (misalnya, huruf kecil semua), penghapusan stop words, dan mungkin juga penerapan stemming atau lemmatization untuk menghasilkan representasi yang lebih bersih dan seragam dari data teks. 

contoh link google colaboratory : link google colaboratory Data processing dan data cleaning

Komentar

Posting Komentar

Postingan populer dari blog ini

DATA TRANSKIP NILAI DAN DATA LULUSAN DARI UNIVERSITAS MELALUI API

 Link Google Colaboratory : Link Google Colaboratory Link PDf :  Link PDF           Pendahuluan Dalam laporan ini, kami akan menganalisis data transkrip nilai mahasiswa untuk mengeksplorasi beberapa aspek yang relevan dengan keberhasilan akademik mereka. Fokus utama analisis meliputi Indeks Prestasi Semester (IPS) per semester per mahasiswa, hubungan antara IPS dan lulusan tepat waktu, keterkaitan antara predikat kelulusan 'Pujian' dengan lulusan tepat waktu, hubungan antara durasi studi dan predikat kelulusan, serta perbandingan prestasi akademik berdasarkan jenis kelamin. Dengan menggali data ini, kami bertujuan untuk mendapatkan wawasan yang lebih mendalam tentang faktor-faktor yang memengaruhi keberhasilan akademik mahasiswa terutama dalam konteks lulus tepat waktu. I            I ntegrasi Data Mengambil data transkrip nilai dari API dan mengonversinya menjadi DataFrame Pandas, kemudian menampilkan bebe...
Posting Komentar
Baca selengkapnya

DATA PREPARATION & VISUALIZATION

Data Preparation Data preparation atau persiapan data adalah langkah-langkah yang dilakukan untuk mempersiapkan data mentah sebelum digunakan dalam analisis dan pemodelan. Tujuannya adalah memastikan bahwa data yang akan digunakan adalah bersih, konsisten, dan dalam format yang sesuai untuk analisis atau pelatihan model pembelajaran mesin. Proses ini melibatkan berbagai tahapan, seperti pembersihan data, transformasi data, dan pengurangan dimensi. Contoh kode untuk Data Preparation dalam Python menggunakan library pandas: import pandas as pd # Membaca data dari file CSV data = pd.read_csv ( 'data.csv' ) # Pembersihan data: menghapus entri duplikat dan menangani nilai yang hilang data.drop_duplicates ( inplace= True ) data.dropna ( inplace= True ) # Transformasi data: mengubah format tanggal, mengonversi variabel kategorikal menjadi numerik, dll. data [ 'tanggal' ] = pd.to_datetime ( data [ 'tanggal' ]) data [ 'jenis_kelamin' ] = data [ 'jenis_kel...
Posting Komentar
Baca selengkapnya

SUPERVISED LEARNING (PREDIKSI) 30 ALGORITMA

1. Pengertian Supervised Learning: Supervised Learning adalah salah satu metode dalam pembelajaran mesin (machine learning) di mana model dilatih menggunakan data yang sudah diberi label. Data berlabel berarti setiap data input memiliki output yang diketahui dan telah ditentukan sebelumnya. Proses pelatihan ini melibatkan pemetaan input ke output yang benar, dengan tujuan agar model dapat melakukan prediksi yang akurat pada data baru yang belum pernah dilihat sebelumnya. Dalam supervised learning, model dibimbing (supervised) dengan contoh-contoh dari data berlabel, sehingga dapat belajar dari pola-pola yang ada untuk kemudian digunakan dalam memprediksi atau mengklasifikasikan data yang tidak dikenal. Terdapat dua jenis utama tugas dalam supervised learning, yaitu: Klasifikasi : Di mana output yang diprediksi adalah kategori atau kelas (contohnya, deteksi email spam, diagnosis penyakit). Regres i: Di mana output yang diprediksi adalah nilai kontinu (contohnya, prediksi harga rumah, ...
Posting Komentar
Baca selengkapnya