Langsung ke konten utama

Postingan

DATA PROCESSING DAN DATA CLEANING

Data processing adalah proses pengolahan data mentah menjadi informasi yang berguna sedangkan Data cleaning adalah proses untuk mengidentifikasi dan memperbaiki atau menghapus data yang kotor atau tidak akurat dari dataset. 1. Penanganan Nilai Hilang (Missing Value) : Setelah melakukan pencarian, ditemukan bahwa terdapat beberapa data yang memiliki nilai null pada kolom-kolom tertentu. Ini dapat mempengaruhi analisis, sehingga perlu dilakukan penanganan nilai hilang. Beberapa teknik yang dapat digunakan termasuk pengisian nilai hilang dengan rata-rata, median, atau mode dari kolom tersebut, atau penghapusan baris/kolom yang memiliki banyak nilai hilang. 2. Identifikasi dan Penghapusan Duplikat : Setelah dilakukan identifikasi, beberapa baris dalam dataset ternyata merupakan duplikat. Langkah selanjutnya adalah menghapus duplikat tersebut untuk memastikan analisis dilakukan pada data yang bersih. Ini penting untuk mencegah bias dalam hasil analisis yang disebabkan oleh pengulangan d...
Postingan terbaru

DATA PREPARATION & VISUALIZATION

Data Preparation Data preparation atau persiapan data adalah langkah-langkah yang dilakukan untuk mempersiapkan data mentah sebelum digunakan dalam analisis dan pemodelan. Tujuannya adalah memastikan bahwa data yang akan digunakan adalah bersih, konsisten, dan dalam format yang sesuai untuk analisis atau pelatihan model pembelajaran mesin. Proses ini melibatkan berbagai tahapan, seperti pembersihan data, transformasi data, dan pengurangan dimensi. Contoh kode untuk Data Preparation dalam Python menggunakan library pandas: import pandas as pd # Membaca data dari file CSV data = pd.read_csv ( 'data.csv' ) # Pembersihan data: menghapus entri duplikat dan menangani nilai yang hilang data.drop_duplicates ( inplace= True ) data.dropna ( inplace= True ) # Transformasi data: mengubah format tanggal, mengonversi variabel kategorikal menjadi numerik, dll. data [ 'tanggal' ] = pd.to_datetime ( data [ 'tanggal' ]) data [ 'jenis_kelamin' ] = data [ 'jenis_kel...

PRE-PROCESSING

Pre-processing atau prapemrosesan adalah tahap awal dalam proses analisis data dan pembelajaran mesin (machine learning) yang bertujuan untuk mempersiapkan data mentah menjadi format yang sesuai untuk digunakan dalam model. Tahap ini sangat penting karena kualitas data yang digunakan akan sangat mempengaruhi kinerja dan akurasi model yang akan dibangun. Pre-processing mencakup berbagai teknik dan langkah-langkah untuk membersihkan, mengubah, dan menyusun data agar lebih mudah dianalisis. Beberapa langkah umum dalam pre-processing meliputi:   Pembersihan Data (Data Cleaning): Mengatasi Missing Values: Mengisi atau menghapus data yang hilang. Menghilangkan Duplikasi: Menghapus data yang duplikat atau redundan. Mengoreksi Kesalahan: Memperbaiki kesalahan dalam data, seperti kesalahan pengetikan atau inkonsistensi format. import pandas as pd # Membaca data dari file CSV data = pd.read_csv ( 'data.csv' ) # Menghapus baris yang memiliki nilai yang hilang (NaN) di kolom tertentu ...

SUPERVISED LEARNING (PREDIKSI) 30 ALGORITMA

1. Pengertian Supervised Learning: Supervised Learning adalah salah satu metode dalam pembelajaran mesin (machine learning) di mana model dilatih menggunakan data yang sudah diberi label. Data berlabel berarti setiap data input memiliki output yang diketahui dan telah ditentukan sebelumnya. Proses pelatihan ini melibatkan pemetaan input ke output yang benar, dengan tujuan agar model dapat melakukan prediksi yang akurat pada data baru yang belum pernah dilihat sebelumnya. Dalam supervised learning, model dibimbing (supervised) dengan contoh-contoh dari data berlabel, sehingga dapat belajar dari pola-pola yang ada untuk kemudian digunakan dalam memprediksi atau mengklasifikasikan data yang tidak dikenal. Terdapat dua jenis utama tugas dalam supervised learning, yaitu: Klasifikasi : Di mana output yang diprediksi adalah kategori atau kelas (contohnya, deteksi email spam, diagnosis penyakit). Regres i: Di mana output yang diprediksi adalah nilai kontinu (contohnya, prediksi harga rumah, ...

DATA TRANSKIP NILAI DAN DATA LULUSAN DARI UNIVERSITAS MELALUI API

 Link Google Colaboratory : Link Google Colaboratory Link PDf :  Link PDF           Pendahuluan Dalam laporan ini, kami akan menganalisis data transkrip nilai mahasiswa untuk mengeksplorasi beberapa aspek yang relevan dengan keberhasilan akademik mereka. Fokus utama analisis meliputi Indeks Prestasi Semester (IPS) per semester per mahasiswa, hubungan antara IPS dan lulusan tepat waktu, keterkaitan antara predikat kelulusan 'Pujian' dengan lulusan tepat waktu, hubungan antara durasi studi dan predikat kelulusan, serta perbandingan prestasi akademik berdasarkan jenis kelamin. Dengan menggali data ini, kami bertujuan untuk mendapatkan wawasan yang lebih mendalam tentang faktor-faktor yang memengaruhi keberhasilan akademik mahasiswa terutama dalam konteks lulus tepat waktu. I            I ntegrasi Data Mengambil data transkrip nilai dari API dan mengonversinya menjadi DataFrame Pandas, kemudian menampilkan bebe...

DATA MINING

Penggunaan data mining telah menjadi kunci penting dalam menganalisis data besar untuk mendapatkan wawasan. Beberapa metodologi dalam proses data mining, termasuk CRISP-DM, SEMMA, dan CCC. Memahami langkah-langkahnya, dan melihat bagaimana memainkan peran penting dalam mendapatkan pemahaman yang mendalam dari data. Proses ini meliputi identifikasi tujuan bisnis, pemahaman data, persiapan data, pemodelan, evaluasi, dan penerapan. 1. Data Mining Proses data mining adalah serangkaian langkah atau tahapan yang dilakukan untuk mengekstrak informasi yang berharga atau pola yang tersembunyi dari sekumpulan data. Berikut adalah tahapan-tahapan umum dalam proses data mining: Pemahaman Bisnis: Identifikasi tujuan bisnis dan kebutuhan informasi. Pemahaman Data: Kumpulkan, pahami, dan eksplorasi data. Persiapan Data: Bersihkan, transformasikan, dan bagi data. Pemilihan Model: Pilih teknik atau model yang sesuai. Pembangunan Model: Terapkan dan latih model pada data. Evaluasi Model: Evaluasi kinerj...

INSTALASI DAN KONFIGURASI DBMS ATAU MYSQL

DBMS (Database Management System) adalah perangkat lunak yang digunakan untuk mengelola dan mengatur basis data. DBMS memungkinkan pengguna untuk membuat, mengakses, dan mengelola data dalam basis data secara efisien. Berikut adalah langkah-langkah umum untuk menginstal dan mengkonfigurasi DBMS: 1. Pilih DBMS yang sesuai       Ada berbagai jenis DBMS yang tersedia, seperti MySQL, Oracle, Microsoft SQL Server, PostgreSQL, dan lainnya. Pilih DBMS yang sesuai dengan kebutuhan Anda. 2. Unduh dan instal DBMS       Kunjungi situs resmi DBMS yang Anda pilih dan unduh paket instalasi yang sesuai dengan sistem operasi yang Anda gunakan. Ikuti instruksi instalasi yang diberikan. 3. Konfigurasi pengaturan awal      Setelah instalasi selesai, Anda perlu melakukan beberapa konfigurasi awal. Ini termasuk mengatur kata sandi root atau administrator, menentukan direktori penyimpanan data, dan mengonfigurasi parameter utama seperti ukuran memori yan...