Pertemuan 3

 Pre-Processing

Data preprocessing adalah tahap yang lebih luas yang mencakup beberapa tindakan termasuk data cleaning. Ini juga melibatkan transformasi data agar sesuai dengan format atau struktur yang lebih sesuai untuk analisis atau pembelajaran mesin. Contoh dari preprocessing termasuk pengkodean variabel kategorikal menjadi numerik, penskalaan data untuk menghilangkan perbedaan skala, atau pengurangan dimensi untuk meningkatkan efisiensi analisis. Dalam pre-processing terdapat beberapa tahapan, diantaranya :

1. Data Cleaning

Data sering kali tidak sempurna dan bisa memiliki kesalahan, kehilangan nilai (missing values), atau format yang tidak sesuai. Data cleaning melibatkan identifikasi, penanganan, dan koreksi masalah-masalah ini agar data dapat digunakan secara efektif dalam analisis selanjutnya. Contoh tindakan pembersihan data meliputi penghapusan data duplikat, penanganan missing values, normalisasi data, dan lain sebagainya.

Input Code :

Output :

2. Data Collection

Ini adalah langkah pertama dalam proses pengolahan data di mana data dikumpulkan dari berbagai sumber yang relevan dengan tujuan analisis atau pengolahan yang akan dilakukan. Sumber data dapat berupa database, file teks, sensor IoT, atau bahkan input langsung dari pengguna. Kualitas dan relevansi data sangat penting dalam tahap ini untuk memastikan hasil analisis atau pengolahan yang akurat.

Input Code :

Output :

3. Data Transformation

Transformasi data adalah proses mengubah data mentah menjadi format atau bentuk yang lebih sesuai untuk analisis atau pemodelan. Ini bisa melibatkan transformasi statistik seperti normalisasi atau transformasi logaritmik untuk membuat distribusi data lebih sesuai dengan asumsi model analisis yang digunakan. Tujuan utama dari transformasi data adalah untuk meningkatkan kualitas analisis atau prediksi yang dihasilkan dari data.

Input Code :

Output :

4. Data Reduction

Data reduction adalah proses mengurangi jumlah data yang dianalisis atau diproses tanpa mengorbankan informasi penting. Ini sering kali dilakukan dalam konteks analisis big data atau ketika data yang tersedia terlalu besar untuk diproses secara efisien dalam waktu yang masuk akal. Teknik data reduction meliputi sampling data, pemilihan fitur (feature selection), atau menggunakan teknik pemampatan data untuk mengurangi ukuran fisik data.

Input Code :

Output :