Data preprocessing

 ال


data preprocessing بتتضمن :

1. Handling missing data

وده بيتم بطريقتين اما انك تعوض عن ال missing values دي بال mean او ال median او ال mode يا اما ت drop ال row كله 


 2. Encoding categorical variables

ودي بتيم فيها تحويل ال catigories ل numerical values عن طريق ال label encoding او ال one hot encoding


3. Scaling/ Normalization

ودي بيتم فيها توحيد المدى بتاع كل ال features عشان الموديل ميهتمش ب Feature على حساب التانية


4. Outlier Detection

ودي بيتم فيها تحديد ال outliers وازالتها سواء بال Z scores او ال IQR method


5. Data Splitting

وهنا بتقسم الداتا ل training set و testing set


6. Feature Engineering 

ودي بتعمل فيها features جديدة او بت select important features من ال features اللي already موجودة 


7. Handling Imbalanced Data 

لو الداتا عندك غير متوازنة بتستخدم SMOTE عشان تعيد توازن الداتا 


من خلال ال steps اللي قولنا عليهم دول هتضمن ان عندك clean data جاهزة عشان ت train عليها ال model

Comments

Post a Comment

Popular posts from this blog

Transfer Learning

Image
ال transfer learning هو طريقة بيتم فيها تكييف pre trained model متدرب على Task ل Task تاني جديد بس بيكون ذو صلة بالتاسك الاولاني بدل ما تبدأ training تاني من الصفر هو بيستخدم المعلومات اللي اتعلمها قبل كده عشان يحسن ال performance وكمان يقلل وقت ال training وفيه منه طريقتين : Feature extraction ودي بيتم فيها اعادة استخدام ال layers القديمة لل pre trained model وبتعمل training بس لل final layer على التاسك الجديدة Fine tune وده بتعمل فيه update لكل ال layers بس ب learning rate اقل
Read more

K-fold cross-validation

Image
  K-fold cross-validation هو method بنستخدمها عشان ن evaluate ال performance لل machine learning model بتاعنا طب ازاي نستخدم ال method دي: بنقسم الداتا اللي عندنا ل k-folds متساوية في العدد وبنعمل training للموديل على كل ال folds دي ماعدا واحدة كل مره بنتسته عليها وبنفضل نكرر ال process دي مع استخدام كل جزء من الداتا مره واحدة بس في ال testing وبنحسب ال average بتاع ال accuracy عشان نجيب ال accuracy النهائية الطريقة دي بتوفر تقدير لل performance مظبوط اكتر وبتمنع ان يحصل Overfitting أثناء ال training من خلال استخدام groups فرعية مختلفة من الداتا أثناء ال training وال testing
Read more

From Data to Insights: The Journey of a Machine Learning Model

Image
عمرك سألت نفسك قبل كده ازاي أنت ممكن تبقي لسه بتفكر في الحاجة او بتتناقش فيها مع حد وفجأة تفتح أي موقع من مواقع السوشيال ميديا وتلاقي الحاجة دي قدامك من غير حتى ما تكون فكرت تسيرش عنها قبل كده!!  أكيد ده مش سحر - ده ال Machine Learning !!  في البوست ده، هنعرض رحلة ال Machine Learning Model، من أول جمع البيانات الخام لحد إجراء تنبؤات تقود نظام ال recommendations على مواقع التجارة الإلكترونية. Step 1: Collecting Data كل حاجة بتبدأ بالداتا او البيانات. فكر في الداتا باعتبارها المادة الخام لل Machine Learning Model الخاص بيك، تمامًا زي المكونات لأي اكلة مثلاً. في بيئة التجارة الإلكترونية، ممكن الداتا دي تتضمن معلومات حول مشتريات العملاء السابقة، والمنتجات اللي تصفحوها، وحتى تقييماتهم أو مراجعاتهم. على سبيل المثال، لنفترض أنك تُدير متجر كتب أونلاين من خلال الإنترنت. وبتجمع الداتا حول الكتب اللي بيشتريها الأشخاص، والأنواع الي بيفضلونها، ومدى تكرار تسوقهم، والكتب اللي بيضيفونها لل shop later list. البيانات دي هي أساس ال recommendation system بتاعك.   Step 2: Preparing the Data ا...
Read more