Underfitting

ما هو الـ Underfitting؟

Underfitting هو حالة بتحصل لما الـ model ما بيقدرش يتعلم بشكل كافي من ال Training Dataset، وده بيؤدي إلى ضعف أدائه سواء على training data أو test data
ممكن نقول إن ال model في حالة Underfitting بيكون بسيط جدًا لدرجة إنه مش قادر يفهم الأنماط أو العلاقات المعقدة اللي موجودة في البيانات.

أمثلة:

⦁ مثال من الحياة الواقعية:

جهاز قياس ضغط الدم غير دقيق بيعتمد على متوسط القيم العامة لجميع المستخدمين دون مراعاة الاختلافات الفردية. ده بيؤدي لنتائج غير دقيقة لكل مريض.

مثال نظري:

⦁ محاولة استخدام Linear Regression model لمجموعة بيانات تحتوي على علاقة غير خطية. الmodel مش قادر يفهم الأنماط المتغيرة في البيانات، وده بيؤدي إلى أداء ضعيف

التحيز والتباين (Bias-Variance Tradeoff):

ما هو التحيز (Bias):

التحيز يشير إلى تبسيط مفرط للmodel ، وده بيؤدي إلى تمثيل غير دقيق (Poor Fit) للبيانات الحقيقية.

النتيجة: بيكون في خطأ مرتفع سواء في ال training data او ال Test data.

⦁ ما هو التباين (Variance):

التباين يعني أن ال model حساس جدًا لتقلبات بيانات التدريب، وده بيؤدي إلى ضعف في تعميم ال model لما يتم اختباره على بيانات جديدة.

النتيجة: ال model بيحقق أداء جيد جدًا على ال training data، لكن بيكون ضعيف جدًا على ال test data .

ليه في tradeoff بين التحيز والتباين؟

لأن ال model البسيط جدًا (High Bias) يعاني من Underfitting، بينما الmodel المعقد جدًا (High Variance) يعاني من Overfitting تحقيق التوازن المناسب بين الاثنين هو المفتاح للحصول على model ذو أداء جيد على training data و Test data .

ازاي تكتشف Underfitting:

⦁ ارتفاع training error و test error : لو كانت الأخطاء مرتفعة بشكل متساوٍ على training and test data
⦁ رسم بياني مفرط التبسيط: لما نرسم البيانات وال model، بنشوف إن الmodel مش قادر يوضح الأنماط بشكل كويس، وده يعني إنه ممكن يكون مبسط زيادة أو بيعاني من underfitting

الأسباب المٌحتملة ل Underfitting :

⦁ استخدام model بسيط جدًا لمشكلة معقدة.
⦁ نقص عدد الfeatures المهمة في البيانات.
⦁ تدريب الmodel لفترة قصيرة جدًا عدد Epochs غير كافٍ.
⦁ وجود noise أو outliers تؤثر على الmodel
⦁ تنظيم (regularization) مفرط يحد من قدرة الmodel على التعلم.

معالجة Underfitting

زيادة تعقيد ال model :

• استخدام model أكثر تعقيدًا يناسب حجم وتعقيد البيانات.
• مثال: زيادة الdepth في Random Forest model

زيادة مدة التدريب:

• زيادة عدد الـ Epochs لتحسين التعلم.

تنظيف البيانات:

• إزالة outliers أو noise

ضبط معلمات التنظيم (Regularization) :

• تقليل تأثير Regularization Parameters للحصول على مرونة أكبر للmodel

تغيير ال model :

⦁ استخدام model أكثر تعقيدًا زي Polynomial Regression بدلاً من Linear Regression إذا كان الpattern غير خطي.