التعلم الآلي (ML). تدريب النماذج الرياضية باستخدام الخوارزمية أشجار القرار طرق الانحدار والتصنيف

يتم تصنيف أشجار القرار على أنها خوارزميات التعلم الآلي الخاضع للإشراف (ML) وتستخدم للتنبؤ بكل من متغيرات الإخراج المستمرة (الانحدار) والفئوية (التصنيف). هذه الميزة في برنامجنا تجعل تكنولوجيا التعلم الآلي في متناول مجموعة واسعة من المستخدمين.

يمكنك تنزيل مثال لملف جدول بيانات منظم لإنشاء نموذج رياضي والتنبؤ بخوارزمية شجرة القرار لتحليل الانحدار: XLSX و للتصنيف XLSX .

يمكن استخدام البيانات المنظمة من ملفات الجدول للاستيراد: مصنف Excel (*.xlsx)؛ مصنف Excel الثنائي (*.xlsb)؛ جدول بيانات OpenDocument (*.ods).

أين يتم استخدامه؟

يمكن استخدام تحليل البيانات باستخدام طريقة شجرة القرار:

• كبديل فعال (التكلفة، الوقت، الموارد)" تجارب التخطيط "للبحث عن الأوضاع المثلى لمعلمات الإدخال؛
• للتقييم الأولي أو البديل لمعلمات المخرجات عندما يتم تنفيذ إجراءات القياس لهذه المعلمات بواسطة اختبارات مكلفة و/أو تستغرق وقتًا طويلاً؛
• لأنظمة دعم القرار المتخصصة (DSS)، عندما ترتبط القرارات بمخاطر الأخطاء البشرية.

ملفات نموذج البيانات

يمكن لبرنامجنا استخدام النماذج الرياضية المدربة لأشجار القرار لمكتبة scikit-Learn، التي تم إنشاؤها على أجهزة كمبيوتر أخرى وحفظها في ملفات (*.sav).

أشجار القرار بطريقة الانحدار للكميات المستمرة (القياسات) عند المدخلات والمخرجات

مثال للاستخدام من أحد عملائنا:
أنت تدير تطوير التصميم وإنتاج التجميع، وطلب الأجزاء من مركز كبير لتشغيل المعادن. عدد الطلبات لحساب تكلفة مركز المعادن يتجاوز بشكل كبير عدد الطلبات الفعلية منه. إن مديري مركز المعادن مترددون بالفعل ومتأخرون في الاستجابة لطلباتك. أنت تعرض على مركز المعادن أن يعطيك خوارزمية حسابية حتى تتمكن من حساب تكلفة عمل مركز المعادن بسرعة دون تشتيت موظفيه عن العمل، ولكن بطبيعة الحال، تتلقى الرفض.

يعد تاريخ طلباتك مع الكمية والخصائص التقنية للأجزاء (التي تشكل الأساس لحساب تكلفة خدمات المركز المعدني) والتكلفة المقدمة أساسًا ممتازًا لإنشاء نموذج الانحدار واستخدامه للحصول بشكل مستقل على مركز معدني قريب جدًا الأسعار دون إرسال طلبات للحساب. وظيفة التعلم الآلي، أشجار القرار عن طريق انحدار البرنامج، ستوضح مخططات التحكم الخاصة بـ Shewhart + AI تقييمًا لدقة النموذج الرياضي عند بنائه. التحليل الرسومي لخطأ أسعار مراكز المعادن المتوقعة باستخدام النموذج الرياضي الذي تم إنشاؤه "القيم الحالية مقابل القيم المتوقعة" سيُظهر لك تقييمًا للمخاطر المحتملة، سواء في الاتجاهين "الخطير" أو "الآمن"، والتي يمكنك أخذها في الاعتبار حساب في التسعير الخاص بك. لتحديث النموذج الرياضي الخاص بك، ستتمكن من استكماله بالأوامر التي ستصل فعليًا إلى التنفيذ في مركز المعادن.

الشكل 1. نافذة للوصول إلى وظائف التعلم الآلي (ML). يتم عرض قائمة بالقوائم المنسدلة عند تحريك الماوس فوق عنصر القائمة الرئيسية.

الشكل 2. نافذة وظائف التعلم الآلي (ML). يتم عرض تلميح الأداة عند تحريك الماوس فوق الزر للانتقال إلى وظائف أشجار القرار (الانحدار والتصنيف).

الشكل 3. نافذة للانتقال إلى وظائف إدارة خوارزميات التعلم الآلي باستخدام أشجار القرار (الانحدار والتصنيف). يظهر تلميح أداة منسدل عندما تقوم بتحريك الماوس فوق الزر للانتقال إلى لوحة تحكم خوارزميات شجرة القرار (الانحدار).

الشكل 4. نافذة وظيفة التحكم لخوارزمية التعلم الآلي باستخدام طريقة شجرة القرار (الانحدار). يتم فتح قائمة منسدلة لتحديد المتغير المتوقع.

الشكل 5. نافذة وظيفة التحكم لخوارزمية التعلم الآلي باستخدام طريقة شجرة القرار (الانحدار). تم تحديد خانة الاختيار الخاصة بإزالة القيود المفروضة على عمق شجرة القرار. تم تحديد خانة الاختيار لحفظ النموذج عند تغيير معلمات النموذج في مجلد التطبيق المقابل (SCCPython\resources\Model_AI).

الشكل 6. نافذة وظيفة التحكم لخوارزمية التعلم الآلي باستخدام طريقة شجرة القرار (الانحدار). يتم فتح قائمة منسدلة تحتوي على أنواع الرسوم البيانية لتقييم النماذج الرياضية. تعرض منطقة الرسم الرسم البياني "القيم الفعلية مقابل القيم المتوقعة" لمجموعة بيانات الاختبار.

الشكل 7. نافذة الوظيفة للتحكم في تطبيق النموذج الرياضي لشجرة القرار (الانحدار). يتم تغيير حجم الرسم البياني على المحور X لإظهار نقاط أقل (من 140 إلى 196) باستخدام أداة Zoom الموجودة أسفل الرسم البياني. يتم عرض تلميح أداة منسدل عند التمرير فوق الزر للانتقال إلى وظيفة تحديد نموذج رياضي مدرب لتطبيقه على البيانات الجديدة المحددة في الخطوات التالية.

الشكل 8. نافذة الوظيفة لإدارة اختيار النموذج الرياضي لشجرة القرار (الانحدار). يتم عرض تلميح أداة منسدل عند التمرير فوق الحقل مع المسار إلى النموذج الرياضي المُدرب المحدد.

الشكل 9. نافذة الوظيفة لإدارة اختيار النموذج الرياضي لشجرة القرار (الانحدار). يتم عرض تلميح أداة منسدل عندما تقوم بتمرير المؤشر فوق الزر للانتقال إلى وظيفة تحديد البيانات لاستخدامها في نموذج رياضي.

الشكل 10. نافذة الوظيفة لإدارة اختيار ملف يحتوي على بيانات وتطبيق النموذج الرياضي لشجرة القرار (الانحدار) عليها. يظهر تلميح أداة منسدل عند المرور فوق زر "توقع النتائج".

الشكل 11. نافذة للتحكم في تطبيق النموذج الرياضي لشجرة القرار (الانحدار) على البيانات المستوردة. من خلال الضغط على زر "توقع النتائج"، يتم تطبيق النموذج على البيانات المستوردة وعند الانتهاء من العملية، يتم فتح نافذة إعلام لحفظ القيم المتوقعة في ملف Excel مع البيانات المصدر.

إذا كانت بياناتك المستوردة تحتوي على عمود متغير توضيحي واحد أو أكثر بقيم فئوية، مثل [ذكر، أنثى]، فسيتم تنفيذ إجراء ترميز سريع تلقائي لتحويل البيانات إلى أعمدة مشفرة رقمية جديدة [0، 1]. سيتم حفظ البيانات المشفرة الساخنة في الملف [xlsx] الأصلي في ورقة جديدة.

الأسباب التي تجعل دقة النموذج الرياضي باستخدام طريقة شجرة القرار (الانحدار) تعطي دقة منخفضة

1. البيانات المحدودة: إذا كانت البيانات المدخلة إلى النموذج محدودة أو تحتوي على معلومات غير كافية، فقد يواجه النموذج بيانات غير كافية لإنتاج نموذج تنبؤي دقيق.
2. اختيار ميزة غير صحيح: إذا تم تضمين ميزات غير مناسبة أو غير ذات صلة في النموذج، فقد يؤثر ذلك على دقة النموذج. يعد اختيار الميزات الصحيحة وتنظيف البيانات من القيم المتطرفة والضوضاء أمرًا مهمًا للغاية لتحقيق دقة عالية لنموذج الانحدار.
3. التدريب الناقص: إذا لم يتم تدريب النموذج لفترة كافية أو لم يكن معقدًا بما يكفي لتقريب العلاقات المعقدة في البيانات، فقد يؤدي ذلك إلى ضعف دقة التنبؤ. في مثل هذه الحالات، قد يكون من الضروري زيادة عمق شجرة القرار أو استخدام تقنيات التعلم الآلي الأخرى.
4. التجهيز الزائد: إذا كان النموذج يحتوي على عدد كبير جدًا من المعلمات أو شجرة قرارات عميقة جدًا، فقد يؤدي ذلك إلى زيادة الاحتواء في بيانات التدريب والأداء السيئ على البيانات الجديدة. إحدى طرق مكافحة التخصيص الزائد هي استخدام التنظيم، مثل التمايل أو تقييد معلمات النموذج.
5. بيانات غير متوازنة: إذا كانت مجموعة بيانات التدريب تحتوي على عدد غير متساو من أمثلة قيم المتغير المستهدف، فقد يؤدي ذلك إلى ضعف دقة النموذج. في مثل هذه الحالات، قد يلزم استخدام تقنيات الترجيح النموذجية.
6. التشويش في البيانات: يمكن أن يؤدي التشويش أو القيم المتطرفة العشوائية في البيانات إلى انخفاض دقة نموذج الانحدار. ومن الضروري إجراء تحليل أولي للبيانات وإزالة القيم المتطرفة، فضلا عن تطبيق أساليب للحد من تأثير الضوضاء، مثل تجانس البيانات أو تصفيتها.

أشجار القرار حسب طريقة التصنيف للكميات المستمرة (القياسات) كمدخلات والبيانات الفئوية (الفئات) كمخرجات

مثال 1. بناء على نتائج الفحوصات السريرية للمريض، من الضروري اتخاذ قرار بشأن تشخيصه، على سبيل المثال، مريض/غير مريض.

مثال 2. من الضروري استخلاص استنتاج حول انتماء كائن أو حدث إلى فئة (نوع) معينة بناءً على نتائج قياسات العديد من خصائصه (خصائصه).

الشكل 12. نافذة وظيفة إدارة التدريب وتقييم النموذج الرياضي لشجرة القرار (التصنيف). يتم عرض تلميح أداة منسدل عند تحريك الماوس فوق الزر للانتقال إلى لوحة التحكم لخوارزميات شجرة القرار باستخدام طريقة التصنيف.

الشكل 13. نافذة وظيفة إدارة التدريب وتقييم النموذج الرياضي لشجرة القرار (التصنيف). تم تحديد خانة الاختيار لإزالة الحد الأقصى لعمق شجرة القرار. تم تحديد خانة الاختيار لحفظ النموذج عند تغيير معلمات النموذج في مجلد التطبيق المقابل (SCCPython\resources\Model_AI). يتم عرض قائمة منسدلة مع اختيار أنواع الرسوم البيانية التقييمية للنموذج المُدرب عند استخدام بيانات الاختبار التي لم يتم تضمينها في مجموعة بيانات التدريب.

الشكل 14. نافذة وظيفة إدارة التدريب وتقييم النموذج الرياضي لشجرة القرار (التصنيف) مع الرسوم البيانية لـ "مصفوفة الارتباك". يتم عرض تلميح عند تحريك مؤشر الماوس فوق الزر للانتقال إلى لوحة التحكم لتحديد نموذج مدرب لاستيراد البيانات في الخطوة التالية."

الشكل 15. نافذة الوظيفة لاختيار نموذج رياضي مدرب لشجرة القرار (التصنيف) للبيانات التي حددها المستخدم في الخطوة التالية. يتم عرض تلميح أداة عندما تقوم بتمرير مؤشر الماوس فوق الزر للانتقال إلى لوحة التحكم في تحديد البيانات لتطبيق النموذج المدرب المحدد عليه.

الشكل 16. نافذة لوظيفة تطبيق نموذج شجرة القرارات الرياضية المدربة (التصنيف) على البيانات التي حددها المستخدم. يظهر تلميح الأداة عند تحريك مؤشر الماوس فوق الزر "توقع النتائج".

الشكل 17. نافذة لوظيفة تطبيق نموذج شجرة القرارات الرياضية المدربة (التصنيف) على البيانات التي حددها المستخدم. من خلال الضغط على زر "توقع النتائج"، يتم تطبيق النموذج على البيانات المستوردة وعند الانتهاء من العملية، يتم فتح نافذة إعلام لحفظ القيم المتوقعة في ملف Excel.

الشكل 18. نافذة وظيفة إدارة التدريب وتقييم النموذج الرياضي لشجرة القرار (التصنيف). في منطقة الرسم البياني، يتم عرض مصفوفات الارتباك بشكل كبير - النوع الثاني من الرسوم البيانية لشجرة القرار (التصنيف).

إذا كانت بياناتك المستوردة تحتوي على عمود متغير توضيحي واحد أو أكثر بقيم فئوية، مثل [ذكر، أنثى]، فسيتم تنفيذ إجراء ترميز سريع تلقائي لتحويل البيانات إلى أعمدة مشفرة رقمية جديدة [0، 1]. سيتم حفظ البيانات المشفرة الساخنة في الملف [xlsx] الأصلي في ورقة جديدة.

الأسباب التي تجعل دقة النموذج الرياضي باستخدام طريقة شجرة القرار (التصنيف) تعطي دقة منخفضة

1. كمية غير كافية من البيانات: إذا تم تدريب النموذج على كمية صغيرة من البيانات، فقد يؤدي ذلك إلى انخفاض الدقة. كلما زادت البيانات المتاحة للتدريب، أصبح النموذج أكثر دقة.
2. اختيار غير مناسب للميزات: إذا تم تضمين ميزات غير مناسبة أو غير ذات صلة في النموذج، فقد يؤدي ذلك إلى تقليل دقته. من المهم تحديد تلك الميزات الأكثر ارتباطًا بالمتغير المستهدف لتحقيق دقة تصنيف عالية.
3. المعالجة المسبقة غير الكافية للبيانات: يمكن أن تؤدي المعالجة غير الصحيحة للبيانات، مثل القياس أو التطبيع غير المناسب، إلى ضعف دقة النموذج. من المهم تنفيذ الخطوات اللازمة للمعالجة المسبقة للبيانات، مثل تنظيف البيانات من القيم المتطرفة أو ملء القيم المفقودة.
4. الإفراط في تدريب النموذج: إذا كان النموذج معقدًا للغاية أو يحتوي على عدد كبير جدًا من المعلمات، فقد يؤدي إلى الإفراط في التدريب على بيانات التدريب والأداء السيئ على البيانات الجديدة. يمكن تقليل التجهيز الزائد، على سبيل المثال، عن طريق الحد من عمق الشجرة أو استخدام التنظيم.
5. عدم توازن الفئة: إذا كانت الفئات الموجودة في البيانات غير متوازنة، أي أن إحدى الفئات تهيمن على الفئات الأخرى، فقد يميل النموذج إلى التنبؤ بالفئة المهيمنة وإظهار دقة منخفضة في الفئات الأقل تمثيلاً. في مثل هذه الحالات، يمكن أن يؤدي استخدام تقنيات موازنة الفئة مثل الاختزال أو الاختزال إلى تحسين دقة النموذج.
6. التحديد غير الصحيح لقواعد القرار: إذا تم تحديد قواعد القرار التي تحدد توزيع الفئات في عقد الشجرة بشكل غير صحيح، فقد يؤدي ذلك إلى انخفاض دقة النموذج. من المهم تحديد قواعد القرار المناسبة التي تفصل بين الفئات بدقة أكبر.