پیش‌بینی احتمالاتی؛ ترکیب چند مدل برای کاهش خطا
بیشتر تیم‌های مالی یک عدد پیش‌بینی می‌کنند و همان را به هیئت‌مدیره می‌دهند. اما وقتی درآمد به رفتار مصرف‌کننده، فصل یا شرایط بیرونی بسته است، یک عدد کافی نیست. پیش‌بینی احتمالاتی به‌جای یک خط، بازه‌ای از نتایج و میزان اطمینان به آن‌ها را نشان می‌دهد. در این نوشته با ایده‌ی ترکیب چند مدل آشنا می‌شوید.
الهام از اپلیکیشن‌های پیش‌بینی باد
اپلیکیشن‌های خوب پیش‌بینی باد فقط یک خط نمایش نمی‌دهند. خروجی چند مدل هواشناسی را کنار هم می‌گذارند: یک مدل بزرگ آمریکای شمالی، یک مدل اروپایی و چند مدل منطقه‌ای. بعضی مدل‌ها در کوتاه‌مدت بهترند و بعضی در بلندمدت.
کاربر از روی فاصله‌ی خطوط نتیجه می‌گیرد:
- اگر همه‌ی مدل‌ها برای فردا عدد نزدیک به هم بدهند، می‌شود با اطمینان تصمیم گرفت.
- اگر یکی عدد بالا و دیگری عدد پایین بدهد، عدم قطعیت زیاد است و باید محتاط بود.
همین منطق را می‌توان در پیش‌بینی مالی به کار برد: میزان توافق مدل‌ها خودش اطلاعات است.
پیش‌بینی قطعی و محدودیت‌های آن
روش رایج در مالی، پیش‌بینی قطعی (deterministic) است: قیمت ضرب در تعداد. ورودی‌ها را می‌شمارید، مثل تعداد فروشنده، خط لوله‌ی فروش، اندازه‌ی قرارداد و طول چرخه‌ی فروش، و به یک خروجی می‌رسید. هر بار همان جواب را می‌گیرید و همه می‌توانند مسیر محاسبه را دنبال و حسابرسی کنند.
این روش برای نرم‌افزارهای اشتراکی ساده خوب کار می‌کند، چون قراردادها تکرار می‌شوند، هزینه‌ی مجوز تقریباً صفر است و درباره‌ی تمدید و توسعه می‌شود حدس منطقی زد. اما در سه حالت ضعیف می‌شود:
- ورودی‌ها نوسان زیادی دارند.
- عوامل بیرونی خارج از کنترل شما هستند.
- درآمد به مصرف وابسته است و الگوی منظمی ندارد.
اگر کسب‌وکار شما هر سه ویژگی را دارد، در «میانه‌ی آشفته» هستید: پیچیده‌تر از آن که قاعده‌های ساده جواب بدهند و ساختارمندتر از آن که بتوان حدسی عمل کرد. اینجا هنوز الگو وجود دارد، فقط باید راه دیگری برای دیدنش پیدا کرد.
مثال: بازارگاه چندسطحی
کسب‌وکاری را تصور کنید که پلتفرمی به شرکت‌ها می‌فروشد. کارکنان آن شرکت‌ها اشتراک می‌گیرند و از شبکه‌ی باشگاه‌های شریک استفاده می‌کنند، و پلتفرم بر اساس میزان استفاده به شریک‌ها پول می‌دهد. یعنی شرکت‌ها پرداخت می‌کنند، کارکنان مشترک می‌شوند، کارکنان به باشگاه می‌روند و هزینه‌ی باشگاه‌ها به‌ازای مراجعه پرداخت می‌شود.
متغیر دشوار، «نرخ استفاده» است: کارکنان چقدر واقعاً از شبکه استفاده می‌کنند. این عدد را از CRM نمی‌توان درآورد و حتی به آب‌وهوا وابسته است. در یک کشور هوای بد یعنی کسی به باشگاه نمی‌رود و در کشور دیگر یعنی همه ترجیح می‌دهند در فضای سرپوشیده ورزش کنند.
هزینه‌ی محافظه‌کاری
در چنین شرایطی خطای پیش‌بینی گران است. در این مثال، خطای میانگین مطلق درصدی (MAPE) حدود ۹ تا ۱۰ درصد، در هر دو جهت بود، و یک درصد خطا یعنی ده‌ها میلیون دلار.
واکنش طبیعی، محافظه‌کاری است: بدترین سناریوی استفاده را مبنا قرار دهید. اما محافظه‌کاری هزینه دارد:
- مهندسانی را که می‌شد استخدام کرد، استخدام نمی‌کنید.
- به بازارهای جدید وارد نمی‌شوید و فروشنده‌ی بیشتری نمی‌گیرید.
- نقد روی ترازنامه می‌ماند، چون دید روشنی برای به‌کارگیری آن ندارید.
پس هدف باید کاهش خطا باشد، نه صرفاً محتاط‌تر شدن. برای مرور دلایل رایج خطا، انحراف پیش‌بینی مالی؛ سه دلیل اشتباه بودن پیش‌بینی را بخوانید.
ترکیب مدل‌ها (Ensemble)
راه‌حل این مثال، ساخت چند مدل رقیب بود. از دو تأمین‌کننده‌ی مختلف خواسته شد مدل‌هایی مستقل بسازند و در نهایت چهار مدل کنار هم اجرا شدند. خروجی‌ها مثل اپ باد روی یک نمودار قرار می‌گیرند و تیم مالی بررسی می‌کند کجا توافق دارند و کجا ندارند. سپس قضاوت مالی خودش را روی آن‌ها اضافه می‌کند. به این رویکرد «ensemble» یا پیش‌بینی ترکیبی می‌گویند.
قاعده‌ی تفسیر ساده است:
- همگرایی مدل‌ها: اطمینان بالا است، می‌شود جلوتر رفت.
- واگرایی مدل‌ها: اطمینان پایین است، باید بیشتر کاوید.
در شرایط غیرعادی، مثل پیش‌بینی نوسان شدید، اختلاف مدل‌ها بیشتر می‌شود و همین هشدار خوبی است. نتیجه در این مثال چشمگیر بود: خطا از حدود ۱۰ درصد به حدود ۲ درصد و گاهی کمتر رسید، یعنی کاهشی نزدیک به ۸۰ درصد.
انسان و ماشین؛ چه کسی مدل را نگه می‌دارد؟
این رویکرد فقط وقتی جواب می‌دهد که تیم بتواند با مدل‌ها کار کند، نه این‌که صرفاً خروجی بگیرد. چند اصل مهم است:
- افرادی را استخدام کنید که زبان سازندگان مدل را بفهمند؛ در این مثال بیشتر پایتون.
- از تأمین‌کننده «جعبه‌ی سیاه» نخواهید؛ خودِ مدل و آموزش تیم را بخواهید تا بتوانید آن را به‌روز کنید، بُعد اضافه کنید و دوباره آموزش دهید.
- داده‌ی جدید هر روز یا هفته می‌آید، مدل‌ها دوباره اجرا می‌شوند و کم‌کم بهتر می‌شوند.
- ابزارهای برنامه‌ریزی سنتی هنوز جایگاه دارند، اما پایین‌دست زنجیره: پیش‌بینی در سطح جزئی انجام می‌شود و بعد درآمد و هزینه‌ها جمع می‌شوند.
برای درک نقش قضاوت انسانی کنار مدل، قضاوت کارشناسی در پیش‌بینی مالی؛ کی و چگونه؟ را ببینید.
توضیح‌پذیری؛ ایراد مدل‌های احتمالاتی
ایراد رایج این مدل‌ها «جعبه‌ی سیاه» بودن است. ممکن است دقیق‌تر باشند، اما در مالی جمله‌ی «مدل این را گفته» پذیرفتنی نیست. به‌خصوص در بازارگاه که بخشی از نتیجه در کنترل شماست، باید بدانید چه چیزی رفتار را می‌سازد تا در صورت نامطلوب بودن، آن را تغییر دهید.
ترکیب مدل‌ها این مشکل را هم کم می‌کند، چون بعضی مدل‌ها قابل‌تفسیرترند:
- از مدل‌های ساده‌تر برای توضیح آنچه مدل‌های پیچیده می‌بینند استفاده می‌شود.
- می‌توان یک متغیر را عوض کرد و حرکت خطوط را دید.
- می‌توان فهمید کدام محرک‌ها بیشترین اثر را دارند.
برای نمونه، تیم کشف تقلب لازم نیست جزئیات مدل پیچیده را بداند؛ فقط باید بداند کجا را بررسی کند، و پیش‌بینی ترکیبی بُعد مشکوک را نشان می‌دهد. محرک‌های اصلی را با پیش‌بینی مبتنی بر محرک؛ پلی به برنامه‌ریزی سناریو هم می‌توان مرتب کرد.
چه زمانی به این روش نیاز دارید؟
هر کسب‌وکاری لازم نیست چهار مدل موازی اجرا کند. اگر صندلی‌های نرم‌افزاری سالانه با قرارداد ۱۲ ماهه می‌فروشید، پیش‌بینی قطعی (قیمت × تعداد، شمارش فروشنده‌ها و مدل‌سازی خط لوله) کفایت می‌کند.
اما اگر درآمد مبتنی بر مصرف دارید، پویایی بازارگاه دارید یا به عوامل بیرونی مثل اقتصاد کلان و رفتار انسان وابسته‌اید، با یک مدل ساده یک دست‌تان بسته است. پیش‌بینی احتمالاتی باند اطمینان با عوامل قابل‌ردیابی می‌دهد.
پرسش‌های متداول
پیش‌بینی احتمالاتی با پیش‌بینی قطعی چه فرقی دارد؟
پیش‌بینی قطعی با ورودی یکسان همیشه یک عدد می‌دهد. پیش‌بینی احتمالاتی بازه‌ای از نتایج محتمل و میزان اطمینان را ارائه می‌کند.
MAPE چیست؟
میانگین مطلق خطای درصدی است؛ یعنی میانگین فاصله‌ی پیش‌بینی از واقعیت به درصد، بدون توجه به این‌که بالاتر یا پایین‌تر بوده باشد.
آیا پیش‌بینی ترکیبی همیشه دقیق‌تر است؟
تضمینی نیست. مزیت اصلی آن این است که از اختلاف مدل‌ها می‌توان سطح اطمینان را فهمید و هر مدل نقاط ضعف مدل دیگر را پوشش می‌دهد. کیفیت نتیجه به داده و تیم بستگی دارد.
آیا دقت بیشتر به معنای از دست رفتن توضیح‌پذیری است؟
الزاماً نه. با ترکیب مدل‌های ساده و پیچیده می‌توان هم دقت داشت و هم دلیل تغییرها را توضیح داد، البته به زیرساخت و نیروی ماهر نیاز دارد.
جمع‌بندی
وقتی کسب‌وکار در «میانه‌ی آشفته» است، یک عدد پیش‌بینی گمراه‌کننده است. با اجرای چند مدل مستقل و نگاه به همگرایی و واگرایی آن‌ها، هم دقت بالا می‌رود و هم می‌فهمید به کدام عدد چقدر اطمینان داشته باشید. شرط موفقیت، تیمی است که مدل‌ها را بفهمد و به‌روز نگه دارد. به‌جای یک خط، همه‌ی خط‌ها را ببینید.