دانش نهفته در پس الگوریتم‌های نت‌فلیکس

به علت سرعت پایین اینترنت و همچنین دشواری‌های پرداخت آنلاین در ایران کمتر کسی است که از «نت‌فلیکس» Netflix استفاده کند. این شرکت زمانی بیشتر به خاطر توزیع DVD مشهور بود، اما مدتهاست که ما نتفلیکس را به عنوان برترین شرکت پخش جاری و آنلاین فیلم‌ها و شوها و سریال‌های تلویزیونی می‌شناسیم.

اما برای فروش بیشتر و جلب مشترک بیشتر، این شرکت باید می‌توانست راهی برای کشف ذائقه مشتریان خود پیدا کند. به این صورت که خیلی سریع پیشنهادهایی دقیق به کسی که برنامه‌ها را خریده و پسندیده بکند و مثلا به او بگوید اگر از سریال «بیگ بنگ تئوری» خوشش آمده، احتمالا این سریال‌ها هم را دوست خواهد داشت و یا اگر فیلم «زندگی دیگران» را دوست دارد، بد نیست، این فیلم‌ها را ببیند.

در یک مقیاس ساده، کار خیلی آسان به نظر می‌رسد و مثلا صاحب یک سایت دانلود، می‌تواند خیلی راحت سه چهار اثر مشابه هر فیلم یا سریال را پیشنهاد کند، ما وقتی پای هزاران برنامه در میان باشد، این سیستم ساده پیشنهاد کارایی نخواهد داشت.

ما در این پست با سیستم پیشنهاد نت‌فلیکس آشنا می‌شویم.

در «یک پزشک» پیش از این در قالب پستی پیش از این از زاویه دید متفاوتی به الگوریتم‌های پیشنهاد نگاه کرده بودیم و نوشته بودیم که علیرغم ناگزیر بودن استفاده از این الگوریتم‌ها، اتکای صرف به آنها چه خطراتی در بر دارد.

اما در این پست ما می‌خواهیم ببینیم که واقعا سیستم پیشنهاد نت‌فلکیس چطور کار می‌کند، آیا بر ارزشیابی مشتری‌های نت‌فلیکس تکیه دارد یا سیستمی به کلی متفاوت است.

 اگر شما از نخستین فیلم Star Trek محصول ۱۹۶۰ خوشتان آمده باشد، اولین فیلمی که از سوی نت‌فلیکس به شما پیشنهاد می‌شود (البته بعد از تمام نسخه‌های دارای کلمه Trek) سری فیلم‌های ماموریت غیرممکن است. تماشای آخرین قسمت Doctor Who احتمالا شما را به سوی مشاهده درام تلویزیونی Being Human (نسخه بریتانیایی) سوق خواهد داد. فیلم‌های ۳۰۰ و From Dusk to Dawn را ببینید و ردیف جدیدی در صفحه خانگی شما برای فیلم‌های اکشن و خشن و ماجرایی باز خواهد شد. تلاش برای درک آرایه نامرئی الگوریتم‌هایی که پیشنهادهای نت‌فلیکس را تولید می‌کنند، فعالیت جالبی است. به نظر شما واقعا در آن دنیای مملو از اطلاعات و حجم عظیم داده‌ها (که امروزه اسم دهان پرکن Big Data را با خود یدک می‌کشد) و در میان آن میلیاردها میلیارد ستاره‌ای که برای رتبه‌بندی فیلم‌های مختلف مورد استفاده قرار می‌گیرند، چه فرآیندهایی در حال انجام هستند؟

مشخص شده است که ۸۰۰ مهندس در پشت پرده نت‌فلیکس و در دفتر مرکزی آن در دره سیلیکون مشغول به کار هستند. این شرکت ادعا کرده است که ۷۵ درصد فعالیت کاربران توسط پیشنهادهای سایت هدایت می‌شود. در مارس امسال این شرکت چهار میلیاردمین DVDاش را ارسال کرد، اما در سه ماهه اول سال ۲۰۱۳ به تنهایی ۴ میلیارد ساعت ویدیو از این سایت استریم شده است.

کارلوس گومز-اوریبه (Carlos Gomez-Uribe) نایب رییس نوآوری در محصولات و الگوریتم‌های شخصی‌سازی نت‌فلیکس است. او به همراه خاویر آماتریاین (Xavier Amatriain) که مدیر مهندسی نت‌فلیکس است، نیروهای محرکه سیستم پیشنهاددهی نت‌فلیکس هستند. وایرد مصاحبه‌ای را با آن‌ها ترتیب داده است که شرح آن را در ادامه خواهید دید.

وایرد: خب واقعا چه چیزی در زیر این پیشنهادهای Star Trek – Mission: Impossible مشغول فعالیت است؟

کارلوس گومز: با نگاه کردن به فراداده‌ها (metadata) می‌توانید مشابهت‌های زیادی را بین ویدیوها بیابید. آیا در بازه‌های زمانی نزدیک به هم ساخته شده‌اند؟ آیا امتیازهای مشابهی از کاربران دریافت کرده‌اند؟ شما می‌توانید به رفتار کاربران مانند مرور ویدیوها، پخش آن‌ها و جست‌وجوها نگاه کنید. گاهی تعریف شباهت به موضوع صحبت بستگی پیدا می‌کند. اگر کارگردانی مانند پدرو آلمودوار (Pedro Almodóvar) را در نظر بگیرید، به چهار فیلم کاملا متفاوت می‌رسید. اما خود پدرو آلمودوار آن‌قدر مهم است که خودش به تنهایی هر چهار فیلم را مشابه هم می‌کند. اما در مورد کارگزدانی مانند اسپیلبرگ موضوع این‌گونه نیست.

وایرد: چه کسی خصوصیات فیلم‌ها و ویدیوها را برای نت‌فلیکس تعریف می‌کند؟

خاویر آماتریاین: ما بیش از ۴۰ کارمند داریم که فیلم‌ها و برنامه‌های تلویزیونی را به صورت دستی برای ما برچسب زنی می‌کنند. این افراد معمولا فریلنسرهایی هستند که برای کمک به درآمدشان این کار را انجام می‌دهند. تمام تحلیل‌گران ما خوره‌های تلویزیون و سینما هستند و بسیاری از آن‌ها هم تجربه‌هایی از کار در حوزه سرگرمی دارند. آن‌ها سلایق شخصی هم دارند، اما حرفه آن‌ها به عنوان تحلیل‌گر مستلزم بی‌طرفی است و ما آن‌ها را آموزش می‌دهیم که این‌گونه رفتار کنند.

وایرد: اکنون که نت‌فلیکس روی استریم کردن تمرکز کرده است، این پیشنهادها دچار چه تغییراتی شده‌اند؟

آماتریاین: زمانی که ما شرکتی بودیم که DVDها را از طریق پست ارسال می‌کردیم و افراد امتیازها و رتبه‌های‌شان را برای ما می‌فرستادند، نوعی فرآیند فکری را طی می‌کردند. شما چیزی را به صف درخواست‌های‌تان اضافه می‌کردید، چراکه می‌خواستید چند روز بعد آن را تماشا کنید. این تصمیم شما هزینه‌ای در بر داشت و البته پاداشی که با کمی تاخیر به دست شما می‌رسید. با استریم کردن آنی ویدیوها، شما پخش چیزی را شروع می‌کنید و اگر خوشتان نیامد بلافاصله به سراغ چیز دیگری می‌روید. کاربران غالبا مزایای بازخوردهای اشکار و واضح را درک نمی‌کنند، به همین دلیل در این راستا تلاش کمتری می‌کنند.

وایرد: به این ترتیب اهمیت رتبه‌بندی‌ها و امتیازهای پیش‌بینی شده که اساس کار نت‌فلیکس بودند کاهش یافته است؟

گومز: آزمایش‌ها نشان داده است که امتیازهای پیش‌بینی شده واقعا «بسیار مفبد» نیستند، اما آن‌چه شما در حال تماشای آن هستید از اهمیت زیادی برخوردار است. ما تلاش می‌کنیم از تمرکز صرف بر روی امتیازبندی‌ها و رتبه‌ها به سمت اکوسیستم پیچیده‌ای از الگوریتم‌ها حرکت کنیم.

وایرد: آیا نت فلیکس آن‌چه من می‌بینم را ردگیری می‌کند؟

آماتریاین: ما می‌دانیم که شما چه ویدیوهایی را پخش کرده‌اید، چه ویدیوهایی را جست‌وجو کرده‌اید و می‌دانیم این کارها را در چه تاریخی، در چه ساعتی و با چه دستگاهی انجام داده‌اید. ما حتی رفتار کاربران نظیر اسکرول کردن و مرور فیلم‌ها را هم ردگیری می‌کنیم. تمام این داده‌ها به الگوریتم‌های متعددی خورانده می‌شود که هر یک برای منظور خاصی بهینه شده است. در یک جمع‌بندی کلی بیشتر الگوریتم‌های ما بر این مبنا کار می‌کنند که الگوهای مشاهده‌ای مشابه، نشان‌دهنده سلیقه‌های مشابه در میان کاربران است. ما می‌توانیم از رفتار کاربران مشابه شما برای استنباط ترجیحات شما استفاده کنیم.

وایرد: بنابراین اگر من نیمه شب روی آی‌پدم چیزی را تماشا کنم، پیشنهادهای متفاوتی را نسبت به زمانی که همان ویدیو را ساعت ۸ شب روی تلویزیونم تماشا کنم دریافت خواهم کرد؟

آماتریاین: ما مدتی است که بر روی دخیل کردن شرایط و زمینه تماشای ویدیو در سیستم پیشنهادها کار می‌کنیم. ما داده‌هایی در دست داریم که نشان می‌دهد رفتارهای تماشای ویدیو در روزهای مختلف هفته، ساعت‌های مختلف روز و گاهی حتی موقعیت جغرافیایی متفاوت هستند. اما پیاده‌سازی سیستم پیشنهاددهی براساس شرایط زمانی و مکانی تماشای ویدیو با چالش‌هایی عملی روبرو است که ما فعلا در حال کار بر روی آن‌ها هستیم. امیدواریم در آینده نزدیک بتوانیم این سیستم را هم به کار ببریم.

وایرد: چرا این همه فیلم‌های دو ستاره و سه ستاره در فهرست پیشنهادهای من دیده می‌شود؟

گومز: مردم به فیلم‌هایی نظیر فهرست شیندلر امتیاز بالایی می‌دهند، در مقابل کمدی‌های احمقانه‌ای که من نگاه می‌کنم (مثلا Hot Tub Time Machine) امتیاز پایینی به خود اختصاص می‌دهند. اگر شما به کاربران تنها ویدیوهایی را پیشنهاد کنید که ۴ یا ۵ ستاره دارند، لزوما به این معنی نیست که آن‌ها هم می‌خواهند در پایان یک روز کاری وسط هفته آن ویدیو را تماشا کنند. رفتار تماشای ویدیو برای ما داده مهم‌تری است.

آماتریاین: ما می‌دانیم که بسیاری از این امتیازها خیالی هستند و در واقع فعالیت‌های روزمره شما [در تماشای ویدیو] را منعکس نمی‌کنند.

وایرد: ما نمی‌توانیم از دست شما فرار کنیم؟

گومز: بسیاری از افراد می‌گویند که غالبا فیلم‌های خارجی و مستند تماشا می‌کنند. اما در عمل این اتفاق خیلی زیاد رخ نمی‌دهد.

وایرد: آیا موقعیت مکانی پیشنهادهای شما [روی صفحه نمایش] بر رفتار تماشای کاربران تاثیر دارد؟

گومز: جانمایی آن‌ها مهم است. هر چه یک عنوان به اوایل یک سطر نزدیک‌تر باشد، احتمال پخش شدن‌اش بیشتر است. و هر چه یک سطر به روی صفحه نمایش در موقعیت بالاتری قرار بگیرد، احتمال پخش شدن یکی از آیتم‌های آن بیشتر خواهد شد.

وایرد: سیستم پیشنهاد دهی شما با سایر شرکت‌ها چه تفاوتی دارد؟

آماتریاین: تقریبا تمام کاری که ما انجام می‌دهیم «پیشنهاد دهی» است. من هفته گذشته در eBay‌ بودم و آن‌ها به من گفتند که ۹۰ درصد خریدهایی که مردم از سایت آن‌ها انجام می‌دهند براساس جست‌وجو انجام می‌شود. ما دقیقا در نقطه مقابل این وضعیت قرار داریم. پیشنهاد دهی بسیار مهم و حیاتی است. قابلیت جست‌وجوی شرکت ما تنها زمانی به درد می‌خورد که ما نتوانیم به مردم پیشنهاد کنیم که چه چیزی را تماشا کنند.

وایرد: آیا پیشنهاد دهی‌های الگوریتمی محدودیتی هم دارند؟

گومز: من تریلر فرانسوی Tell No One را حدود یک سال پیش نگاه کردم. از همان زمان سعی کردم فیلم‌های مشابهی را پیدا کنم. فردی که در تیم محتوا روی این ویدیو کار کرده است به من گفت این تنها نمونه موجود در کل جهان است!

منبع (+)

راه‌های متفاوتی برای دسترسی به محتواهای مشابه، وجود دارند، مثلا رفتن به سایت IMDB و دیدن پیشنهادهای این سایت که البته چندان دقیق و کاربردی نیست، مثلا در این اسکرین‌شات که از صفحه فیلم Volver می‌بینیم که گفته شده، افرادی که این فیلم را دیده‌اند از فیلم لوبوفسکی بزرگ یا Departed هم خوششان می‌آید. سایت‌های سینمایی دیگر هم معمولا فیلم‌هایی را که حال و هوای مشابه یک فیلم را دارند، پیشنهاد می‌کنند.

راه دیگر جستجویی محتوایی است، یعنی شما در گوگل موضوع فیلم را جستجو کنید، مثلا به انگلیسی جستجو کنید: فیلم‌های با مضمون جنگ سرد.

البته اپلیکیشن‌هایی مثل Discovr Movies یا Spideo هم بد نیستند.

به طوری که در این نوشته خواندید، سیستم پیشنهاد محتوای نت‌فلیکس به صورت خاصی عمل می‌کند، دنیای امروز دنیای شتابزده و تجاری است، کاربران در این شرایط خیلی سریع برچسب می‌زنند و انتخاب می‌کنند و نمره می‌دهند و گاهی تعهدی برای انتخاب و رأی خود ندارند و فکر نمی‌کنند که شاید همین رأی‌های شتابزده آنها، سیستم‌هایی را که می‌کوشند از تحلیل آنها استفاده کنند، بدون استفاده می‌کند.

نت‌فلیکس به طوری که خواندید، تنها به رأی و امتیازدهی کاربران تکیه نمی‌کند و از الگوریتم‌های پیچیده استفاده می‌کند.

از سوی دیگر با این همه راه «مکانیزه» برای دسترسی به محتواهای نمایشی، هنوز هم به گمانم هیچ چیز بهتر از پیشنهاد دوستانی که می‌شناسیم و به یکسانی نسبی سلیقه آنها با خودمان اطمینان داریم، نباشد!