کد مقاله را وارد کنید !
ارزیابی دقت و تنوع توصیه ها در سامانه های توصیه گر ترتیبی مبتنی بر مدل های زبانی بزرگ
دوره و شماره : آماده انتشار
نویسندگان : محمدرضا بحرانی 1، مسعود دادگر* 2، هاله همایونی 3
1 - گروه مهندسی کامپیوتر و فناوری اطلاعات، مؤسسه آموزش عالی آپادانا، شیراز، ایران
2 - گروه مهندسی کامپیوتر، دانشگاه ملی مهارت، تهران، ایران
3 - گروه مهندسی کامپیوتر و فناوری اطلاعات، مؤسسه آموزش عالی آپادانا، شیراز، ایران
چکیده :
با افزایش حجم محتوا، سامانه های توصیه گر برای ارائه محتوای متناسب با علایق کاربران توسعه یافته اند. از آنجا که رفتارهای اخیر کاربر می تواند رفتارهای آینده را پیش بینی کند، سامانه های توصیه گر ترتیبی از توالی رفتارهای گذشته برای پیش بینی انتخاب بعدی استفاده می کنند. در سال های اخیر، مدل های زبانی بزرگ نیز برای بهبود عملکرد این سامانه ها به کار گرفته شده اند و امکان پردازش اطلاعات بر اساس دیدگاه معنایی را فراهم کرده اند. با این حال، در کاربرد مدل های زبانی بزرگ در سامانه های توصیه گر، معمولاً تنها زیرمجموعه ای از گزینه ها در اختیار مدل قرار می گیرد و هم نحوه انتخاب این اطلاعات و هم مدل زبانی به کاررفته می تواند بر خروجی تأثیر بگذارد. اگرچه پژوهش های پیشین عملکرد این سامانه ها را عمدتاً از منظر دقت بررسی کرده اند، تنوع توصیه ها کمتر مورد توجه قرار گرفته است. در این پژوهش، دقت و تنوع توصیه های یک مدل تجاری (gpt-4o-mini) و سه مدل متن باز اجراشده به صورت محلی (llama3.1:8b، gemma3:4b و gemma3:1b) در دو حالت ورودی پایه و محدودشده با استفاده از مجموعه داده MovieLens 100K مقایسه می شود. علاوه بر معیارهای دقت، پوشش گزینه ها، تمرکز توصیه ها و سهم گزینه های کم انتخاب شده نیز ارزیابی شده است. نتایج نشان می دهد که در حالت پایه، مدل تجاری دقیق تر و مدل های gemma3:4b و llama3.1:8b متنوع تر عمل می کنند. محدود کردن اطلاعات ورودی دقت همه مدل ها را افزایش می دهد و gemma3:4b را از نظر HR@10 به مدل تجاری می رساند، اما در بیشتر مدل ها تنوع گزینه های توصیه شده را کاهش و تمرکز مدل را افزایش می دهد. بنابراین، انتخاب مدل و طراحی ورودی باید علاوه بر دقت، از منظر تنوع توصیه ها نیز مورد توجه قرار گیرد.
بازدید امروز
40
بازدید دیروز
403
بازدید کل
177,981