Apadana موسسه آموزش عالی آپادانا New Researches in the Smart City فصلنامه پژوهش های نوین در شهرهوشمند 2980-8936 Evaluating Recommendation Accuracy and Diversity in Large Language Model-Based Sequential Recommender Systems ارزیابی دقت و تنوع توصیه ها در سامانه های توصیه گر ترتیبی مبتنی بر مدل های زبانی بزرگ FA MohammadReza Bahrani Department of Computer Engineering and Information Technology, Apadana Institute of Higher Education, Shiraz, Iran. محمدرضا بحرانی گروه مهندسی کامپیوتر و فناوری اطلاعات، مؤسسه آموزش عالی آپادانا، شیراز، ایران Masoud Dadgar Faculty Member, Department of Computer Engineering, Technical and Vocational University (TVU), Tehran, Iran مسعود دادگر گروه مهندسی کامپیوتر، دانشگاه ملی مهارت، تهران، ایران Haleh Homayouni Department of Computer Engineering and Information Technology, Apadana Institute of Higher Education, Shiraz, Iran هاله همایونی گروه مهندسی کامپیوتر و فناوری اطلاعات، مؤسسه آموزش عالی آپادانا، شیراز، ایران As the volume of content grows, recommender systems help deliver content aligned with users’ interests. Sequential recommender systems use past interaction sequences to predict users’ next choices, drawing on the predictive value of recent behavior. Large language models (LLMs) have recently been incorporated into these systems to enable semantic information processing. However, LLMs typically receive only a subset of available items, and both input selection and model choice can influence recommendation outcomes. Although previous research has primarily emphasized accuracy, recommendation diversity has received less attention. This study compared recommendation accuracy and diversity across one commercial model (gpt-4o-mini) and three locally deployed open-source models (llama3.1:8b, gemma3:4b, and gemma3:1b) under baseline and restricted input conditions using the MovieLens 100K dataset. In addition to accuracy metrics, item coverage, recommendation concentration, and the share of infrequently selected items were evaluated. Under baseline conditions, the commercial model achieved higher accuracy, whereas gemma3:4b and llama3.1:8b generated more diverse recommendations. Restricting input information improved accuracy across all models and enabled gemma3:4b to match the commercial model in HR@10. However, it reduced the diversity of recommended items and increased recommendation concentration in most models. These findings indicate that both model selection and input design should account for recommendation diversity alongside accuracy. با افزایش حجم محتوا، سامانه های توصیه گر برای ارائه محتوای متناسب با علایق کاربران توسعه یافته اند. از آنجا که رفتارهای اخیر کاربر می تواند رفتارهای آینده را پیش بینی کند، سامانه های توصیه گر ترتیبی از توالی رفتارهای گذشته برای پیش بینی انتخاب بعدی استفاده می کنند. در سال های اخیر، مدل های زبانی بزرگ نیز برای بهبود عملکرد این سامانه ها به کار گرفته شده اند و امکان پردازش اطلاعات بر اساس دیدگاه معنایی را فراهم کرده اند. با این حال، در کاربرد مدل های زبانی بزرگ در سامانه های توصیه گر، معمولاً تنها زیرمجموعه ای از گزینه ها در اختیار مدل قرار می گیرد و هم نحوه انتخاب این اطلاعات و هم مدل زبانی به کاررفته می تواند بر خروجی تأثیر بگذارد. اگرچه پژوهش های پیشین عملکرد این سامانه ها را عمدتاً از منظر دقت بررسی کرده اند، تنوع توصیه ها کمتر مورد توجه قرار گرفته است. در این پژوهش، دقت و تنوع توصیه های یک مدل تجاری (gpt-4o-mini) و سه مدل متن باز اجراشده به صورت محلی (llama3.1:8b، gemma3:4b و gemma3:1b) در دو حالت ورودی پایه و محدودشده با استفاده از مجموعه داده MovieLens 100K مقایسه می شود. علاوه بر معیارهای دقت، پوشش گزینه ها، تمرکز توصیه ها و سهم گزینه های کم انتخاب شده نیز ارزیابی شده است. نتایج نشان می دهد که در حالت پایه، مدل تجاری دقیق تر و مدل های gemma3:4b و llama3.1:8b متنوع تر عمل می کنند. محدود کردن اطلاعات ورودی دقت همه مدل ها را افزایش می دهد و gemma3:4b را از نظر HR@10 به مدل تجاری می رساند، اما در بیشتر مدل ها تنوع گزینه های توصیه شده را کاهش و تمرکز مدل را افزایش می دهد. بنابراین، انتخاب مدل و طراحی ورودی باید علاوه بر دقت، از منظر تنوع توصیه ها نیز مورد توجه قرار گیرد. https://nrsc.apadana.ac.ir/downloadfilepdf/1363570