Perbandingan metode ekstraksi fitur menggunakan tf-idf dan word embedding llama3 dengan classifier svm untuk analisis sentimen aplikasi mytelkomsel di google play store

DETAIL KOLEKSI

Perbandingan metode ekstraksi fitur menggunakan tf-idf dan word embedding llama3 dengan classifier svm untuk analisis sentimen aplikasi mytelkomsel di google play store

Oleh : Diva Nabila Ramdani

Info Katalog

Penerbit : FTI - Usakti

Kota Terbit : Jakarta

Tahun Terbit : 2024

Pembimbing 1 : Is Mardianto

Pembimbing 2 : Syandra Sari

Kata Kunci : Sentiment Analysis, SMOTE, Support Vector Machine; TF-IDF; Word embedding LLaMA3.

Saat ini file hanya dapat diakses dari perpustakaan.

Status : Lengkap

Abstrak
Abstract

M ytelkomsel adalah aplikasi yang bertujuan untuk memfasilitasi pengguna dalam mengakses berbagai penawaran dan melakukan transaksi produk Telkomsel melalui smartphone. Salah satu cara untuk menilai kepuasan pengguna terhadap aplikasi ini adalah melalui analisis sentimen ulasan pengguna di platform distribusi seperti Google Play Store. Banyaknya ulasan yang ada membuat analisis manual menjadi sulit, sehingga diperlukan analisis sentimen untuk mengklasifikasikan ulasan menjadi kelas positif dan negatif.Penelitian ini menggunakan algoritma Support Vector Machine (SVM) dengan kernel linear dan RBF untuk mengklasifikasikan data ulasan dari aplikasi Mytelkomsel. Metode ekstraksi fitur TF-IDF dan Word embedding LLaMA3 digunakan dalam penelitian ini. Proses analisis dilakukan dalam 8 skenario, dengan dua metode pelabelan sentimen, dua pendekatan ekstraksi fitur yang berbeda, dan model klasifikasi SVM dengan kernel linear dan RBF, serta pembagian data 80% data pelatihan dan 20% data uji.Hasil uji menunjukkan bahwa metode ekstraksi fitur TF-IDF memberikan akurasi yang lebih tinggi dibandingkan Word embedding LLaMA3, dengan rata-rata akurasi 82.6% untuk TF-IDF dan 68.8% untuk LLaMA3. Namun, penerapan SMOTE tidak memberikan peningkatan akurasi yang konsisten dan dalam beberapa kasus malah menurunkan performa model. Penurunan akurasi ini terutama terlihat pada kelas netral, yang selalu memiliki performa buruk di semua eksperimen. Kombinasi terbaik yang ditemukan dalam penelitian ini adalah pelabelan menggunakan lexicon, ekstraksi fitur menggunakan TF-IDF, dan metode klasifikasi menggunakan SVM dengan kernel Linear, dengan akurasi mencapai 88% sebelum penerapan SMOTE.

M yTelkomsel is an application designed to facilitate users in accessing various offers and conducting transactions for Telkomsel products through smartphones. One way to assess user satisfaction with this application is through sentiment analysis of user reviews on distribution platforms like the Google Play Store. The large volume of reviews makes manual analysis difficult, necessitating sentiment analysis to classify the reviews into positive and negative categories.This study employs the Support Vector Machine (SVM) algorithm with linear and RBF kernels to classify user review data from the MyTelkomsel application. Feature extraction methods TF-IDF and Word embedding LLaMA3 are used in this research. The analysis process was conducted in 8 scenarios, involving two sentiment labeling methods, two different feature extraction approaches, SVM classification models with linear and RBF kernels, and an 80% training and 20% testing data split.The test results indicate that the TF-IDF feature extraction method yields higher accuracy compared to Word embedding LLaMA3, with an average accuracy of 82.6% for TF-IDF and 68.8% for LLaMA3. However, the application of SMOTE did not consistently improve accuracy and in some cases even reduced model performance. This decline in accuracy was particularly evident in the neutral class, which consistently performed poorly across all experiments. The best combination found in this study was sentiment labeling using a lexicon, feature extraction using TF-IDF, and classification using SVM with a linear kernel, achieving an accuracy of 88% before the application of SMOTE.

Info Koleksi Skripsi

Universitas

Universitas Trisakti (24422)

Fakultas

Tahun Terbit

Subyek

Selengkapnya...

DETAIL KOLEKSI