IMPLEMENTASI REINFORCEMENT LEARNING UNTUK SUMMARIZATION PADA ARTIKEL BERITA DI INDONESIAMENGGUNAKAN MODEL TRANSFORMER

Abstract

Abstract: This research aims to develop a Transformer-based text summarization model for Indonesian news articles and implement Reinforcement Learning to enhance summary quality. The research methodology involved using the Liputan6 dataset (Canonical subset), applying a T5-base model pre-trained with Supervised Fine-Tuning (SFT) on the same dataset, and subsequently optimizing it using the Reinforcement Learning algorithm Proximal Policy Optimization (PPO). Model performance was evaluated using the ROUGE-L metric. The results showed that the implementation of RL successfully increased the ROUGE-L F-measure score, from 0.314801 for the SFT-only model to 0.345324 for the SFT model with RL. This increase indicates an improvement in the longest common subsequence (LCS) similarity between the model-generated summaries and the reference summaries after optimization with RL. However, qualitative analysis of the generated summaries found that the RL model's summaries tended to be very short (often just one sentence) and omitted some important information present in the original articles. This suggests a limitation of the ROUGE-L metric, which focuses on lexical overlap, in fully capturing the semantic quality and completeness of the summary.

 

Keyword: Reinforcement Learning; Transformer; Abstractive Summarization; Indonesian News

 

Abstrak: Penelitian ini bertujuan untuk mengembangkan model peringkasan teks berbasis Transformer untuk artikel berita berbahasa Indonesia dan mengimplementasikan Reinforcement Learning guna meningkatkan kualitas ringkasan. Metodologi penelitian melibatkan penggunaan dataset Liputan6 (subset Canonical), penerapan model T5-base yang telah dilakukan Supervised Fine-Tuning (SFT) pada dataset yang sama, kemudian dioptimalkan menggunakan algoritma Reinforcement Learning, Proximal Policy Optimization (PPO). Evaluasi performa model dilakukan menggunakan metrik ROUGE-L. Hasil penelitian menunjukkan bahwa implementasi RL berhasil meningkatkan skor ROUGE-L F-measure, dari 0.314801 pada model SFT saja menjadi 0.345324 pada model SFT dengan RL. Peningkatan ini mengindikasikan adanya perbaikan dalam kesamaan urutan kata terpanjang (LCS) antara ringkasan hasil model dan ringkasan referensi setelah dioptimalkan dengan RL. Namun, analisis kualitatif terhadap ringkasan yang dihasilkan menemukan bahwa ringkasan hasil model RL cenderung sangat pendek (sering kali hanya satu kalimat) dan mengabaikan beberapa informasi penting yang ada di artikel asli. Hal ini menunjukkan adanya keterbatasan metrik ROUGE-L yang berfokus pada kesamaan leksikal dalam menangkap kualitas semantik dan kelengkapan ringkasan secara keseluruhan.

 

Kata kunci: Reinforcement Learning; Transformer; Peringkasan Abstraktif; Berita

                    Bahasa Indonesia