Perbandingan Metode CNN - LSTM dengan Xception - Gated Recurrent Unit pada Image Caption Berbahasa Indonesia
DOI:
https://doi.org/10.26418/justin.v13i2.88615Keywords:
Image Caption, CMM, LSTM, Xception, GRU, CIDErAbstract
Pesatnya perkembangan ilmu Informatika saat ini dan memenuhi kebutuhan teknologi informasi, maka penelitian image caption sangat berkembang saat ini, berbagai objek penelitian dan algoritma yang diterapkan untuk melatih model image caption dengan menghasilkan deskripsi yang lebih baik, algoritma popular dalam image caption saat ini adalah CNN dan Xception serta LSTM dan GRU, dimana CNN dan Xception digunakan sebagai arsitektur file gambar sedangkan LSTM dan GRU digunakan sebagai penghasil deskripsi otomatis, masing-masing metode memiliki perbedaan satu sama lainnya, objek dalam penelitian ini adalah mendeskripsi gambar kedalam teks. Penelitian ini bertujuan untuk membandingkan metode CNN-LSTM dengan Xception-GRU pada image caption berbahasa Indonesia, metode mana yang lebih baik diantara keduanya.
Penelitian ini dilakukan dengan menggunakan dataset 8.000 gambar dan 40.000 caption, metode CNN-LSTM digunakan untuk arsitektur file gambar dan penghasil deskripsi otomatis, hasilnya lebih kompleks serta lambat dibanding Xception-GRU sedangkan Xception-GRU juga digunakan untuk arsitektur file gambar dan penghasil deskripsi otomatis, pendekatannya lebih efisien, cenderung lebih ringan dan lebih cepat serta kinerja lebih kompetitif, sedangkan perbandingan terhadap metode penguji CIDEr hasil kinerja CNN-LSTM bervariasi tergantung pada dataset dan menghasilkan deskripsi yang akurat, tetapi kinerjanya lebih rendah dalam menangani kompleksitas gambar tertentu dibandingkan metode Xception-GRU sedangkan Xception-GRU berpotensi menghasilkan skor lebih tinggi dari efisiensi ekstraksi fitur, proses lebih cepat serta akurasi tinggi pada dataset tertentu, termasuk bahasa Indonesia.
Analisis hasil pengujian dilakukan dengan cara kuantitaitf dengan menggunakan matrik CIDEr, Hasil pengujian CIDEr pada 15 % dataset menunjukan bahwa algoritma CNN-LSTM mendapat skor 0.836 sedangkan algoritma Xception-GRU mendapat skor 0.983, sedangkan untuk 30 gambar testing yang terdiri dari 10 dataset, 10 AI dan 10 kamera, didapat hasil dengan metode CNN-LSTM didapat Gambar dataset 0.456, Gambar AI 0.406 dan Gambar Kamera 0.372 serta rerata skor 0.4113 sedangkan untuk Xception-GRU didapat Gambar dataset 0,399, Gambar AI 0.331 dan Gambar Kamera 0.588 serta rerata skor 0.4393, maka disimpulkan bahwa Xception-GRU hasil baik dengan selisih skor sebesar 0, 147.
References
Binus University. (2017, 13 Februari). RNN dan GRU: Memahami Jaringan Saraf Rekursif dan Unit Pembaruan Gated. Tersedia di: https://socs.binus.ac.id/2017/02/13/rnn-dan-gru/ [Diakses pada 8 Maret 2023]
Budi Susanto. (2021, 10 Agustus). Apa Itu Convolutional Neural Network? Medium. Tersedia di: https://medium.com/@16611110/apa-itu-convolutional-neural-network-836f70b193a4 [Diakses pada 8 Maret 2023]
Chollet, F. (2016). Xception: Deep learning with depthwise separable convolutions. In Proceedings of the IEEE Conference on Computer vision and Pattern Recognition (CVPR), 1251-1258.
Cho, K., Van Merriënboer, B., Gulcehre, C., Bahdanau, D., Bougares, F., Schwenk, H., & Bengio, Y. (2014). Learning phrase representations using RNN encoder-decoder for statistical machine translation. arXiv preprint arXiv:1406.1078.
Hochreiter, S., & Schmidhuber, J. (1997). Long short-term memory. Neural computation, 9(8), 1735-1780.
LeCun, Y. (2021). Convolutional Neural Networks. Dalam Y. LeCun, Y. Bengio, & G. Hinton (Eds.), Deep learning (hal. 354-396).
LeCun, Y., Bengio, Y., & Hinton, G. (2015). Deep learning. Nature, 521(7553), 436-444.
Mitchell, T. M. (1997). Machine Learning. McGraw-Hill.
Nugroho, A. M., & Hidayatullah, A. F. (2021). Keterangan gambar otomatis berbahasa Indonesia dengan CNN dan LSTM. AUTOMATA: Jurnal Sistem dan Teknologi Informasi, 2(1), 1-10.
Nursikuwagus, A., Munir, R., & Khodra, M. L. (2020). Image captioning menurut scientific revolution Kuhn dan Popper. Jurnal Manajemen Informatika (JAMIKA), 10(2), 110–121.
Parikh, D., & Deng, J. (2018). Image Captioning: Pendekatan, Tantangan, dan Aplikasi. IEEE Signal Processing Magazine, 35(1), 128-136.
Rifqi Mulyawan. (2022, 5 Januari). Image Captioning: Menghasilkan Deskripsi untuk Gambar dengan Deep learning. Tersedia di: https://rifqimulyawan.com/blog/image-captioning/ [Dikases pada 8 Maret 2023]
Sirait, J. (2022). Xception dan gated recurrent unit pada image captioning. e-Proceeding FTI, 2(1), 123–130.
Yosua Calvin. (2024). Analisis performa algoritma CNN-LSTM pada image captioning untuk mendeskripsikan kesegaran buah (Skripsi, Universitas Tanjungpura Pontianak).
You et al. (2016). Image captioning with semantic attention. In Proceedings of the IEEE Conference on Computer vision and Pattern Recognition (CVPR), 4651-4659.
Vedantam, R., Lawrence Zitnick, C., & Parikh, D. (2015). "CIDEr: Consensus-based Image Description Evaluation". Proceedings of the IEEE Conference on Computer vision and Pattern Recognition (CVPR).
Downloads
Published
Issue
Section
License
Copyright (c) 2025 JUSTIN (Jurnal Sistem dan Teknologi Informasi)
This work is licensed under a Creative Commons Attribution-NonCommercial-ShareAlike 4.0 International License.
The author owns the copyright in his paper and agrees to publish his paper to JUSTIN by giving the rights to the first publication of his paper which is simultaneously licensed under the Creative Commons Attribution License, namely the Similar International 4.0 license (CC BY-NC-SA 4.0).
This is a human-readable summary of (and not a substitute for) the license. Disclaimer.
You are free to:Share "” copy and redistribute the material in any medium or format
Adapt "” remix, transform, and build upon the material
The licensor cannot revoke these freedoms as long as you follow the license terms.
Under the following terms:
Attribution "” You must give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use.
NonCommercial "” You may not use the material for commercial purposes.
ShareAlike "” If you remix, transform, or build upon the material, you must distribute your contributions under the same license as the original.
No additional restrictions "” You may not apply legal terms or technological measures that legally restrict others from doing anything the license permits.
Notices:
You do not have to comply with the license for elements of the material in the public domain or where your use is permitted by an applicable exception or limitation.
No warranties are given. The license may not give you all of the permissions necessary for your intended use. For example, other rights such as publicity, privacy, or moral rights may limit how you use the material.
