Rancang Bangun Aplikasi Web Scraping untuk Korpus Paralel Indonesia - Inggris dengan Metode HTML DOM

Authors

  • Vivensius Mitra Uniersitas Tanjungpura
  • Herry Sujaini Universitas Tanjungpura
  • Arif Bijaksana Putra Negara Universitas Tanjungpura

Keywords:

Web Scraping, HTML DOM, Korpus Paralel, Tokenisasi, Mesin Penerjemah Statistik

Abstract

Korpus paralel merupakan dua dokumen text yangsaling berhubungan dimana dokumen text pertama berisikumpulan kalimat sumber dan dokumen kedua berisi kumpulankalimat terjemahan. Korpus paralel berfungsi sebagai sumberutama dalam mengembangkan mesin penerjemah statistik.Pengumpulan korpus paralel secara manual memerlukan waktuyang lama dan biaya yang tidak sedikit. Web scraping adalahsuatu teknik penggalian informasi dari situs web. Pembuatanaplikasi web scraping dapat dikombinasikan dengan berbagaimetode, dalam penelitian ini metode yang digunakan adalahHTML DOM. Sistem ini dibangun untuk mengumpulkan korpusparalel Bahasa Indonesia dan Inggris. Pengujian dari aplikasi iniadalah menggunakan metode blackbox, serta beberaparangkaian pengujian secara manual untuk mengetahui tingkatkeberhasilan aplikasi ini dalam mengumpulkan data korpusparalel dan kecepatan sistem dalam mengumpulkan korpusparalel. Hasil implementasi dan pengujian akhir dari aplikasiweb scraping dengan metode HTML DOM adalah proses yangberjalan dalam aplikasi web scraping dengan metode HTMLDOM adalah proses scraping, tokenisasi, cleaning, danlowercased, semua proses tersebut berjalan secara otomatissehingga sangat menghemat waktu dan biaya dan menghasilkankorpus paralel Bahasa Indonesia dan Inggris.

References

Septiandri, Edy. 2015. Rancang Bangun Aplikasi Information Retrieval Untuk Mengkoleksi Data Paralel Korpus Teks Bahasa Inggris – Bahasa Indonesia.Skripsi. Pontianak : Fakultas Teknik, Universitas Tanjungpura.

Sujaini, Herry. 2012. An Approach to Improving Corpus Quality for Indonesian - English Statistical Machine Translation. International Journal of Engineering Research & Technology (IJERT) ISSN : 2278 -0181 Vol. 4 Issue 02.

Larasati, Septina Dian. 2012. IDENTIC Corpus: Morphologically EnrichedIndonesian -English Parallel Corpus. /[12 Oktober 2016] Unduh:http://ufal.mff.cuni.cz/~larasati/identic/.Muchtar, Januar. 2009.

Turland, M. 2010. php architect's Guide to Web Scraping with PHP. Introduction -Web Scraping, str,2.

Josi, Ahmat., Abdillah, L.A., & Suryayusra. 2014. Penerapan Teknik Web Scraping Pada Mesin Pencari Artikel Ilmiah. Jurnal Sistem Invormasi (JSI), 5(2), 159 - 164.

HTML DOM.. http://www.w3ii.com/id///js/js_htmldom.html [7] Tokenization. http://nlp.stanford.edu/IR - book/html/htmleditiontokenization -1.html. [8] Siagian, Adelina Irmadewita. 2012. Implementasi Corpus Generator Dengan Parallel Text. Skripsi. Medan : Fakultas Ilmu Komputer dan Teknologi Informasi Universitas Sumatera Utara. [9] Ariani, Sukamto Rosa. 2009. Black -Box Testing, Testing dan Implementasi Sistem.

Downloads

Published

2017-01-11

Issue

Vol. 5 No. 1 (2017)

Section

Articles

License

The author owns the copyright in his paper and agrees to publish his paper to JUSTIN by giving the rights to the first publication of his paper which is simultaneously licensed under the Creative Commons Attribution License, namely the Similar International 4.0 license (CC BY-NC-SA 4.0).  

                             

This is a human-readable summary of (and not a substitute for) the license. Disclaimer.

You are free to:
Share "” copy and redistribute the material in any medium or format
Adapt "” remix, transform, and build upon the material
The licensor cannot revoke these freedoms as long as you follow the license terms.

Under the following terms:
Attribution "” You must give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use.
NonCommercial "” You may not use the material for commercial purposes.
ShareAlike "” If you remix, transform, or build upon the material, you must distribute your contributions under the same license as the original.
No additional restrictions "” You may not apply legal terms or technological measures that legally restrict others from doing anything the license permits.

Notices:
You do not have to comply with the license for elements of the material in the public domain or where your use is permitted by an applicable exception or limitation.
No warranties are given. The license may not give you all of the permissions necessary for your intended use. For example, other rights such as publicity, privacy, or moral rights may limit how you use the material.