Perancangan Aplikasi Web Crawler untuk Menghasilkan Dokumen Teks pada Domain Tertentu

Authors

  • Agustino Halim Universitas Tanjungpura
  • Rudy Dwi Nyoto Universitas Tanjungpura
  • Novi Safriadi Universitas Tanjungpura

Keywords:

F-Measure, Precision, Recall, Web Crawler, Web Spider

Abstract

Untuk mendapatkan dan menyaring informasi yang dibutuhkan, pengguna Internet dapat menggunakan mesin pencarian (search engine) yang telah tersedia, misalnya Google, Yahoo, Bing, DuckDuckGo dan lain sebagainya. Mesin pencari tersebut melakukan pencarian berdasarkan kata kunci yang dimasukkan oleh pengguna, selanjutnya mencocokkan kata kunci dengan isi konten yang tersebar di Internet. Sehubungan dengan keterbatasan sumber daya komputasi dan waktu, maka dibutuhkan suatu cara untuk mengambil konten yang ada di Internet dalam waktu yang singkat dan dapat diindeks secara otomatis serta tersimpan pada database. Untuk memudahkan pengambilan informasi yang tersebar dan selalu berubah-ubah di Internet dalam jumlah besar diperlukan sebuah web crawler. Fungsi utama Web Crawler adalah melakukan penjelajahan dan pengambilan halaman-halaman web yang ada di Internet. Tujuan penelitian ini adalah menghasilkan aplikasi web crawler untuk menghasilkan dokumen teks pada domain tertentu dalam bidang Teknik Informatika atau komputer dan sejenisnya. Pengujian dilakukan dengan metode Black Box dengan teknik robustness testing, pengujian precision and recall serta pengujian F-Measure. Berdasarkan hasil pengujian, didapatkan nilai Recall sebesar 0,99 dan Precision sebesar 0,61 serta F-Measure sebesar 0,74.

References

Sulastri, dan E. Zuliarso, 2010. “Aplikasi Web crawler Berdasarkan Breadth First Search dan Back-Linkâ€. Jurnal Teknologi Informasi DINAMIK Vol. XV, No.1, Hal 52-56.

Shkapenyuk, Vladislav dan Suel Torsten. 2002. “Design and Implementation of a High-Performance Distributed Web Crawlerâ€. Brooklyn, New York: CIS Department, Polytechnic University.

Mardiana, Tari. 2012. “Mesin Pengindikasi Kemiripan untuk Dokumen Berbahasa Indonesiaâ€. Jogyakarta, Indonesia: Universitas Gadjah Mada.

Zuliarso, Eri dan K. Mustofa. 2009. “Crawling Web berdasarkan Ontologyâ€. Jurnal Teknologi Informasi DINAMIK Vol. XIV, No. 2, Hal. 105-112.

Downloads

Published

2017-02-23

Issue

Vol. 5 No. 2 (2017)

Section

Articles

License

The author owns the copyright in his paper and agrees to publish his paper to JUSTIN by giving the rights to the first publication of his paper which is simultaneously licensed under the Creative Commons Attribution License, namely the Similar International 4.0 license (CC BY-NC-SA 4.0).  

                             

This is a human-readable summary of (and not a substitute for) the license. Disclaimer.

You are free to:
Share "” copy and redistribute the material in any medium or format
Adapt "” remix, transform, and build upon the material
The licensor cannot revoke these freedoms as long as you follow the license terms.

Under the following terms:
Attribution "” You must give appropriate credit, provide a link to the license, and indicate if changes were made. You may do so in any reasonable manner, but not in any way that suggests the licensor endorses you or your use.
NonCommercial "” You may not use the material for commercial purposes.
ShareAlike "” If you remix, transform, or build upon the material, you must distribute your contributions under the same license as the original.
No additional restrictions "” You may not apply legal terms or technological measures that legally restrict others from doing anything the license permits.

Notices:
You do not have to comply with the license for elements of the material in the public domain or where your use is permitted by an applicable exception or limitation.
No warranties are given. The license may not give you all of the permissions necessary for your intended use. For example, other rights such as publicity, privacy, or moral rights may limit how you use the material.