Boosting


Boosting adalah pembelajaran metode ensemble meta algoritma untuk terutama mengurangi bias, dan juga varians.[1] Berbeda halnya dengan bagging dan random forest yang mendapatkan hasil prediksi dari proses bootstrap, Boosting mengacu pada kumpulan algoritma yang dapat mengkonversi weak learners untuk strong learners. Prinsip utama dari boosting adalah menyesuaikan urutan weak learners hanya sedikit lebih baik daripada tebakan acak, sementara strong learners dekat dengan kinerja sempurna seperti pohon keputusan kecil.[2] Setiap kali pembuatan pohon, data yang digunakan tetap seperti semula tetapi memiliki sebaran bobot yang berbeda dalam tiap iterasi. Penggunaan bobot juga dilakukan pada saat proses penggabungan prediksi akhir dari banyak pohon yang dihasilkan melalui klasifikasi atau penjumlahan regresi.[3] Boosting juga dikanal dengan sebutan AdaBoost.

Algoritma

Boosting tidak dibatasi dengan secara algoritme. prosedur Boosting cukup sederhana. Misalkan weak learners akan bekerja pada distribusi data apa pun yang diberikan, dan mengambil biner tugas klasifikasi sebagai contoh.[2] sebagian besar algoritma Boosting terdiri dari iteratif learning pengklasifikasi lemah sehubungan dengan distribusi dan menambahkannya ke penggolong kuat akhir. Ketika mereka ditambahkan, mereka biasanya ditimbang dengan beberapa cara yang biasanya terkait dengan ketepatan weak learners. Setelah weak learners ditambahkan, data akan ditulis ulang: contoh yang salah dikuatkan dan contoh yang diklasifikasi dengan benar menurunkan berat badan. Dengan demikian, weak learners nantinya lebih fokus pada contoh-contoh bahwa weak learners sebelumnya salah klasifikasi. AdaBoost sangat populer dikarnakan dapat beradaptasi dengan weak learners. Freund dan Schapire (1996) dan Hastie et al. (2008) memaparkan algoritma AdaBoost.M1 dengan cara penulisan yang agak berbeda. Misalkan data yang kita miliki terdiri atas n, dengan y sebagai peubah respon yang memiliki k kelas. Selanjutnya kita ingin membuat pohon gabungan menggunakan algoritma Boosting dari sebanyak M iterasi.[3] Secara ringkas, tahapan algoritma tersebut dapat dituliskan sebagai berikut:

1. tentukan bobot awal setiap pengamatan, yaitu w[i] = 1/n untuk semua i = 1, 2, …, n.

2. Andaikan m adalah nomor iterasi, maka untuk m = 1, 2, … M, lakukan proses berikut:

  • susun pohon tunggal dengan memperhatikan bobot sebesar w[i]
  • hitung tingkat kesalahan klasifikasi
  • hitung nilai a[m]
  • tentukan bobot yang baru untuk setiap pengamatan menjadi w[i] = w[i]a[m] untuk pengamatan yang salah klasifikasi, sedangkan untuk pengamatan yang diduga dengan tepat maka bobotnya tetap

3. prediksi akhir adalah kelas k yang memiliki nilai terbesar.

Catatan kaki

  1. ^ https://web.archive.org/web/20150119081741/http://oz.berkeley.edu/~breiman/arcall96.pdf
  2. ^ a b http://www2.islab.ntua.gr/attachments/article/86/Ensemble%20methods%20-%20Zhou.pdf[pranala nonaktif permanen]
  3. ^ a b "Salinan arsip" (PDF). Diarsipkan dari asli (PDF) tanggal 2018-01-27. Diakses tanggal 2018-05-12.


Content Disclaimer

Informasi ini disarikan dari Wikipedia dan disajikan kembali untuk tujuan edukasi. Konten tersedia di bawah lisensi CC BY-SA 3.0. Kami tidak bertanggung jawab atas ketidakakuratan data yang bersumber dari kontribusi publik tersebut.

  1. The information displayed on this website is sourced in part or in whole from Wikipedia and has been adapted for the purpose of restating it. We strive to provide accurate and relevant information, however:
  2. There is no guarantee of absolute accuracy. Wikipedia is an open, collaborative project that can be edited by anyone, so information is subject to change.
  3. It is not intended to constitute professional advice. The content displayed is for informational and educational purposes only. For important decisions (e.g., medical, legal, or financial), please consult a professional.
  4. Content copyright. Wikipedia is licensed under the Creative Commons Attribution-ShareAlike License (CC BY-SA). This means that content may be reused with appropriate attribution and shared under a similar license.
  5. Responsible use. Any risk arising from the use of information from this website is entirely the responsibility of the user.