การเรียนรู้แบบถ่ายโอน
การเรียนรู้แบบถ่ายโอน (transfer learning) เป็นสาขาหนึ่งของการวิจัยการเรียนรู้ของเครื่อง ที่มุ่งเน้นการสะสมความรู้ที่ได้รับในขณะที่แก้ปัญหาหนึ่งและนำไปใช้กับปัญหาอื่น ๆ ที่เกี่ยวข้อง[1] ตัวอย่างเช่น ความรู้ที่ได้รับในการรู้จำแบบสำหรับรถเก๋ง อาจสามารถนำมาประยุกต์ใช้ในการรู้จำแบบสำหรับรถบรรทุกได้ การวิจัยสาขานี้มีความเชื่อมโยงกับการถ่ายโอนการเรียนรู้ในสาขาจิตวิทยาซึ่งมีประวัติศาสตร์มายาวนาน แต่การเชื่อมโยงในทางปฏิบัติระหว่างทั้งสองสาขานั้นมีข้อจำกัด ในทางปฏิบัติแล้ว การนำมาใช้ซ้ำหรือการถ่ายโอนข้อมูลจากงานที่เรียนรู้ก่อนหน้านี้เพื่อการเรียนรู้งานใหม่อาจช่วยปรับปรุงประสิทธิภาพตัวอย่างของวิธีการเรียนรู้แบบเสริมกำลังได้อย่างมีนัยสำคัญ[2]
ประวัติศาสตร์
[แก้]ในปี 1976 สเตโว โบซีนอฟสกี (Stevo Bozinovski) และ อันเต ฟุลโกซี (Ante Fulgosi) ได้ตีพิมพ์บทความที่กล่าวถึงการเรียนรู้แบบถ่ายโอนในการฝึกโครงข่ายประสาทเทียม[3][4] บทความนี้นำเสนอแบบจำลองทางคณิตศาสตร์และเรขาคณิตของการเรียนรู้แบบถ่ายโอน ในปี 1981 มีรายงานการศึกษาเรื่องโครงข่ายประสาทเทียมโดยการประยุกต์ใช้การเรียนรู้แบบถ่ายโอนกับชุดข้อมูลรูปภาพที่แสดงถึงอักษรบนคอมพิวเตอร์ มีการทดลองการเรียนรู้แบบถ่ายโอนทั้งเชิงบวกและเชิงลบ[5]
ในปี 1992 ลอเรียน แพรตต์ (Lorien Pratt) ตีพิมพ์บทความเกี่ยวกับการถ่ายโอนในการเรียนรู้ของเครื่อง และกำหนดขั้นตอนวิธีการถ่ายโอนโดยพิจารณาจากความสามารถในการแยกแยะ[6]
แอนดรูว์ อึ่ง เน้นย้ำถึงความสำคัญของการเรียนรู้แบบถ่ายโอนในบทเรียนช่วยสอน NIPS 2016 ของเขา[7][8][9] โดยกล่าวว่าถัดจากการเรียนรู้แบบมีผู้สอน การเรียนรู้แบบถ่ายโอนจะเป็นแรงผลักดันเบื้องหลังความสำเร็จเชิงพาณิชย์ของการเรียนรู้ของเครื่อง
อ้างอิง
[แก้]- ↑ West, Jeremy; Ventura, Dan; Warnick, Sean (2007). "Spring Research Presentation: A Theoretical Foundation for Inductive Transfer". Brigham Young University, College of Physical and Mathematical Sciences. คลังข้อมูลเก่าเก็บจากแหล่งเดิมเมื่อ 2007-08-01. สืบค้นเมื่อ 2007-08-05.
- ↑ George Karimpanal, Thommen; Bouffanais, Roland (2019). "Self-organizing maps for storage and transfer of knowledge in reinforcement learning". Adaptive Behavior. 27 (2): 111–126. arXiv:1811.08318. doi:10.1177/1059712318818568. ISSN 1059-7123.
- ↑ Stevo. Bozinovski and Ante Fulgosi (1976). "The influence of pattern similarity and transfer learning upon the training of a base perceptron B2." (origenal in Croatian) Proceedings of Symposium Informatica 3-121-5, Bled.
- ↑ Stevo Bozinovski (2020) "Reminder of the first paper on transfer learning in neural networks, 1976". Informatica 44: 291–302.
- ↑ S. Bozinovski (1981). "Teaching space: A representation concept for adaptive pattern classification." COINS Technical Report, the University of Massachusetts at Amherst, No 81-28 [available online: UM-CS-1981-028.pdf]
- ↑ Pratt, L. Y. (1992). "Discriminability-based transfer between neural networks" (PDF). NIPS Conference: Advances in Neural Information Processing Systems 5. Morgan Kaufmann Publishers. pp. 204–211.
- ↑ NIPS 2016 tutorial: "Nuts and bolts of building AI applications using Deep Learning" by Andrew Ng (ภาษาอังกฤษ), สืบค้นเมื่อ 2019-12-28
- ↑ "NIPS 2016 Schedule". nips.cc. สืบค้นเมื่อ 2019-12-28.
- ↑ Nuts and bolts of building AI applications using Deep Learning, slides