การประมวลภาษาไทย NLP แบบ Transfer Learning ด้วย BERT
สวัสดีครับ ไม่ได้ Post กันมาซักพักเลยครับ สบายดีไหมครับ ผม กอบกฤตย์ นะครับ เนื่องจากทางผม ได้รับการเชื้อเชิญโดยคุณ Charin https://www.facebook.com/charin.lin.5 มาพูดในงาน Data Science BKK #9 https://www.facebook.com/groups/dsbkkgroup/ เลยมาพูดเรื่อง BERT ซักหน่อยครับ
BERT เนี่ย มันย่อมาจาก Bidirectional Encoder Representations from Transformers พัฒนาโดย Google ครับ มันเป็น AI Deep Learning แบบ Transformer สำหรับงาน NLP (Natural Language Processing) โดยเฉพาะ ซึ่งเอาชนะ State-of-the-Art ในงาน NLP ได้กระจุยหลายตัวครับ
เวลาเทรน BERT เนี่ย ต้องทำการ Train 2 รอบไม่เหมือนกับ Deep Learning ทั่วๆไปแบบ LSTM หรือ RNN นะครับ มันจะแบ่งเป็น Pre-training เรียนรู้เข้าใจภาษาจากเนื้อหาข้อความภาษาจำนวนมาก(อาทิเช่นมาจาก Wikipedia, Toronto Book Corpus) เป็นการเรียนรู้แบบ Unsupervised Learning ก่อนนะครับ ซึ่ง Data ที่ใช้ไม่คต้องมีการ Label Class อะไร เพื่อให้ BERT เข้าใจ Language Model (LM) ของภาษานั้นๆเสียก่อนครับ
หลังจากที่ BERT เข้าใจ Language Model เรียบร้อยแล้วเราก็จะเอา BERT มาใช้งานในด้านต่างๆอาทิเช่น ทำ Sentimental Analysis ก็ต้องทำการ Train รอบที่สอง เรียกว่า Fine Tune นะครับ เป็นแบบ Supervised Learning โดยที่เราต้องเอา Data ที่เราต้องสอนมัน แบบมี Class อาทิเช่น Wisesight Sentimetal Data set (https://www.kaggle.com/c/wisesight-sentiment) มาปรับ Weight ที่ Layer ท้ายๆของ BERT ครับ ให้มันเรียนรู้ให้แยกแยะ ข้อความอารมณ์ดี หรือข้อความอารมณ์เสียได้
เนื้อหาฉบับเต็มจะอยู่ใน Link Youtube ข้างล่างนะครับ โดยเนื้อหาประกอบไปด้วย
- ฺฺBERT ดีอย่างไร
- การทำ NLP ในยุค Deep Learning จาก One-hot encoding ถึง BERT
- วิธีการทำงานของ BERT
- การ Pre-training, Fine-tuning และการใช้งาน BERT ของจริง
- มีอะไรจะมาเจ๋งกว่า BERT มาอีกไหม
ดู Video ได้เลยครับ
Slide shares:
หากมีคำถามอะไร สามารถทิ้ง Comment ไว้ได้เลยนะครับ จะรีบมาตอบให้เร็วที่สุด หากชอบใจบทความนี้ฝากกดปุ่มตบมือ (Clap) ให้หน่อยนะครับ
หากใครสนใจอยากจะพัฒนาหรือต้องการที่ปรึกษาด้าน AI สามารถเข้าไปดูผลงานของบริษัทเรา iApp Technology ได้ที่ https://iapp.co.th และ https://ai.iapp.co.th หรือติดต่อได้ที่ kobkrit@iapp.co.th ได้เลยนะครับ #Ai #iApp
ดูเพิ่มเติมได้ที่ https://iapp.co.th และ https://ai.iapp.co.th :D
