7 บทความ ที่ติดแท็ก "nlp"

Schedule​

27 Feb 2023

13:00–13:05 แนะนำว่าโจทย์ QA คืออะไร และ Transformer เอาไปอะไรได้บ้าง
13:05–14:00 NLP Core Knowledge
14:00–14:05 — — Brain Break — —
14:05–15:00 Transformer Core Knowledge
15:00–15:05 — — Brain Break — —
15:05–16:00 Colab 1 (Preprocessing + Text Class) + Colab สร้าง QA
16:00–16:15 Q/A Session

— —

28 Feb 2023
09:00–10:00 Colab 2 (NE + POS+ WS + SS)
10:00–10:05 — — Brain Break — —
10:05–11:00 How ChatGPT Build and Works?
11:00–11:05 — — Brain Break — —
11:05–12:00 Colab: Making Your Own ChatGPT (As the way we did on OpenThaiGPT 0.0.1) + Colab: Reinforcement Learning with Human Feedback (RLHF)
12:00–12:15 Q/A Session + OpenThaiGPT Open for Volunteers.

โจทย์ QA​

อะไรคือ QA: https://ai.iapp.co.th/product/thai_automatic_qa
Colab สร้าง QA: https://colab.research.google.com/drive/1inDOJzCh-iG3_aAU-73tq3FzlCwM8nvY

NLP Core Knowledge​

Slide (Basic NLP -> Word Embbeding -> LSTM): https://drive.google.com/file/d/14AVefnJvgaNXWw6wo-kpmHQyjLAikMgp/view?usp=sharing

Transformer Core Knowledge​

Slide​

Slide (Thai NLP in Transformers Era): https://drive.google.com/file/d/1-V-Gy45c7vHQ4GejvWDBHk0w9oJ4z18I/view?usp=sharing

Colab​

Colab 1 (Preprocessing + Text Class): https://colab.research.google.com/drive/1fGKoS1WH6dbw3mYffOgTtdmPN2Wi9doF?usp=sharing
Colab 2 (NE + POS+ WS + SS): https://colab.research.google.com/drive/1CWamaQH1Lgd7mSZ0UZ4jx2AUMAGDpsfq?usp=sharing#scrollTo=cvrnEG4mOm1p

ChatGPT Core Knowledge​

Website​

https://openthaigpt.aieat.or.th/

Slide​

Slide (ChatGPT: How it works?): https://docs.google.com/presentation/d/1Q6_S_GDWHuNC0DfprNMn9EH0kyqK_y-RbdK5fJB6EUk/edit#slide=id.g1f3418062d6_0_156

Slide (OpenThaiGPT):
https://docs.google.com/presentation/d/1JJxtwo1pCJC3u6aSfslSp1FJSb5ZS5xBKIiQ-6Kip_g/edit?usp=sharing

Colab
Finetuning OpenThaiGPT version POC 0.0.1:
https://colab.research.google.com/drive/1MA1FHwknrs6mVstOHcSyFTnDNWrus-G-?usp=sharing

RLHF: สอนให้ Model Generate ข้อความเชิงบวก (Positive Sentiment) ได้มากขึ้นด้วย PPO https://colab.research.google.com/drive/1qce78Q00SY7CKXLVtiSGFbP5C1V_nypn?usp=sharing

---

รวบรวม Link สำหรับเรียนรู้ Transformer สำหรับ SuperAIEngineer Season 3 was originally published in Kobkrit on Medium, where people are continuing the conversation by highlighting and responding to this story.

แจกวิธี Train Thai Question Answering AI ใช้ Wangchanberta บน Dataset iApp QA โดย Simple Transformer​

How to make Thai QA System using SimpleTransformer

• Pretrain Model: Wangchanberta
• Dataset: iApp Thai Wikipedia QA
• Training: Simple Transformer QA
• Author: Kobkrit Viriyayudhakorn kobkrit@iapp.co.th
• Written on 14 Apr 2022

Colab:

https://colab.research.google.com/drive/1inDOJzCh-iG3_aAU-73tq3FzlCwM8nvY#scrollTo=vLChKnukd3gC

---

แจกวิธี Train Thai Question Answering AI ใช้ Wangchanberta บน Dataset iApp QA โดย Simple… was originally published in Kobkrit on Medium, where people are continuing the conversation by highlighting and responding to this story.

แจกไบเบิ้ล วิธีการ Finetune BERT, Roberta, Wangchanberta สำหรับงาน NLP ภาษาไทยแบบง่าย พร้อมแจกโค้ดบน Colab!!​

ชุดซอฟต์แวร์ Transformer จาก Huggingface (https://huggingface.co/) เป็นศูนย์รวม Software, Model และ Datasets ในการใช้ Transformer ทางด้าน NLP ที่ยอดนิยมที่สุดในโลก สนับสนุนทางภาษาไทยและภาษาอังกฤษ และทุกภาษาทั่วโลก

การใช้งานชุดซอฟต์แวร์ Transformer จาก Huggingface นี้ ต้องมีความรู้เฉพาะทางของแต่ละ Model ในตระกูล Transformer และต้องเรียนรู้ API ของ Huggingface ต่างๆ อาทิเช่น Datasets, Trainer, Tokenizer, Inference API ที่ต้องใช้เวลาและการเรียนรู้ค่อนข้างนาน (แต่ก็ดีกว่าไป Clone GIT Repo ของ Transformer แต่ละตัวมาแล้วมาเรียนรู้และเล่นเอง ไปหลายขุมแล้ว)

เพื่อที่จะให้ผู้ที่ทำการเรียนรู้ สามารถนำ Model Transformer นำไปใช้งานได้อย้างรวดเร็ว โดยที่เข้าใจถึงพัฒนาการของงาน NLP จาก One-hot Encoding, Word2Vec, LSTM, Encoder & Decoder และ Transformers ได้ด้วยนั้น

สอน NLP Processing + Toolkits ที่ค่าย Super AI Engineer Season 2 ระหว่างวันที่ 14–15 กุมภาพันธ์ 2565

ทางผมได้รับเชิญ ให้สอนวิธีการพัฒนา AI เหล่านี้ในค่าย Super AI Engineer Season 2 ผู้เข้าร่วมประมาณ 130 ท่าน จัดโดยสมาคมปัญญาประดิษฐ์ประเทศไทย (AIAT) ระหว่างวันที่ 14–15 กุมภาพันธ์ 2565โดยสอนวิธีการสร้าง Model AI ด้าน NLP ตั้งแต่วิธี Basic จนถึงการใช้ Word2Vec, LSTM, BERT, Roberta และสอน Finetune โมโดลโดยการใช้ Tensorflow Keras, Pytorch และสุดท้าย Finetune บนซอฟต์แวร์ชุด Simple Transformer (https://simpletransformers.ai)/ซึ่งเป็นชุดซอฟต์แวร์ที่ที่ทำให้เรา Finetune Model บนข้อมูลบน Pandas ได้โดยง่าย โดยไม่ต้องเขียน Data Class หรือใช้ Data loader บนงาน NLP ภาษาไทยและอังกฤษได้ ซึ่งใน Colab มีตัวอย่างตั้งแต่

1. Text Cleaning
2. Text Classification
3. Text Similarity
4. Word Segmentation
5. Name Entity Recognition (NER)
6. Part of Speech Tagging (POS)
7. Sentence Segmentation

พร้อมตัวอย่างใช้งานได้จริงผ่าน Notebook บน Google Colaboratory ใน 2 Links นี้

NLP Preprocessing + Text Classification (Monday 14 Feburary)
https://bit.ly/sai2-nlp1

NE + POS + WS + SS (Tuesday 15 Feburary)
https://bit.ly/sai2-nlp2

และสุดท้ายสอนการ Upload Model และ Tokenizer ขึ้นที่หน้าเว็บไซด์ของ Huggingface อีกด้วย ในท้ายของวันที่ 15 Faburary

ใครสนใจลองเข้าไปเรียนรู้ดูได้ หากเจอข้อผิดพลาดอะไร สามารถแจ้งมาที่ได้เลย มาจะทำการ Update แก้ไขให้ครับ

Colab ตัวนี้เป็นแบบ MIT license สามารถใช้ในการแจกจ่าย ดัดแปลง ไปใช้ในทางธุรกิจ อะไรได้หมดเลยครับ ทางผมยินดีครับ ขอบคุณครับ

---

แจกไบเบิ้ล วิธีการ Finetune BERT, Roberta, Wangchanberta สำหรับงาน NLP ภาษาไทยแบบง่าย… was originally published in Kobkrit on Medium, where people are continuing the conversation by highlighting and responding to this story.

สวัสดีครับ ไม่ได้ Post กันมาซักพักเลยครับ สบายดีไหมครับ ผม กอบกฤตย์ นะครับ เนื่องจากทางผม ได้รับการเชื้อเชิญโดยคุณ Charin https://www.facebook.com/charin.lin.5 มาพูดในงาน Data Science BKK #9 https://www.facebook.com/groups/dsbkkgroup/ เลยมาพูดเรื่อง BERT ซักหน่อยครับ

BERT เนี่ย มันย่อมาจาก Bidirectional Encoder Representations from Transformers พัฒนาโดย Google ครับ มันเป็น AI Deep Learning แบบ Transformer สำหรับงาน NLP (Natural Language Processing) โดยเฉพาะ ซึ่งเอาชนะ State-of-the-Art ในงาน NLP ได้กระจุยหลายตัวครับ

เวลาเทรน BERT เนี่ย ต้องทำการ Train 2 รอบไม่เหมือนกับ Deep Learning ทั่วๆไปแบบ LSTM หรือ RNN นะครับ มันจะแบ่งเป็น Pre-training เรียนรู้เข้าใจภาษาจากเนื้อหาข้อความภาษาจำนวนมาก(อาทิเช่นมาจาก Wikipedia, Toronto Book Corpus) เป็นการเรียนรู้แบบ Unsupervised Learning ก่อนนะครับ ซึ่ง Data ที่ใช้ไม่คต้องมีการ Label Class อะไร เพื่อให้ BERT เข้าใจ Language Model (LM) ของภาษานั้นๆเสียก่อนครับ

หลังจากที่ BERT เข้าใจ Language Model เรียบร้อยแล้วเราก็จะเอา BERT มาใช้งานในด้านต่างๆอาทิเช่น ทำ Sentimental Analysis ก็ต้องทำการ Train รอบที่สอง เรียกว่า Fine Tune นะครับ เป็นแบบ Supervised Learning โดยที่เราต้องเอา Data ที่เราต้องสอนมัน แบบมี Class อาทิเช่น Wisesight Sentimetal Data set (https://www.kaggle.com/c/wisesight-sentiment) มาปรับ Weight ที่ Layer ท้ายๆของ BERT ครับ ให้มันเรียนรู้ให้แยกแยะ ข้อความอารมณ์ดี หรือข้อความอารมณ์เสียได้

เนื้อหาฉบับเต็มจะอยู่ใน Link Youtube ข้างล่างนะครับ โดยเนื้อหาประกอบไปด้วย

1. ฺฺBERT ดีอย่างไร
2. การทำ NLP ในยุค Deep Learning จาก One-hot encoding ถึง BERT
3. วิธีการทำงานของ BERT
4. การ Pre-training, Fine-tuning และการใช้งาน BERT ของจริง
5. มีอะไรจะมาเจ๋งกว่า BERT มาอีกไหม

ดู Video ได้เลยครับ

https://medium.com/media/6ba726cc23e3064c9ac7058aca02de25/href

Slide shares:

https://medium.com/media/dcf1748492673092fc07faa4a3fcabff/href

หากมีคำถามอะไร สามารถทิ้ง Comment ไว้ได้เลยนะครับ จะรีบมาตอบให้เร็วที่สุด หากชอบใจบทความนี้ฝากกดปุ่มตบมือ (Clap) ให้หน่อยนะครับ

หากใครสนใจอยากจะพัฒนาหรือต้องการที่ปรึกษาด้าน AI สามารถเข้าไปดูผลงานของบริษัทเรา iApp Technology ได้ที่ https://iapp.co.th และ https://ai.iapp.co.th หรือติดต่อได้ที่ kobkrit@iapp.co.th ได้เลยนะครับ #Ai #iApp

https://ai.iapp.co.th

ดูเพิ่มเติมได้ที่ https://iapp.co.th และ https://ai.iapp.co.th :D

---

การประมวลภาษาไทย NLP แบบ Transfer Learning ด้วย BERT was originally published in Kobkrit on Medium, where people are continuing the conversation by highlighting and responding to this story.

Word embedding, Word2Vec, Skip-gram, CBOW, Negative Sampling, Glove Dataset

Lecture Note: http://bit.ly/2mr8n9w

Credit: https://www.deeplearning.ai/

Build native mobile app in iOS and Android in Single codebase by JavaScript programming language backed by Facebook.

Course Directory

[React Native 0] Set up React Native on Mac for iOS and Android DevelopmentThe followings are walkthrough guide for setup react-native on Mac for iOS and Android mobile app development.medium.com​

[React Native 0] React-Native Setup on Windows for Android Development WalkthroughAndroid DevelopmentWalkthrough Android Developmentmedium.com​

[React Native 1] Lecture 1: Introduction to React-NativeWhat is React-Native? What are differences compared with native developments.medium.com​

[React Native 2] Modern JavaScript Programming language with ES6/ES2015The followings are slide presentation for ITS484: Mobile App Development, SIIT, Thammasat University, Thailand (1/2016)medium.com​

[React Native 3] Setup BabelJS and ES6 on Windows and more on ES6/ES2015medium.com​

[React Native 4] Basic Elements and Flexboxmedium.com​

[React Native 5] State and Keyboard Input By Making BMI Calculator and Stop Watch Appmedium.com​

[React Native 6] Components, Props, and Network By Making Stocks AppReact Native Components, Props, and Network By Making Stocks Appmedium.com​

[React Native 7] Navigation Bar, Scene Transition, List ViewReact Native Navigation Bar, Scene Transition, ListViewmedium.com​

[React Native 8] Midterm Exam Discussion, Feedback, and Term ProjectsThis post is about Midterm Exam, and Term Projects for SIIT students who enroll ITS484.medium.com​

[React Native 9] Using Map in React-Native (Apple Map and Google Map)Learn how to including Apple Map and Google map into the iOS and Android mobile app written by React Native.medium.com​

[React Native 10] Camera, Camera Roll, Gallery by Making Selfies Scoreboard AppLearn how to write iOS and Android mobile app to take photo (Camera), and selecting image from Phone’s Gallery (Camera…medium.com​

[React Native 11] AsyncStorage and Realm DB for In-App Database TutorialWe are doing a step-by-step tutorial how to make mobile application’s local storage by React Native AsyncStorage and…medium.com​

[React Native 12] Advanced Lifecycle, AppState, Firebase, Realtime Databasemedium.com​

[React Native 13] Firebase Realtime Database + Authenticationmedium.com​

[React Native 14] Startup PitchingThis is a bit strange that we are talking about the Startup Pitching in the mobile app development course. But believe…medium.com​

[React Native 15] Final Presentation ScheduleITS484 Presentation Schedule for Dec 6, 2016 Click here to view >> Presentation Schedulemedium.com​

The followings are slide presentation for ITS484: Mobile App Development, SIIT, Thammasat University, Thailand (1/2016)

1. Walkthrough guides for setup ES6 develop environment in Mac by using Babel
2. Walkthrough guides setup ESLint to check the JavaScript style guide.
3. Teach Modern JavaScript programming language (ES6/ES2015)
4. Teach how to write ES6/ES2015 with correct style guides (be the best practices from day one) based on Airbnb

Source code Git repository: https://github.com/kobkrit/react-native-class-2017

Quiz Submission Form: https://goo.gl/forms/TWoTk9nic5dY2r0F2

Quiz Submission Form Short: http://bit.ly/2kuKvlM