Google เปิดตัว AI แปล "ภาษามือ" เป็นข้อความ บนมือถือ Pixel 11 แล้ว !!

Google DeepMind เปิดตัว Sign-Language-to-Text หรือ SL2T โมเดล AI สำหรับแปลภาษามือเป็นข้อความ สามารถใช้งานได้แล้วในฟีเจอร์แปลงภาษามือเป็นข้อความใน Gboard และ Live Transcribe บนสมาร์ตโฟน Pixel 11 รองรับ American Sign Language หรือ ASL แปลเป็นภาษาอังกฤษ

AI แปลภาษามือ

Google ระบุว่าบนโลกมีภาษามือมากกว่า 200 ภาษา และมีคนหูหนวกหรือผู้ที่มีปัญหาทางการได้ยินประมาณ 70 ล้านคนที่ใช้ภาษามือในการสื่อสาร แต่ในขณะที่ AI สำหรับภาษาพูดมีความก้าวหน้าอย่างรวดเร็ว ทั้งการแปลภาษา การสั่งงานด้วยเสียง และการถอดเสียงพูดเป็นข้อความ เทคโนโลยีด้านภาษามือกลับยังมีข้อจำกัดอีกมาก

SL2T ถูกพัฒนาขึ้นเพื่อช่วยลดช่องว่างดังกล่าว โดยทำให้ผู้ใช้สามารถใช้ภาษามือกับสมาร์ตโฟนได้ในลักษณะเดียวกับที่ผู้ใช้ทั่วไปสามารถพูดกับโทรศัพท์เพื่อป้อนข้อความ เมื่อใช้งานฟีเจอร์นี้ เราสามารถใช้ภาษามือเพื่อค้นหาข้อมูลบนอินเทอร์เน็ต ร่างข้อความหรือเอกสาร รวมถึงส่งคำถามให้ Gemini ช่วยตอบหรือดำเนินงานต่าง ๆ ได้ ขณะที่ Live Transcribe ช่วยให้เราใช้ภาษามือเป็นส่วนหนึ่งของการสนทนา โดยไม่จำเป็นต้องสลับกลับไปพิมพ์ข้อความทุกครั้ง

ความท้าทายในการสร้าง AI สำหรับภาษามือ คือความเข้าใจผิดที่ว่าภาษามือเป็นเพียงการนำคำจากภาษาพูดมาแสดงด้วยมือ แต่ในความเป็นจริง ภาษามือเป็นภาษาธรรมชาติที่มีไวยากรณ์ โครงสร้าง และคลังคำศัพท์เป็นของตัวเอง ดังนั้นการสร้าง AI สำหรับภาษามือจึงแตกต่างจากการถอดเสียงพูดอย่างมาก เพราะการถอดเสียงพูดสามารถจับคู่เสียงกับข้อความตามลำดับได้ ในขณะที่ภาษามือต้องอาศัยการแปลจากภาษาหนึ่งไปยังอีกภาษาหนึ่ง

นอกจากนี้ ความหมายของภาษามือไม่ได้เกิดจากการเคลื่อนไหวของมือเพียงอย่างเดียว แต่ยังเกิดจากการเคลื่อนไหวของแขน ลำตัว ศีรษะ และการแสดงออกทางใบหน้า ซึ่งอาจเกิดขึ้นพร้อมกัน การทำให้ AI สามารถติดตามองค์ประกอบเหล่านี้อย่างแม่นยำและต่อเนื่องจึงเป็นปัญหาที่ท้าทายด้าน Computer Vision และการประมวลผลข้อมูล ข้อจำกัดนี้เป็นเหตุผลหนึ่งที่ทำให้เทคโนโลยีรุ่นแรก ๆ อย่างถุงมือแปลภาษามือไม่สามารถแก้ปัญหาได้อย่างสมบูรณ์ เพราะการจับการเคลื่อนไหวของมือเพียงอย่างเดียวไม่เพียงพอที่จะเข้าใจภาษามือทั้งหมด

Google DeepMind พัฒนา SL2T ด้วยแนวทางที่ให้ความสำคัญทั้งกับผู้ใช้และบริบททางวัฒนธรรม พร้อมใช้ข้อมูลจำนวนมหาศาลในการฝึกตัว AI โดย SL2T ได้รับการฝึกด้วยข้อมูลภาษามือมากกว่า 100,000 ชั่วโมง จากภาษามือมากกว่า 50 ภาษา และประมาณหนึ่งในสี่ของข้อมูลทั้งหมดเป็นข้อมูล American Sign Language หรือ ASL

การฝึกด้วยภาษามือหลายภาษา รวมถึงภาษาถิ่นและผู้ใช้ที่มีระดับความเชี่ยวชาญแตกต่างกัน ช่วยให้โมเดลสามารถเรียนรู้โครงสร้างพื้นฐานที่มีร่วมกันระหว่างภาษามือแต่ละภาษา และจากการทดลองของ Google วิธีดังกล่าวสามารถทำงานได้ดีกว่าโมเดลที่ฝึกด้วยภาษามือเพียงภาษาเดียวในบางการทดสอบ หนึ่งในจุดเด่นของ SL2T คือโมเดลไม่ได้พยายามแปลจากท่าทางไปเป็นคำทีละคำ แต่สามารถนำข้อมูลการเคลื่อนไหวของผู้ใช้ไปแปลเป็นข้อความโดยตรง

ในด้านความเป็นส่วนตัว Google ออกแบบ SL2T ให้ไม่จำเป็นต้องส่งภาพวิดีโอจากกล้องของผู้ใช้ทั้งหมดไปประมวลผลบนเซิร์ฟเวอร์ ระบบใช้ MediaPipe Holistic ซึ่งทำงานบนอุปกรณ์เพื่อวิเคราะห์และติดตามตำแหน่งของจุดต่าง ๆ บนร่างกายของผู้ใช้ จากนั้นระบบจะส่งเฉพาะข้อมูลพิกัดทางเรขาคณิตของจุดเหล่านั้นไปยังเซิร์ฟเวอร์เพื่อทำการแปลภาษามือ ขณะที่วิดีโอต้นฉบับสามารถถูกทิ้งได้ทันที

แนวทางนี้ช่วยลดความจำเป็นในการส่งภาพจริงของผู้ใช้ไปยังเซิร์ฟเวอร์ และเป็นหนึ่งในองค์ประกอบสำคัญของการออกแบบระบบโดยคำนึงถึงความเป็นส่วนตัว SL2T ยังแตกต่างจากงานวิจัยภาษามือจำนวนมากในอดีตตรงที่สามารถแปลข้อมูลตำแหน่งของร่างกายไปเป็นข้อความโดยตรง โดยไม่ต้องผ่านขั้นตอนที่เรียกว่า Gloss

Gloss เป็นรูปแบบการเขียนแทนภาษามือที่ถูกใช้ในงานวิจัย แต่ไม่สามารถถ่ายทอดองค์ประกอบบางอย่างของภาษามือได้ครบถ้วน เช่น การแสดงออกทางใบหน้าและโครงสร้างเชิงพื้นที่ การตัดขั้นตอนดังกล่าวออกจึงช่วยให้โมเดลสามารถเรียนรู้ความสัมพันธ์ระหว่างการเคลื่อนไหวและความหมายของภาษาได้โดยตรง

Google ให้ความสำคัญกับการใช้งานจริง

Google ระบุว่า SL2T แสดงประสิทธิภาพที่โดดเด่นในการทดสอบมาตรฐานอย่าง FLEURS-ASL ซึ่งใช้ประเมินคุณภาพการแปล ASL เป็นภาษาอังกฤษ โดยโมเดลสามารถทำคะแนนแบบ Zero-shot ได้ 70 BLEURT ซึ่งสูงกว่าคะแนนที่มีการรายงานก่อนหน้านี้อย่างมีนัยสำคัญ

อย่างไรก็ตาม Google มองว่าคะแนน Benchmark เพียงอย่างเดียวไม่สามารถสะท้อนประสิทธิภาพของ AI เมื่อนำไปใช้งานจริงได้ทั้งหมด ทีมพัฒนาจึงให้ความสำคัญกับปัญหาที่เกิดขึ้นระหว่างการใช้งานจริง เช่น การลดความหน่วงของการแปลแบบเรียลไทม์ การป้องกันไม่ให้ AI สร้างข้อความขึ้นมาเองเมื่อผู้ใช้ไม่ได้กำลังเซ็นภาษามือ รวมถึงการปรับปรุงประสิทธิภาพสำหรับผู้ใช้ที่ถนัดมือซ้าย อีกประเด็นคือการรองรับการเซ็นด้วยมือเดียว ซึ่งมีความสำคัญสำหรับการใช้งานบนสมาร์ตโฟน เพราะผู้ใช้อาจต้องถือโทรศัพท์ด้วยมือข้างหนึ่งและใช้มืออีกข้างในการเซ็น

Google DeepMind ระบุว่าการพัฒนา SL2T ไม่ได้ทำเพียงเพื่อชุมชนคนหูหนวก แต่ต้องการทำงาน ร่วมกับชุมชนคนหูหนวกตั้งแต่ต้น มุมมองของคนหูหนวกถูกนำมาใช้ในหลายขั้นตอน ตั้งแต่การกำหนดแนวคิด การเก็บข้อมูล การทดสอบกับผู้ใช้ ไปจนถึงการประเมินผลกระทบของเทคโนโลยี โดยมีผู้เชี่ยวชาญและสมาชิกจากชุมชนคนหูหนวกเข้ามามีส่วนร่วมในกระบวนการพัฒนา

Google ยังจัดตั้ง AI Sign Language Advisory Committee หรือ AISLAC ซึ่งประกอบด้วยองค์กรคนหูหนวกและผู้เชี่ยวชาญจากหลายประเทศ เพื่อให้ชุมชนที่ได้รับผลกระทบจากเทคโนโลยีสามารถมีส่วนร่วมในการกำหนดทิศทางการพัฒนา สำหรับการเปิดตัว SL2T 1.0 ใน Gboard และ Live Transcribe Google ยังร่วมกับ AISLAC จัดทำรายงานผลกระทบเพื่อเปิดเผยความสามารถและข้อจำกัดของเทคโนโลยีอย่างโปร่งใส

แนวทางดังกล่าวสะท้อนว่าการพัฒนา AI สำหรับผู้มีความต้องการเฉพาะทางไม่ได้ขึ้นอยู่กับประสิทธิภาพของโมเดลเพียงอย่างเดียว แต่ยังต้องคำนึงถึงประสบการณ์จริงของกลุ่มผู้ใช้งานและผลกระทบที่อาจเกิดขึ้นจากเทคโนโลยีด้วย