ใช้เวลาไม่ถึง 1 วินาที เปลี่ยนภาพ 2D เป็นฉาก 3D ความสามารถโมเดล AI ใหม่จาก Apple

Apple เปิดตัวโมเดล AI ตัวใหม่ ml-sharp บนแพลตฟอร์มโอเพ่นซอร์ส GitHub เปลี่ยนภาพถ่าย 2D ทั่วไปให้กลายเป็นฉาก 3D โดยใช้เวลาไม่ถึง 1 วินาที โดย AI ตัวนี้เป็นส่วนหนึ่งในงานวิจัยภายใต้โครงการ SHARP (Sharp Monocular View Synthesis in Less Than a Second) งานวิจัยด้าน AI และ Computer Vision ของ Apple ที่ตั้งเป้าแก้ปัญหาการสร้างฉาก 3D และมุมมองใหม่ ๆ จากภาพถ่ายเพียงภาพเดียว ให้ได้คุณภาพที่สูงและทำออกมาได้อย่างรวดเร็ว

ml-sharp คืออะไร ?

ml-sharp คือโปรเจกต์โอเพนซอร์สของ Apple ที่พัฒนาขึ้นมาเพื่อสาธิตและเผยแพร่งานวิจัยของ SHARP ซึ่งโฟกัสการสร้างมุมมองแบบ 3D (3D View Synthesis) จากภาพ 2D ภาพเดียว โดยไม่ต้องใช้ภาพหลายมุม กล้องหลายตัว หรือข้อมูลจากเซ็นเซอร์พิเศษต่าง ๆ จุดเด่นของ ml-sharp คือเป็นโปรเจกต์โอเพนซอร์ส ที่ใคร ๆ ก็สามารถเข้าถึงโค้ด โมเดล และตัวอย่างการใช้งานจริง เพื่อนำไปศึกษาและต่อยอดได้อย่างอิสระ

หัวใจของ ml-sharp คือการใช้โมเดล Neural Network โมเดลทางคณิตศาสตร์ที่เลียนแบบการทำงานของสมองมนุษย์ แบบ Feed-forward การใส่ข้อเพียงครังเดียว เพื่อทำนายโครงสร้างฉาก 3 มิติออกมาในรูปแบบ 3D Gaussian Splats เทคนิคการสร้างฉาก 3D ด้วยกลุ่มจุด 3D จำนวนมากที่มีข้อมูลทั้งตำแหน่ง สี ขนาด และทิศทาง จากภาพถ่าย 2D เพียงภาพเดียว เทคนิคนี้ช่วยให้การประมวลผลเร็วขึ้นมากเมื่อเทียบกับวิธีดั้งเดิมอย่าง 3D Reconstruction กระบวนการสร้างโมเดลหรือฉาก 3D จากข้อมูล 2D ที่ต้องใช้ภาพจากหลายมุม 

ผลลัพธ์ของ ml-sharp คือระบบที่สามารถสร้างฉาก 3D ได้ภายในเวลาที่น้อยกว่า 1 วินาทีบน GPU ทั่วไป และเรนเดอร์ภาพมุมใหม่ ๆ ออกมาได้ได้มากกว่า 100 เฟรมต่อวินาที ภาพที่ได้จะมีความละเอียดสูง รายละเอียดของวัตถุและฉากใกล้เคียงภาพถ่ายจริง ทั้งในด้านแสง สี และมิติความลึก 

การเปลี่ยนตำแหน่งหรือมุมกล้องในฉาก 3D ยังให้ความรู้สึกที่ดูสมจริง ซึ่งสมเหตุสมผลตามความสอดคล้องกับการเคลื่อนไหวของกล้องที่ควรจะเป็น

สำหรับผู้ที่สนใจ

เราสามารถเข้าไปโหลด ml-sharp จากภายใน GitHub ของทาง Apple ได้ “ฟรี” จากลิงก์นี้ https://github.com/apple/ml-sharp โดยภายในจะมีทั้งเอกสารและเครื่องมือสำหรับใช้งานจริงใส่ไว้อยู่

แหล่งที่มา : https://github.com/apple/ml-sharp