อธิบายความสำคัญของข้อจำกัด (y_i (mathbf{x__i cdot mathbf{w} + b) geq 1) ในการเพิ่มประสิทธิภาพ SVM

/ / ตีพิมพ์ใน ปัญญาประดิษฐ์, EITC/AI/MLP Machine Learning ด้วย Python, สนับสนุนเครื่องเวกเตอร์, สนับสนุนการเพิ่มประสิทธิภาพเครื่องเวกเตอร์, ทบทวนข้อสอบ

ข้อจำกัด y_i (\mathbf{x__i \cdot \mathbf{w} + b) \geq 1 เป็นส่วนประกอบพื้นฐานในกระบวนการเพิ่มประสิทธิภาพของ Support Vector Machines (SVMs) ซึ่งเป็นวิธีการที่นิยมและทรงพลังในด้านการเรียนรู้ของเครื่องจักรสำหรับงานการจำแนกประเภท ข้อจำกัดนี้มีบทบาทสำคัญในการทำให้แน่ใจว่าโมเดล SVM จำแนกจุดข้อมูลการฝึกได้อย่างถูกต้องในขณะที่เพิ่มระยะขอบระหว่างคลาสต่างๆ ให้สูงสุด เพื่อให้เข้าใจถึงความสำคัญของข้อจำกัดนี้ได้อย่างถ่องแท้ จำเป็นต้องพิจารณาถึงกลไกของ SVM การตีความทางเรขาคณิตของข้อจำกัด และผลที่ตามมาสำหรับปัญหาการเพิ่มประสิทธิภาพ

Support Vector Machines มุ่งหวังที่จะค้นหาไฮเปอร์เพลนที่เหมาะสมที่สุดซึ่งแยกจุดข้อมูลของคลาสต่างๆ ด้วยระยะขอบสูงสุด ไฮเปอร์เพลนในปริภูมิ n มิติถูกกำหนดโดยสมการ \mathbf{w} \cdot \mathbf{x} + b = 0ที่นี่มี \คณิตศาสตร์{w} คือเวกเตอร์น้ำหนักปกติของไฮเปอร์เพลน \คณิตศาสตร์{x} คือเวกเตอร์คุณลักษณะอินพุต และ b เป็นคำที่มีอคติ เป้าหมายคือการจำแนกจุดข้อมูล โดยที่จุดจากคลาสหนึ่งวางอยู่บนด้านหนึ่งของไฮเปอร์เพลน และจุดจากอีกคลาสหนึ่งอยู่ฝั่งตรงข้าม

ข้อจำกัด y_i (\mathbf{x__i \cdot \mathbf{w} + b) \geq 1 ทำให้มั่นใจได้ว่าแต่ละจุดข้อมูล (\คณิตศาสตร์{x__i, y_i) ได้รับการจำแนกอย่างถูกต้องและอยู่ทางด้านขวาของระยะขอบ ที่นี่, คุณ_ฉัน แสดงถึงป้ายกำกับคลาสของจุดข้อมูล i-th ด้วย ย_ฉัน = +1 สำหรับหนึ่งชั้นเรียนและ ย_ฉัน = -1 สำหรับชั้นเรียนอื่น ระยะ \mathbf{x__i \cdot \mathbf{w} + b คือฟังก์ชันการตัดสินใจที่กำหนดตำแหน่งของจุดข้อมูลที่สัมพันธ์กับไฮเปอร์เพลน

เพื่อทำความเข้าใจการตีความทางเรขาคณิต ให้พิจารณาสิ่งต่อไปนี้:

1. การแบ่งแยกชนชั้นในทางบวกและทางลบ: สำหรับจุดข้อมูล \คณิตศาสตร์{x__i อยู่ในกลุ่มเชิงบวก (ย_ฉัน = +1) ข้อจำกัด y_i (\mathbf{x__i \cdot \mathbf{w} + b) \geq 1 ช่วยลดความยุ่งยากในการ \mathbf{x__i \cdot \mathbf{w} + b \geq 1- ซึ่งหมายความว่าจุดข้อมูล \คณิตศาสตร์{x__i ต้องอยู่บนหรือนอกขอบเขตระยะขอบที่กำหนดโดย \mathbf{w} \cdot \mathbf{x} + b = 1- ในทำนองเดียวกันสำหรับจุดข้อมูล \คณิตศาสตร์{x__i อยู่ในกลุ่มเชิงลบ (ย_ฉัน = -1) ข้อจำกัดจะลดความซับซ้อนลง \mathbf{x__i \cdot \mathbf{w} + b \leq -1เพื่อให้แน่ใจว่าจุดข้อมูลอยู่บนหรือนอกขอบเขตระยะขอบที่กำหนดโดย \mathbf{w} \cdot \mathbf{x} + b = -1.

2. การเพิ่มกำไรขั้นต้น: ระยะขอบคือระยะห่างระหว่างไฮเปอร์เพลนและจุดข้อมูลที่ใกล้เคียงที่สุดจากคลาสใดคลาสหนึ่ง ข้อจำกัดทำให้มั่นใจได้ว่าระยะขอบจะถูกขยายให้สูงสุดโดยการผลักจุดข้อมูลให้ห่างจากไฮเปอร์เพลนมากที่สุดเท่าที่จะเป็นไปได้ ในขณะที่ยังคงรักษาการจำแนกประเภทที่ถูกต้อง ระยะทางจากจุดหนึ่ง \คณิตศาสตร์{x__i ให้กับไฮเปอร์เพลนโดย \frac{|\mathbf{x__i \cdot \mathbf{w} + b|}{\|\mathbf{w}\|}- โดยการบังคับใช้ข้อจำกัด y_i (\mathbf{x__i \cdot \mathbf{w} + b) \geq 1อัลกอริธึม SVM จะเพิ่มระยะห่างนี้อย่างมีประสิทธิภาพ ซึ่งนำไปสู่ระยะขอบที่มากขึ้นและประสิทธิภาพการวางนัยทั่วไปที่ดีขึ้น

3. สนับสนุนเวกเตอร์: จุดข้อมูลที่วางอยู่บนขอบเขตระยะขอบพอดี \mathbf{w} \cdot \mathbf{x} + b = 1 และ \mathbf{w} \cdot \mathbf{x} + b = -1 เรียกว่าเวกเตอร์แนวรับ จุดเหล่านี้มีความสำคัญในการกำหนดไฮเปอร์เพลนที่เหมาะสมที่สุด เนื่องจากเป็นจุดที่ใกล้ที่สุดกับไฮเปอร์เพลนและมีอิทธิพลโดยตรงต่อตำแหน่งและทิศทางของมัน ข้อจำกัดทำให้มั่นใจได้ว่าเวกเตอร์สนับสนุนเหล่านี้ได้รับการจำแนกอย่างถูกต้องและอยู่บนขอบเขตของระยะขอบ ดังนั้นจึงมีบทบาทสำคัญในปัญหาการปรับให้เหมาะสม

ปัญหาการปรับให้เหมาะสมที่สุดสำหรับ SVM สามารถกำหนดได้ว่าเป็นปัญหาการปรับให้เหมาะสมแบบนูน โดยมีวัตถุประสงค์เพื่อลดบรรทัดฐานของเวกเตอร์น้ำหนักให้เหลือน้อยที่สุด \คณิตศาสตร์{w} (ซึ่งเทียบเท่ากับการเพิ่มระยะขอบสูงสุด) ขึ้นอยู่กับข้อจำกัด y_i (\mathbf{x__i \cdot \mathbf{w} + b) \geq 1 สำหรับจุดข้อมูลการฝึกอบรมทั้งหมด ในทางคณิตศาสตร์สามารถแสดงได้เป็น:

    \[ \begin{aligned} &\min_{\mathbf{w}, b} \frac{1}{2} \|\mathbf{w}\|^2 \\ &\text{ขึ้นอยู่กับ} \quad y_i (\mathbf{x__i \cdot \mathbf{w} + b) \geq 1, \quad \forall i. \end{ชิด} \]

ปัจจัยของ \frac{1}{2} รวมไว้เพื่อความสะดวกทางคณิตศาสตร์เมื่อหาอนุพันธ์ระหว่างการปรับให้เหมาะสม สูตรนี้เรียกว่ารูปแบบเบื้องต้นของปัญหาการปรับให้เหมาะสม SVM

เพื่อแก้ปัญหาการหาค่าเหมาะที่สุดนี้ โดยทั่วไปแล้วเราจะใช้เทคนิคจากการหาค่าเหมาะที่สุดแบบนูน เช่น ตัวคูณลากรองจ์ โดยการแนะนำตัวคูณลากรองจ์ \alpha_i \geq 0 สำหรับแต่ละข้อจำกัด ปัญหาการปรับให้เหมาะสมสามารถเปลี่ยนเป็นรูปแบบคู่ได้ ซึ่งมักจะแก้ไขได้ง่ายกว่า โดยเฉพาะอย่างยิ่งเมื่อต้องจัดการกับข้อมูลที่มีมิติสูง ปัญหาการปรับให้เหมาะสม SVM รูปแบบคู่ได้รับจาก:

    \[ \begin{aligned} &\max_{\alpha} \sum_{i=1}^{N} \alpha_i - \frac{1}{2} \sum_{i=1}^{N} \sum_{ j=1}^{N} \alpha_i \alpha_j y_i y_j (\mathbf{x__i \cdot \mathbf{x__j) \\ &\text{ขึ้นอยู่กับ} \quad \sum_{i=1}^{ N} \alpha_i y_i = 0, \\ &\quad \quad \quad \quad \quad \quad 0 \leq \alpha_i \leq C, \quad \forall i, \end{aligned} \]

ที่ไหน N คือจำนวนจุดข้อมูลการฝึก และ C เป็นพารามิเตอร์การทำให้เป็นมาตรฐานที่ควบคุมการแลกเปลี่ยนระหว่างการเพิ่มระยะขอบสูงสุดและลดข้อผิดพลาดในการจำแนกประเภทข้อมูลการฝึกอบรมให้เหลือน้อยที่สุด

สูตรคู่ใช้ประโยชน์จากเคล็ดลับเคอร์เนล ทำให้ SVM สามารถจัดการข้อมูลที่ไม่สามารถแบ่งแยกได้แบบไม่เป็นเชิงเส้น โดยการแมปข้อมูลอินพุตกับพื้นที่คุณลักษณะมิติที่สูงกว่าซึ่งสามารถแยกเชิงเส้นได้ สิ่งนี้สามารถทำได้ผ่านฟังก์ชันเคอร์เนล เช่น เคอร์เนลพหุนาม เคอร์เนลฟังก์ชันพื้นฐานรัศมี (RBF) และเคอร์เนลซิกมอยด์ ซึ่งคำนวณผลคูณดอทโดยปริยายในพื้นที่มิติที่สูงกว่าโดยไม่ต้องดำเนินการแปลงอย่างชัดเจน

ด้วยการแก้ปัญหาการหาค่าเหมาะที่สุดแบบคู่ เราจะได้ตัวคูณลากรองจ์ที่เหมาะสมที่สุด \alpha_iซึ่งสามารถใช้เพื่อกำหนดเวกเตอร์น้ำหนักที่เหมาะสมที่สุด \คณิตศาสตร์{w} และระยะอคติ b- เวกเตอร์สนับสนุนสอดคล้องกับจุดข้อมูลที่มีตัวคูณลากรองจ์ที่ไม่เป็นศูนย์ และฟังก์ชันการตัดสินใจสำหรับการจำแนกจุดข้อมูลใหม่ \คณิตศาสตร์{x} มอบให้โดย:

    \[ f(\mathbf{x}) = \text{sign} \left( \sum_{i=1}^{N} \alpha_i y_i (\mathbf{x__i \cdot \mathbf{x}) + b \ขวา). -

ข้อจำกัด y_i (\mathbf{x__i \cdot \mathbf{w} + b) \geq 1 จึงเป็นส่วนสำคัญในกระบวนการเพิ่มประสิทธิภาพ SVM เพื่อให้มั่นใจว่าแบบจำลองจะมีความสมดุลระหว่างการจัดประเภทข้อมูลการฝึกอบรมอย่างถูกต้องและการเพิ่มส่วนต่างสูงสุด ซึ่งนำไปสู่การสรุปข้อมูลทั่วไปที่ดีขึ้นในข้อมูลที่มองไม่เห็น

เพื่อแสดงให้เห็นความสำคัญของข้อจำกัดนี้ด้วยตัวอย่าง ให้พิจารณาปัญหาการจำแนกประเภทไบนารีอย่างง่ายที่มีจุดข้อมูลสองมิติ สมมติว่าเรามีข้อมูลการฝึกอบรมดังต่อไปนี้:

    \[ \begin{aligned} &\mathbf{x__1 = (2, 3), \quad y_1 = +1, \\ &\mathbf{x__2 = (1, 1), \quad y_2 = +1 , \\ &\mathbf{x__3 = (-1, -1), \quad y_3 = -1, \\ &\mathbf{x__4 = (-2, -3), \quad y_4 = -1 . \end{ชิด} \]

เป้าหมายคือการค้นหาไฮเปอร์เพลนที่เหมาะสมที่สุดที่แยกคลาสที่เป็นบวก (ปี = +1) จากคลาสเชิงลบ (ย = -1- ข้อจำกัดสำหรับปัญหานี้สามารถเขียนได้ดังนี้:

    \[ \begin{aligned} &y_1 (\mathbf{x}_1 \cdot \mathbf{w} + b) \geq 1 \quad \ลูกศรขวา \quad (2, 3) \cdot \mathbf{w} + b \geq 1, \\ &y_2 (\mathbf{x}_2 \cdot \mathbf{w} + b) \geq 1 \quad \Rightarrow \quad (1, 1) \cdot \mathbf{w} + b \geq 1, \ \ &y_3 (\mathbf{x__3 \cdot \mathbf{w} + b) \geq 1 \quad \ลูกศรขวา \quad (-1, -1) \cdot \mathbf{w} + b \leq -1, \ \ &y_4 (\mathbf{x}_4 \cdot \mathbf{w} + b) \geq 1 \quad \ลูกศรขวา \quad (-2, -3) \cdot \mathbf{w} + b \leq -1 \end{ชิด} \]

การแก้ปัญหาการปรับ SVM ให้เหมาะสมด้วยข้อจำกัดเหล่านี้ทำให้เราได้เวกเตอร์น้ำหนักที่เหมาะสมที่สุด \คณิตศาสตร์{w} และระยะอคติ b ที่กำหนดไฮเปอร์เพลนที่แยกทั้งสองคลาสด้วยระยะขอบสูงสุด

ข้อจำกัด y_i (\mathbf{x__i \cdot \mathbf{w} + b) \geq 1 มีความสำคัญต่อกระบวนการเพิ่มประสิทธิภาพ SVM เนื่องจากช่วยให้สามารถจำแนกจุดข้อมูลการฝึกอบรมได้อย่างถูกต้อง พร้อมทั้งเพิ่มขอบเขตระหว่างคลาสต่างๆ ได้อย่างสูงสุด ส่งผลให้ประสิทธิภาพการสรุปผลทั่วไปและความทนทานของโมเดล SVM ดีขึ้น

คำถามและคำตอบล่าสุดอื่น ๆ เกี่ยวกับ EITC/AI/MLP Machine Learning ด้วย Python:

ดูคำถามและคำตอบเพิ่มเติมใน EITC/AI/MLP Machine Learning with Python

คำถามและคำตอบเพิ่มเติม:

Tagged under: , , , , ,