ขั้นตอนการเรียนรู้ของเครื่องมีรายละเอียดเพิ่มเติมอะไรบ้าง?

/ / ตีพิมพ์ใน ปัญญาประดิษฐ์, EITC/AI/GCML Google Cloud Machine Learning, บริษัท, การเรียนรู้ของเครื่องคืออะไร

ขั้นตอนต่างๆ ของการเรียนรู้ของเครื่องจักรเป็นแนวทางที่มีโครงสร้างสำหรับการพัฒนา การนำไปใช้งาน และการบำรุงรักษาโมเดลการเรียนรู้ของเครื่องจักร ขั้นตอนเหล่านี้จะช่วยให้มั่นใจว่ากระบวนการเรียนรู้ของเครื่องจักรเป็นระบบ สามารถทำซ้ำได้ และปรับขนาดได้ ส่วนต่อไปนี้จะให้ภาพรวมที่ครอบคลุมของแต่ละขั้นตอน พร้อมทั้งให้รายละเอียดเกี่ยวกับกิจกรรมสำคัญและข้อควรพิจารณาที่เกี่ยวข้อง

1. การกำหนดปัญหาและการรวบรวมข้อมูล

นิยามปัญหา
ขั้นตอนเริ่มต้นเกี่ยวข้องกับการกำหนดปัญหาที่โมเดลการเรียนรู้ของเครื่องต้องการแก้ไขอย่างชัดเจน ซึ่งรวมถึงการทำความเข้าใจวัตถุประสงค์ทางธุรกิจและแปลวัตถุประสงค์เหล่านั้นเป็นปัญหาการเรียนรู้ของเครื่อง ตัวอย่างเช่น วัตถุประสงค์ทางธุรกิจอาจเป็นการลดการสูญเสียลูกค้า ปัญหาการเรียนรู้ของเครื่องที่เกี่ยวข้องอาจเป็นการทำนายว่าลูกค้ารายใดมีแนวโน้มที่จะสูญเสียลูกค้าโดยอิงจากข้อมูลในอดีต

การเก็บรวบรวมข้อมูล
เมื่อกำหนดปัญหาแล้ว ขั้นตอนต่อไปคือการรวบรวมข้อมูลที่จำเป็นในการฝึกโมเดล การรวบรวมข้อมูลอาจเกี่ยวข้องกับแหล่งข้อมูลต่างๆ เช่น ฐานข้อมูล API การขูดเว็บ และชุดข้อมูลของบุคคลที่สาม คุณภาพและปริมาณของข้อมูลที่รวบรวมเป็นปัจจัยสำคัญที่ส่งผลต่อประสิทธิภาพของโมเดลการเรียนรู้ของเครื่อง

2. การเตรียมข้อมูล

การทำความสะอาดข้อมูล
ข้อมูลดิบมักจะมีสัญญาณรบกวนและมีค่าที่ขาดหายไปหรือไม่สอดคล้องกัน การทำความสะอาดข้อมูลเกี่ยวข้องกับการจัดการค่าที่ขาดหายไป การลบค่าซ้ำซ้อน และการแก้ไขความไม่สอดคล้องกัน เทคนิคต่างๆ เช่น การใส่ค่าแทน การสอดแทรก และการตรวจจับค่าผิดปกติ มักใช้ในขั้นตอนนี้

การแปลงข้อมูล
การแปลงข้อมูลประกอบด้วยการดำเนินการต่างๆ เช่น การทำให้เป็นมาตรฐาน การปรับขนาด และการเข้ารหัสตัวแปรเชิงหมวดหมู่ การแปลงเหล่านี้ช่วยให้แน่ใจว่าข้อมูลอยู่ในรูปแบบที่เหมาะสมสำหรับอัลกอริทึมการเรียนรู้ของเครื่อง ตัวอย่างเช่น การทำให้คุณลักษณะเชิงตัวเลขเป็นมาตรฐานสามารถช่วยปรับปรุงอัตราการบรรจบกันของอัลกอริทึมที่ใช้การไล่ระดับได้

การแยกข้อมูล
โดยทั่วไปชุดข้อมูลจะถูกแบ่งออกเป็นชุดฝึกอบรม ชุดตรวจสอบความถูกต้อง และชุดทดสอบ ชุดฝึกอบรมใช้สำหรับฝึกอบรมโมเดล ชุดตรวจสอบความถูกต้องใช้สำหรับปรับไฮเปอร์พารามิเตอร์ และชุดทดสอบใช้สำหรับประเมินประสิทธิภาพของโมเดล อัตราส่วนการแยกทั่วไปคือ 70% สำหรับการฝึกอบรม 15% สำหรับการตรวจสอบความถูกต้อง และ 15% สำหรับการทดสอบ

3. วิศวกรรมคุณลักษณะ

การเลือกคุณสมบัติ
การเลือกคุณลักษณะเกี่ยวข้องกับการระบุคุณลักษณะที่เกี่ยวข้องมากที่สุดซึ่งส่งผลต่อพลังการทำนายของแบบจำลอง เทคนิคต่างๆ เช่น การวิเคราะห์ความสัมพันธ์ ข้อมูลร่วมกัน และคะแนนความสำคัญของคุณลักษณะจากแบบจำลองแบบแผนผังจะถูกนำมาใช้ในการเลือกคุณลักษณะ

คุณสมบัติการสกัด
การสกัดคุณลักษณะเกี่ยวข้องกับการสร้างคุณลักษณะใหม่จากคุณลักษณะที่มีอยู่ ซึ่งอาจรวมถึงการรวบรวมข้อมูล การสร้างคุณลักษณะพหุนาม หรือการใช้ความรู้เฉพาะโดเมนเพื่อสร้างคุณลักษณะที่มีความหมาย ตัวอย่างเช่น ในชุดข้อมูลอนุกรมเวลา คุณลักษณะต่างๆ เช่น ค่าเฉลี่ยเคลื่อนที่หรือค่าที่ล่าช้าสามารถสกัดออกมาได้

4. การเลือกแบบจำลองและการฝึกอบรม

การเลือกรูปแบบ
การเลือกอัลกอริทึมที่เหมาะสมถือเป็นสิ่งสำคัญต่อความสำเร็จของโครงการการเรียนรู้ของเครื่อง การเลือกอัลกอริทึมขึ้นอยู่กับลักษณะของปัญหา ขนาดและประเภทของชุดข้อมูล และทรัพยากรการคำนวณที่มีอยู่ อัลกอริทึมทั่วไป ได้แก่ การถดถอยเชิงเส้น ต้นไม้การตัดสินใจ เครื่องเวกเตอร์สนับสนุน และเครือข่ายประสาท

การฝึกโมเดล
การฝึกแบบจำลองเกี่ยวข้องกับการป้อนข้อมูลการฝึกลงในอัลกอริทึมที่เลือกเพื่อเรียนรู้รูปแบบพื้นฐาน ในระหว่างขั้นตอนนี้ พารามิเตอร์ของแบบจำลองจะถูกปรับเพื่อลดฟังก์ชันการสูญเสียให้เหลือน้อยที่สุด ซึ่งวัดความแตกต่างระหว่างค่าที่คาดการณ์ไว้และค่าจริง เทคนิคต่างๆ เช่น การลดระดับความชันมักใช้สำหรับการเพิ่มประสิทธิภาพ

5. การปรับแต่งไฮเปอร์พารามิเตอร์

ค้นหากริด
การค้นหากริดเกี่ยวข้องกับการค้นหาอย่างละเอียดผ่านชุดไฮเปอร์พารามิเตอร์ที่กำหนดไว้ล่วงหน้าเพื่อค้นหาชุดค่าผสมที่ให้ประสิทธิภาพสูงสุดบนชุดการตรวจสอบ วิธีนี้อาจต้องใช้การคำนวณมาก แต่มีประสิทธิภาพสำหรับชุดข้อมูลขนาดเล็กถึงขนาดกลาง

สุ่มค้นหา
การค้นหาแบบสุ่มเกี่ยวข้องกับการสุ่มตัวอย่างไฮเปอร์พารามิเตอร์จากการแจกแจงที่กำหนดไว้ล่วงหน้า วิธีนี้มักมีประสิทธิภาพมากกว่าการค้นหาแบบกริด เนื่องจากสามารถสำรวจไฮเปอร์พารามิเตอร์ในช่วงที่กว้างขึ้นได้ในระยะเวลาสั้นลง

การเพิ่มประสิทธิภาพแบบเบย์
การเพิ่มประสิทธิภาพแบบเบย์เซียนใช้แบบจำลองความน่าจะเป็นในการเลือกไฮเปอร์พารามิเตอร์ โดยสร้างแบบจำลองทดแทนเพื่อประมาณค่าฟังก์ชันเป้าหมาย และใช้แบบจำลองนี้เพื่อตัดสินใจว่าจะประเมินไฮเปอร์พารามิเตอร์ใดต่อไป วิธีนี้มีประสิทธิภาพมากกว่าการค้นหาแบบกริดและแบบสุ่ม โดยเฉพาะอย่างยิ่งสำหรับแบบจำลองที่ซับซ้อน

6. การประเมินแบบจำลอง

การวัดประสิทธิภาพ
การประเมินประสิทธิภาพของแบบจำลองเกี่ยวข้องกับการใช้เมตริกต่างๆ เพื่อวัดความถูกต้อง ความแม่นยำ การเรียกคืน คะแนน F1 และเมตริกอื่นๆ ที่เกี่ยวข้อง การเลือกเมตริกขึ้นอยู่กับปัญหาเฉพาะ ตัวอย่างเช่น ในปัญหาการจำแนกประเภท ความแม่นยำและคะแนน F1 มักใช้กัน ในขณะที่ในปัญหาการถดถอย ข้อผิดพลาดกำลังสองเฉลี่ย (MSE) และค่า R-กำลังสองจะเหมาะสมกว่า

การตรวจสอบข้าม
การตรวจสอบแบบไขว้เกี่ยวข้องกับการแบ่งชุดข้อมูลออกเป็นหลายส่วนและฝึกโมเดลบนชุดย่อยที่แตกต่างกันของข้อมูล เทคนิคนี้ให้การประมาณประสิทธิภาพของโมเดลที่มั่นคงยิ่งขึ้นโดยลดความแปรปรวนที่เกี่ยวข้องกับการแยกการทดสอบแบบฝึกครั้งเดียว วิธีการทั่วไป ได้แก่ การตรวจสอบแบบไขว้ k เท่าและการตรวจสอบแบบไขว้แบบแบ่งชั้น

7. การปรับใช้โมเดล

การทำให้เป็นอนุกรมของโมเดล
การสร้างโมเดลแบบอนุกรมเกี่ยวข้องกับการบันทึกโมเดลที่ฝึกแล้วลงในไฟล์ เพื่อให้สามารถโหลดและนำไปใช้ทำนายในภายหลังได้ รูปแบบการสร้างโมเดลแบบอนุกรมทั่วไป ได้แก่ pickle สำหรับโมเดล Python และ ONNX สำหรับโมเดลที่ต้องปรับใช้ในแพลตฟอร์มต่างๆ

การให้บริการแบบจำลอง
การให้บริการโมเดลเกี่ยวข้องกับการปรับใช้ในสภาพแวดล้อมการผลิตที่สามารถรับข้อมูลอินพุตและส่งกลับการคาดการณ์ได้ ซึ่งสามารถทำได้โดยใช้ REST API ไมโครเซอร์วิส หรือแพลตฟอร์มบนคลาวด์ เช่น Google Cloud AI Platform, AWS SageMaker และ Azure Machine Learning

8 การตรวจสอบและบำรุงรักษา

การตรวจสอบประสิทธิภาพ
เมื่อปรับใช้โมเดลแล้ว สิ่งสำคัญคือต้องตรวจสอบประสิทธิภาพแบบเรียลไทม์ ซึ่งเกี่ยวข้องกับการติดตามเมตริกต่างๆ เช่น ความหน่วง ทรูพุต และอัตราข้อผิดพลาด เครื่องมือตรวจสอบ เช่น Prometheus, Grafana และโซลูชันคลาวด์เนทีฟสามารถใช้เพื่อจุดประสงค์นี้

การอบรมขึ้นใหม่แบบจำลอง
เมื่อเวลาผ่านไป ประสิทธิภาพของโมเดลอาจลดลงเนื่องจากการเปลี่ยนแปลงในการกระจายข้อมูลพื้นฐาน ซึ่งเป็นปรากฏการณ์ที่เรียกว่าการดริฟต์แนวคิด การฝึกโมเดลใหม่ด้วยข้อมูลใหม่เป็นประจำจะช่วยให้รักษาความแม่นยำและความเกี่ยวข้องของโมเดลได้ สามารถตั้งค่าไพล์ไลน์อัตโนมัติเพื่อปรับปรุงกระบวนการนี้ให้มีประสิทธิภาพยิ่งขึ้น

การทดสอบ A/B
การทดสอบ A/B เกี่ยวข้องกับการนำโมเดลหลายเวอร์ชันมาใช้งานและเปรียบเทียบประสิทธิภาพของโมเดลเหล่านั้นเพื่อตัดสินใจว่ารุ่นใดดีที่สุด เทคนิคนี้จะช่วยในการตัดสินใจเกี่ยวกับการอัปเดตและการปรับปรุงโมเดลโดยอิงจากข้อมูล

9. การจัดทำเอกสารและการรายงาน

เอกสารแบบจำลอง
เอกสารประกอบที่ครอบคลุมของโมเดล รวมถึงสถาปัตยกรรม ไฮเปอร์พารามิเตอร์ กระบวนการฝึกอบรม และเมตริกประสิทธิภาพ ถือเป็นสิ่งสำคัญสำหรับการทำซ้ำและการทำงานร่วมกัน เครื่องมือเช่น Jupyter Notebooks, Sphinx และ MkDocs สามารถใช้เพื่อสร้างเอกสารประกอบโดยละเอียดได้

การรายงาน
ควรรายงานผลการปฏิบัติงานของโมเดล การอัปเดต และปัญหาต่างๆ ที่พบให้ผู้มีส่วนได้ส่วนเสียทราบเป็นประจำ วิธีนี้จะช่วยให้เกิดความโปร่งใสและช่วยให้ตัดสินใจได้อย่างถูกต้อง

ตัวอย่าง: การคาดการณ์การสูญเสียลูกค้า

เพื่อแสดงให้เห็นถึงขั้นตอนต่างๆ ของการเรียนรู้ของเครื่องจักร ลองพิจารณาตัวอย่างการคาดการณ์การสูญเสียลูกค้าสำหรับบริษัทโทรคมนาคม

1. นิยามปัญหา:วัตถุประสงค์ทางธุรกิจคือการลดการสูญเสียลูกค้า ปัญหาการเรียนรู้ของเครื่องจักรคือการคาดการณ์ว่าลูกค้ารายใดมีแนวโน้มที่จะสูญเสียลูกค้าโดยพิจารณาจากรูปแบบการใช้งาน ข้อมูลประชากร และประวัติการให้บริการ

2. การเก็บรวบรวมข้อมูล:ข้อมูลจะถูกเก็บรวบรวมจากแหล่งต่าง ๆ รวมถึงฐานข้อมูลลูกค้า บันทึกการใช้งาน และบันทึกการบริการลูกค้า

3. การเตรียมข้อมูล:ข้อมูลจะถูกทำความสะอาดเพื่อจัดการกับค่าที่ขาดหายไปและความไม่สอดคล้องกัน คุณสมบัติต่างๆ เช่น การใช้งานรายเดือน ระยะเวลาของลูกค้า และการร้องเรียนเกี่ยวกับบริการจะได้รับการทำให้เป็นมาตรฐานและเข้ารหัส

4. คุณสมบัติวิศวกรรม:คุณสมบัติที่เกี่ยวข้องจะถูกเลือกโดยพิจารณาจากความสัมพันธ์กับอัตราการสูญเสียลูกค้า คุณสมบัติใหม่ เช่น ระยะเวลาการโทรโดยเฉลี่ยและความถี่ของการร้องเรียนเกี่ยวกับบริการ จะถูกแยกออกมา

5. การเลือกแบบจำลองและการฝึกอบรม:ตัวจำแนกประเภทต้นไม้การตัดสินใจจะถูกเลือกเนื่องจากสามารถตีความได้ โมเดลจะได้รับการฝึกบนชุดข้อมูลการฝึกเพื่อเรียนรู้รูปแบบที่เกี่ยวข้องกับการหยุดใช้บริการ

6. การปรับแต่งไฮเปอร์พารามิเตอร์:การค้นหาแบบกริดใช้เพื่อค้นหาไฮเปอร์พารามิเตอร์ที่เหมาะสมที่สุดสำหรับต้นไม้การตัดสินใจ เช่น ความลึกสูงสุดและตัวอย่างขั้นต่ำต่อใบ

7. การประเมินแบบจำลอง:ประสิทธิภาพของโมเดลจะได้รับการประเมินโดยใช้ความแม่นยำ ความแม่นยำ การเรียกคืน และคะแนน F1 การตรวจสอบแบบไขว้จะดำเนินการเพื่อให้มั่นใจถึงความทนทาน

8. การปรับใช้โมเดล:โมเดลที่ได้รับการฝึกอบรมจะถูกจัดลำดับและปรับใช้บนแพลตฟอร์มบนคลาวด์ซึ่งสามารถรับข้อมูลอินพุตและส่งคืนคำทำนายได้

9. การตรวจสอบและบำรุงรักษา:มีการตรวจสอบประสิทธิภาพของโมเดลแบบเรียลไทม์ มีการกำหนดตารางการฝึกอบรมใหม่เป็นประจำเพื่อรวมข้อมูลใหม่และรักษาความแม่นยำ มีการทดสอบ A/B เพื่อเปรียบเทียบเวอร์ชันโมเดลที่แตกต่างกัน

10. เอกสารและการรายงาน:สร้างเอกสารรายละเอียดของโมเดล รวมถึงสถาปัตยกรรม กระบวนการฝึกอบรม และมาตรวัดประสิทธิภาพ รายงานปกติจะถูกสร้างขึ้นและแบ่งปันกับผู้มีส่วนได้ส่วนเสีย

แนวทางที่มีโครงสร้างที่สรุปไว้ในแต่ละขั้นตอนเหล่านี้จะช่วยให้แน่ใจว่าโมเดลการเรียนรู้ของเครื่องได้รับการพัฒนาอย่างเป็นระบบ นำไปใช้ได้อย่างมีประสิทธิภาพ และบำรุงรักษาอย่างมีประสิทธิผล ส่งผลให้ผลลัพธ์ทางธุรกิจดีขึ้นในที่สุด

คำถามและคำตอบล่าสุดอื่น ๆ เกี่ยวกับ EITC/AI/GCML Google Cloud Machine Learning:

ดูคำถามและคำตอบเพิ่มเติมใน EITC/AI/GCML Google Cloud Machine Learning

คำถามและคำตอบเพิ่มเติม:

Tagged under: , , , , , ,