EITC/AI/DLTF Deep Learning ด้วย TensorFlow

โครงข่ายประสาทเทียม (ANN) ได้รับแรงบันดาลใจจากการประมวลผลข้อมูลและโหนดการสื่อสารแบบกระจายในระบบชีวภาพ คำคุณศัพท์“ deep” ในการเรียนรู้เชิงลึกหมายถึงการใช้หลายเลเยอร์ในเครือข่าย งานในช่วงแรกแสดงให้เห็นว่า linear perceptron ไม่สามารถเป็นตัวแยกประเภทสากลได้จากนั้นเครือข่ายที่มีฟังก์ชันการเปิดใช้งานแบบ nonpolynomial ที่มีเลเยอร์ที่ซ่อนอยู่หนึ่งชั้นของความกว้างที่ไม่ถูกผูกไว้สามารถทำได้ในทางกลับกัน การเรียนรู้เชิงลึกเป็นรูปแบบที่ทันสมัยซึ่งเกี่ยวข้องกับจำนวนชั้นของขนาดที่ไม่มีขอบเขตซึ่งอนุญาตให้ใช้งานได้จริงและการนำไปใช้งานที่เหมาะสมในขณะที่ยังคงรักษาความเป็นสากลทางทฤษฎีภายใต้เงื่อนไขที่ไม่รุนแรง ในการเรียนรู้เชิงลึกเลเยอร์ต่างๆยังได้รับอนุญาตให้มีความแตกต่างกันและเบี่ยงเบนไปจากโมเดลนักเชื่อมต่อที่มีข้อมูลทางชีวภาพอย่างกว้างขวางเพื่อประโยชน์ในด้านประสิทธิภาพความสามารถในการฝึกอบรมและความเข้าใจได้จึงเป็นส่วนที่ "มีโครงสร้าง"

Python ถูกพิมพ์แบบไดนามิก (ดำเนินการที่รันไทม์พฤติกรรมการเขียนโปรแกรมทั่วไปหลายอย่างที่ภาษาโปรแกรมแบบสแตติกดำเนินการระหว่างการคอมไพล์) และขยะที่รวบรวม (ด้วยการจัดการหน่วยความจำอัตโนมัติ) สนับสนุนกระบวนทัศน์การเขียนโปรแกรมที่หลากหลายรวมถึงการเขียนโปรแกรมเชิงโครงสร้าง (โดยเฉพาะขั้นตอน) เชิงวัตถุและเชิงฟังก์ชัน สร้างขึ้นในช่วงปลายทศวรรษที่ 1980 และเปิดตัวครั้งแรกในปี 1991 โดย Guido van Rossum ในฐานะผู้สืบทอดภาษาโปรแกรม ABC Python 2.0 เปิดตัวในปี 2000 ได้เปิดตัวคุณสมบัติใหม่เช่นการทำความเข้าใจรายการและระบบรวบรวมขยะที่มีการนับอ้างอิงและถูกยกเลิกด้วยเวอร์ชัน 2.7 ในปี 2020 Python 3.0 ซึ่งเผยแพร่ในปี 2008 เป็นการแก้ไขครั้งใหญ่ของภาษานั่นคือ ไม่เข้ากันได้อย่างสมบูรณ์แบบย้อนหลังและโค้ด Python 2 ส่วนมากไม่ได้รันที่ไม่ได้แก้ไขบน Python 3 ด้วยการสิ้นสุดอายุการใช้งานของ Python 2 (และ pip ​​ที่ลดการรองรับในปี 2021) รองรับเฉพาะ Python 3.6.x ขึ้นไปโดยเวอร์ชันเก่ายัง รองรับเช่น Windows 7 (และโปรแกรมติดตั้งรุ่นเก่าไม่ จำกัด เฉพาะ Windows 64 บิต)

ตัวแปล Python ได้รับการสนับสนุนสำหรับระบบปฏิบัติการกระแสหลักและมีให้ใช้งานอีกสองสามอย่าง (และในอดีตรองรับอีกมากมาย) ชุมชนโปรแกรมเมอร์ทั่วโลกพัฒนาและดูแล CPython ซึ่งเป็นการนำไปใช้อ้างอิงแบบโอเพนซอร์สฟรี องค์กรไม่แสวงหาผลกำไร Python Software Foundation จัดการและกำกับทรัพยากรสำหรับการพัฒนา Python และ CPython

ในเดือนมกราคมปี 2021 Python อยู่ในอันดับที่สามในดัชนีของภาษาโปรแกรมยอดนิยมของ TIOBE รองจากภาษา C และ Java โดยก่อนหน้านี้ได้รับอันดับที่สองและได้รับรางวัลสำหรับความนิยมสูงสุดประจำปี 2020 ได้รับเลือกเป็นภาษาโปรแกรมแห่งปีในปี 2007 และ 2010 และ 2018

การศึกษาเชิงประจักษ์พบว่าภาษาสคริปต์เช่น Python มีประสิทธิผลมากกว่าภาษาทั่วไปเช่น C และ Java สำหรับปัญหาการเขียนโปรแกรมที่เกี่ยวข้องกับการจัดการสตริงและการค้นหาในพจนานุกรมและพบว่าการใช้หน่วยความจำมักจะ "ดีกว่า Java และไม่ แย่กว่า C หรือ C ++ มาก” องค์กรขนาดใหญ่ที่ใช้ Python ได้แก่ ia Wikipedia, Google, Yahoo !, CERN, NASA, Facebook, Amazon, Instagram

นอกเหนือจากแอปพลิเคชันปัญญาประดิษฐ์แล้ว Python ซึ่งเป็นภาษาสคริปต์ที่มีสถาปัตยกรรมแบบแยกส่วนไวยากรณ์ที่เรียบง่ายและเครื่องมือประมวลผลข้อความที่หลากหลายมักใช้สำหรับการประมวลผลภาษาธรรมชาติ

TensorFlow ได้รับการพัฒนาโดยทีม Google Brain สำหรับการใช้งานภายในของ Google เผยแพร่ภายใต้ Apache License 2.0 ในปี 2015

เริ่มตั้งแต่ปี 2011 Google Brain ได้สร้าง DistBelief เป็นระบบแมชชีนเลิร์นนิงที่เป็นกรรมสิทธิ์โดยอาศัยเครือข่ายประสาทเทียมแบบ Deep Learning การใช้งานเพิ่มขึ้นอย่างรวดเร็วใน บริษัท Alphabet ที่หลากหลายทั้งในด้านการวิจัยและการใช้งานเชิงพาณิชย์ Google มอบหมายให้นักวิทยาศาสตร์คอมพิวเตอร์หลายคนรวมถึงเจฟฟ์ดีนเพื่อลดความซับซ้อนและปรับโครงสร้างโค้ดเบสของ DistBelief ให้กลายเป็นไลบรารีระดับแอปพลิเคชันที่เร็วและมีประสิทธิภาพมากขึ้น ในปี 2009 ทีมงานซึ่งนำโดย Geoffrey Hinton ได้ใช้ backpropagation ทั่วไปและการปรับปรุงอื่น ๆ ซึ่งช่วยให้การสร้างเครือข่ายประสาทเทียมมีความแม่นยำสูงขึ้นอย่างมากเช่นข้อผิดพลาดในการรู้จำเสียงลดลง 25%

TensorFlow เป็นระบบรุ่นที่สองของ Google Brain เวอร์ชัน 1.0.0 เปิดตัวเมื่อวันที่ 11 กุมภาพันธ์ 2017 ในขณะที่การใช้งานอ้างอิงทำงานบนอุปกรณ์เดียว TensorFlow สามารถทำงานบน CPU และ GPU ได้หลายตัว (โดยมีส่วนขยาย CUDA และ SYCL เสริมสำหรับการประมวลผลทั่วไปบนหน่วยประมวลผลกราฟิก) TensorFlow พร้อมใช้งานบน 64-bit Linux, macOS, Windows และแพลตฟอร์มคอมพิวเตอร์พกพารวมถึง Android และ iOS สถาปัตยกรรมที่ยืดหยุ่นช่วยให้ใช้งานการคำนวณได้ง่ายในหลากหลายแพลตฟอร์ม (CPU, GPU, TPU) และตั้งแต่เดสก์ท็อปไปจนถึงคลัสเตอร์เซิร์ฟเวอร์ไปจนถึงอุปกรณ์พกพาและอุปกรณ์ระดับขอบ การคำนวณ TensorFlow จะแสดงเป็นกราฟกระแสข้อมูลแบบ stateful ชื่อ TensorFlow มาจากการดำเนินการที่เครือข่ายประสาทดังกล่าวดำเนินการบนอาร์เรย์ข้อมูลหลายมิติซึ่งเรียกว่าเทนเซอร์ ในระหว่างการประชุม Google I/O ในเดือนมิถุนายน 2016 Jeff Dean ระบุว่า 1,500 ที่เก็บบน GitHub กล่าวถึง TensorFlow ซึ่งมีเพียง 5 แห่งเท่านั้นที่มาจาก Google ในเดือนธันวาคม 2017 นักพัฒนาจาก Google, Cisco, RedHat, CoreOS และ CaiCloud ได้เปิดตัว Kubeflow ในการประชุม Kubeflow อนุญาตให้ใช้งานและปรับใช้ TensorFlow บน Kubernetes ในเดือนมีนาคม 2018 Google ได้ประกาศ TensorFlow.js เวอร์ชัน 1.0 สำหรับการเรียนรู้ของเครื่องใน JavaScript ในเดือนมกราคม 2019 Google ได้ประกาศ TensorFlow 2.0 พร้อมให้บริการอย่างเป็นทางการในเดือนกันยายน 2019 ในเดือนพฤษภาคม 2019 Google ได้ประกาศ TensorFlow Graphics สำหรับการเรียนรู้เชิงลึกในคอมพิวเตอร์กราฟิก