ในขณะที่หน่วยงานของรัฐบาลกลางมองหาการนำปัญญาประดิษฐ์และการเรียนรู้ของเครื่องมาใช้มากขึ้นสำหรับภารกิจและกระบวนการทางธุรกิจหลังบ้าน พวกเขามักจะพบอุปสรรคสำคัญประการหนึ่งในช่วงแรกๆ นั่นคือ การเตรียมข้อมูล ซึ่งอาจรวมถึงการรวมข้อมูลจากหลายแหล่ง การชำระล้าง การเปลี่ยนแปลง การตรวจสอบและการเผยแพร่ หน่วยงานต่างๆ มักจะมีข้อมูลเก็บไว้ในไซโลและ Data Lake หลายแห่ง ทำให้การค้นหาทำได้ยาก นอกจากนี้ ข้อมูลดังกล่าวมักไม่ค่อยอยู่ในรูปแบบมาตรฐาน โดยเฉพาะในรูปแบบที่ AI และ ML ใช้งานได้ แต่ด้วยการใช้หลักการ DevOps
กับกลยุทธ์ข้อมูล พวกเขาสามารถเอาชนะสิ่งกีดขวางนี้ได้เร็วขึ้นมาก
และอำนวยความสะดวกในการติดตั้งเครื่องมือ AI และ MLRussell Dardenne นักวิเคราะห์ระบบอาวุโสของ Geocent เรียกกระบวนการใหม่นี้ว่า DataOps
“กล่าวโดยสรุปคือการนำหลักการของ DevOps มาสู่โลกของข้อมูล” เขากล่าว “มันจัดระเบียบข้อมูล ล้างข้อมูล ทำให้ใช้งานได้ สร้างความปลอดภัยรอบ ๆ ข้อมูล ทำให้ข้อมูลนั้นแข็งแกร่ง ทุกสิ่งที่คุณจะนึกถึงภายในโครงสร้าง DevOps เมื่อคุณให้บริการเว็บ ฟีเจอร์ หรือแอปพลิเคชัน เราใช้หลักการเดียวกันนี้ในการย้ายบางสิ่งขึ้นและลงไปป์ไลน์ ดำเนินการตรวจสอบความปลอดภัยและคุณภาพเทียบกับมัน
ซึ่งรวมถึงการรับการเปลี่ยนแปลงโค้ดจากนักพัฒนาและการส่งเสริมให้เป็นไปป์ไลน์ต่างๆ เพื่อการประกันคุณภาพก่อนที่จะนำไปผลิตจริงสำหรับผู้ใช้ วิศวกรข้อมูลมักใช้เวลาส่วนใหญ่ไปกับการรับข้อมูล ล้างข้อมูล และแปลงให้เป็นผลงานต่างๆ ที่เครื่องมือ AI และ ML ต่างๆ จะใช้ หลักการของ DataOps เกี่ยวกับการทำให้กระบวนการเหล่านั้นเป็นไปโดยอัตโนมัติในขอบเขตที่เป็นไปได้ และทำลายไซโลที่ขัดขวางการค้นพบ
นอกจากนี้ยังเกี่ยวกับการรวมวิศวกรข้อมูล นักวิทยาศาสตร์
และวิศวกร AI/ML เข้าด้วยกันในกระบวนการเพื่อให้แน่ใจว่าการเปลี่ยนแปลงจะเกิดขึ้นอย่างมีประสิทธิภาพ ถูกต้อง และตั้งแต่เริ่มต้นของกระบวนการ Greg Porter สถาปนิกระบบอาวุโสของ Geocent กล่าวว่านั่นเป็นสิ่งที่ช่วยแบ่งไซโลและช่วยให้นำข้อมูลที่ใช้งานได้ไปสู่การผลิตสำหรับผู้ใช้ปลายทาง
นั่นทำให้กระบวนการค้นพบง่ายขึ้น เนื่องจากยิ่งหน่วยงานรวบรวมข้อมูลมากเท่าใด การค้นหาสิ่งที่จำเป็นและกำหนดมาตรฐานให้อยู่ในรูปแบบที่ใช้งานได้ก็ยิ่งยากขึ้นเท่านั้น Data Lake มีวิธีหนึ่งที่จะกลายเป็น Data Swamp
“DataOps ช่วยให้เราสามารถจัดการข้อมูลได้โดยอัตโนมัติตลอดทั้งไปป์ไลน์ เพื่อช่วยในกระบวนการค้นหาข้อมูล เราสามารถสร้างเมทาดาทาโดยอัตโนมัติจากข้อมูลขณะที่ดำเนินการผ่านไปป์ไลน์” Brian Priest สถาปนิกระบบอาวุโสของ Geocent กล่าว “ดังนั้น ไม่ว่าสถานการณ์จะพยายามค้นหาข้อมูลสำหรับโมเดลการฝึกอบรม หรือนักวิทยาศาสตร์ข้อมูลเพียงต้องการเรียกดูชุดข้อมูลเฉพาะ เราก็สามารถจัดทำแค็ตตาล็อกของเมทาดาทาที่มีภาษากลางที่เป็นมาตรฐานเพื่อสืบค้นทั่วทั้งแนวข้อมูลขนาดใหญ่ ”
องค์กรยังสามารถควบคุมนโยบายที่ใช้ในไปป์ไลน์นี้ทั้งในระดับองค์กรและระดับโครงการเพื่อพิจารณาสิ่งต่างๆ เช่น การจัดประเภทและสภาพแวดล้อม ซึ่งหมายความว่าองค์กรต่างๆ เช่น กระทรวงกลาโหมและชุมชนข่าวกรองสามารถเก็บข้อมูลลับของตนไว้ในสถานที่ แต่ยังคงเชื่อมโยงทุกอย่างเข้าด้วยกันในมุมมองระดับองค์กร เพื่อให้ผู้ที่ต้องการเข้าถึงข้อมูลได้มากขึ้น
และทั้งหมดนี้ขับเคลื่อนโดยคลาวด์ มอบความสามารถในการขยายขนาด ความยืดหยุ่น และการปรับคอนเทนเนอร์ตามความจำเป็น
“เราบรรจุทุกอย่างในคอนเทนเนอร์เพื่อให้เราขยายขนาดได้มากเท่าที่เราต้องการและมั่นใจในการพกพา และทั้งหมดนั้นควบคุมผ่านไปป์ไลน์ CI/CD จากนั้นการผลิตจะถูกควบคุมผ่านทางไปป์ไลน์นั้นเช่นกัน” พอร์เตอร์กล่าว
คลาวด์เป็นส่วนสำคัญที่ทำให้การใช้เทคโนโลยีและกระบวนการเหล่านี้เข้าถึงได้สำหรับหน่วยงานของรัฐบาลกลาง เนื่องจากแม้ว่าสิ่งนี้อาจเป็นไปได้ภายในองค์กร แต่จะเป็นการยกระดับที่หนักมากในการติดตั้งโครงสร้างพื้นฐานที่จำเป็น แต่ผู้ให้บริการคลาวด์มีโครงสร้างพื้นฐานนั้นอยู่แล้ว
เช่นเดียวกับการนำระบบคลาวด์หรือ DevOps มาใช้ เทคโนโลยีเป็นเพียงส่วนหนึ่งของการยกระดับเท่านั้น อีกส่วนคือการสร้างวัฒนธรรมที่เปิดกว้างต่อการเปลี่ยนแปลงกระบวนการเพื่อดำเนินการ Dardenne กล่าวว่าเริ่มต้นด้วยการพิสูจน์แนวคิดในรูปแบบกระดาษขาวขนาดเล็ก เนื่องจากข้อกังวลพื้นฐานเกี่ยวกับ “การเปลี่ยนแปลง” ขององค์กรขนาดใหญ่คือวิธีที่องค์กรจะโต้ตอบภายในท่าทางการรักษาความปลอดภัยที่มีอยู่
