top of page
Sertis

ประเมิน Vendor ในแวดวง AI และ Data อย่างมีประสิทธิภาพด้วยแนวทาง POC ที่วัดผลได้

รูปภาพนักเขียน: SertisSertis


เมื่ออัตราการนำ AI มาใช้ในองค์กรต่าง ๆ เพิ่มขึ้นอย่างรวดเร็ว การบูรณาการ Agentic AI เข้ากับกระบวนการทำงานจึงจำเป็นมากสำหรับการแข่งขันของธุรกิจ ผู้นำองค์กรจึงต้องให้ความสำคัญกับการปรับใช้ AI และการจัดการข้อมูลให้มีประสิทธิภาพตั้งแต่ครั้งแรก

ในช่วง 14 เดือนที่ผ่านมา Sertis ได้เข้าไปช่วยเหลือโครงการที่ประสบปัญหาอยู่ไม่น้อยกว่า 3 โครงการ และยังมีอีกหลายโครงการที่กำลังอยู่ในระหว่างการดำเนินงาน เราเชื่อว่ามีโครงการอีกจำนวนมากที่ล้มเหลวในการบรรลุ ROI (Return on Investment) และผลลัพธ์ที่คาดการณ์ไว้ก่อนเริ่มใช้งาน AI จริง ซึ่งเป็นปัญหาที่เกิดขึ้นในหลากหลายอุตสาหกรรมและไม่มีอุตสาหกรรมใดที่รอดพ้นจากต้นตอของปัญหานี้ได้

ตามรายงานล่าสุดของ Information Week สาเหตุอันดับหนึ่งที่ทำให้โครงการ AI เกือบ 2 ใน 5 ในสหรัฐอเมริกาต้องจบลงด้วยความผิดหวังคือ การตั้งความคาดหวังผิด ๆ ตั้งแต่แรก ซึ่งส่งผลต่อการตัดสินใจและการคาดการณ์ ROI อย่างมีนัยสำคัญ แน่นอนว่า Sertis ก็สังเกตเห็นทั้งวิธีที่ดีและไม่ดีในการเริ่มต้นและดำเนินโครงการในตลาดตอนนี้ 

แม้แต่ภายในองค์กรเดียวกัน เราก็พบว่าโครงการเกี่ยวกับ AI และ Data อาจให้ผลลัพธ์ที่แตกต่างกันอย่างชัดเจน ซึ่งสะท้อนถึงแนวทางการดำเนินงานที่ไม่สม่ำเสมอภายในองค์กร ตลอดจนการขาด AI Framework ที่เป็นมาตรฐานและได้รับการสนับสนุนจากทุกภาคส่วน

“ความผิดหวังหลังการใช้งาน” เป็นสิ่งที่พบได้บ่อย และมักเกิดจากหลายปัจจัยร่วมกัน บางส่วนก็เกิดขึ้นภายในระหว่างการดำเนินโครงการ ในขณะที่บางส่วนก็เป็นปัจจัยภายนอกที่เข้ามาส่งผลกระทบ โดยปัจจัยหลักที่พบมากที่สุด ได้แก่

  • การกำหนดเป้าหมายที่ไม่ชัดเจนตั้งแต่แรก

  • การขาดความเข้าใจในเทคโนโลยี

  • กระบวนการตัดสินใจที่ล้าสมัย

  • การคัดเลือกผู้ให้บริการที่ไม่เหมาะสม

ซึ่งในบทความนี้ เราจะพาผู้อ่านไปสำรวจ แนวทางการคัดเลือกผู้ให้บริการ (Vendor)  ที่เหมาะสม และวิธีหลีกเลี่ยงข้อผิดพลาดที่อาจเกิดขึ้นได้

ตลาดผู้ให้บริการ AI มีการแข่งขันสูงมากในปัจจุบัน หากย้อนกลับไปเมื่อ 5 ปีก่อน Sertis เคยเจอคู่แข่งเฉลี่ยเพียง 2-3 รายต่อการประมูลโครงการแต่ละครั้ง แต่ตอนนี้ตัวเลขนั้นเพิ่มขึ้นถึง 3 เท่า ทำให้การเลือกผู้ให้บริการเป็นเรื่องยากและซับซ้อนมากขึ้น อีกทั้งปัญหาที่พบบ่อยคือหลายองค์กรยังใช้วิธีคิดและตัดสินใจแบบเดิม ๆ ที่ไม่เหมาะกับการทำงานด้าน AI ซึ่งเป็นวิธีคิดที่ตกค้างมาจากยุค IT ที่เน้นฮาร์ดแวร์ หรืออาจเพราะขาดความเข้าใจพื้นฐานเกี่ยวกับความแตกต่างระหว่างโครงการด้าน Data และ AI กับโครงการด้านเว็บไซต์และมือถือ ส่งผลให้หลายองค์กรตกเป็นเหยื่อของข้อเสนอที่ดูดีเกินจริงจากผู้ให้บริการ

นอกจากนี้ บริษัทดังระดับโลกหลายแห่งมักมีโครงสร้างต้นทุนในแต่ละโครงการที่สูง ส่งผลให้ระยะเวลาคืนทุน (Payback Period) นานเกินความจำเป็นตามไปด้วย สิ่งนี้ชี้ให้เห็นถึงความสำคัญของการกำหนดขนาดโครงการ AI ให้เหมาะสมและการใช้เกณฑ์ที่ถูกต้องในการประเมินข้อเสนอและคัดเลือกผู้ให้บริการ

บ่อยครั้งที่องค์กรต่าง ๆ เลือกผู้ให้บริการจาก การนำเสนอที่ดูน่าประทับใจ หรือ ความสัมพันธ์ทางธุรกิจในอดีต แทนที่จะพิจารณาจากประสิทธิภาพที่แท้จริงของ AI ดังนั้นเพื่อหลีกเลี่ยงข้อผิดพลาดทางธุรกิจ องค์กรจำเป็นต้องใช้ กระบวนการพิสูจน์แนวคิด (Proof of Concept - POC) ที่เข้มงวดและวัดผลได้อย่างชัดเจน เพื่อให้มั่นใจว่ามีการประเมินอย่างเป็นธรรมและสามารถเลือกผู้ให้บริการที่เหมาะสมที่สุดได้จริง

การตั้งกระบวนการ POC ที่วัดผลได้

การมี POC (Proof of Concept) ที่มีโครงสร้างชัดเจนช่วยให้องค์กรสามารถมองเห็นเป้าหมายของการนำ AI ไปใช้อย่างชัดเจน และสามารถเปรียบเทียบผู้ให้บริการ AI แต่ละเจ้าได้อย่างเป็นธรรมมากขึ้น

ต่อไปนี้เป็นแนวทางทีละขั้นตอนสำหรับองค์กรขนาดใหญ่ในการประเมินผู้ให้บริการ AI อย่างมีประสิทธิภาพ

1. ให้ข้อมูลชุดเดียวกันกับผู้ให้บริการทุกราย

เพื่อให้การเปรียบเทียบเป็นธรรม องค์กรควรให้ชุดข้อมูลเดียวกันแก่ผู้ให้บริการทุกรายและควรเก็บข้อมูลบางส่วนไว้สำหรับการทดสอบแบบ Blind Testing เพื่อดูว่า AI ของแต่ละรายสามารถนำไปใช้งานได้จริงหรือแค่เรียนรู้จากรูปแบบของข้อมูลเดิม หากผู้ให้บริการรายใดไม่ได้ให้ความสำคัญกับกระบวนการนี้ ควรพิจารณาให้รอบคอบก่อนตัดสินใจเลือก

2. กำหนดเป้าหมายที่ชัดเจนและวัดผลได้

ก่อนจะเริ่มทำ POC ควรกำหนดตัวชี้วัดประสิทธิภาพหลัก (KPI) ให้สอดคล้องกับความต้องการของธุรกิจ ซึ่งรวมไปถึง

  • ความแม่นยำ (เช่น Precision, Recall, F1-score)

  • ความเร็วและประสิทธิภาพในการประมวลผล

  • ความสามารถในการจัดการกรณีที่ซับซ้อน (Edge Cases)

  • ความสะดวกในการผสานรวมกับระบบที่มีอยู่

  • ความสามารถในการอธิบายและตีความการตัดสินใจของ AI เอง (Explainability & Interpretability)

การกำหนดเกณฑ์เหล่านี้ล่วงหน้าช่วยให้องค์กรสามารถวัดประสิทธิภาพของ AI จากผู้ให้บริการได้อย่างเป็นกลาง ลดความเสี่ยงจากการกล่าวอ้างที่เกินจริง และป้องกันไม่ให้ผู้ให้บริการรายใหม่บางรายใช้ข้อมูลที่ไม่เท่าเทียมเป็นจุดได้เปรียบในการแข่งขัน

3. กำหนดระยะเวลาส่งผลงานรอบแรกให้ชัดเจน

กำหนดระยะเวลาส่งผลงานรอบแรกให้ชัดเจน เพื่อให้แน่ใจว่าผู้ให้บริการทุกรายเดินหน้าไปพร้อม ๆ กัน และทำให้องค์กรสามารถประเมินแนวทางและวิธีการทำงานของแต่ละรายได้ตั้งแต่เนิ่น ๆ ซึ่งผู้ให้บริการที่มีประสบการณ์จะสามารถส่งมอบผลงานคุณภาพสูงได้ตรงเวลา ช่วยลดความเสี่ยงทั้งด้านเวลาและคุณภาพในการจ้างงานระยะยาวได้

4. จัดอันดับผลลัพธ์และให้ข้อเสนอแนะอย่างโปร่งใส

เมื่อได้รับผลงานรอบแรกแล้ว ให้จัดอันดับผู้ให้บริการตามเกณฑ์การประเมินที่กำหนดไว้ล่วงหน้า จากนั้นแจ้งผลการประเมินและจุดที่ต้องปรับปรุงให้ผู้ให้บริการทราบ เพื่อให้ทุกฝ่ายเข้าใจจุดยืนของตนและสามารถปรับปรุงได้ตามความต้องการขององค์กร ซึ่งวิธีนี้ช่วยให้องค์กรสามารถมุ่งเน้นที่เป้าหมายหลักของตัวเองและปรับแนวทางระหว่างทางได้หากจำเป็น what the enterprise wants as well as enjoin any midcourse correction that may be needed.

5. เปิดโอกาสให้ผู้ให้บริการปรับปรุงและส่งผลงานใหม่

การให้ผู้ให้บริการมีโอกาสปรับปรุงโมเดลใหม่จากข้อเสนอแนะ ช่วยให้องค์กรสามารถประเมินได้ว่าผู้ให้บริการรายใดแค่กล่าวอ้างเกินจริง และรายใดที่มีประสบการณ์ สามารถปรับปรุงพัฒนา และตอบสนองความต้องการของธุรกิจได้ซึ่งเป็นคุณสมบัติสำคัญของผู้ให้บริการด้าน AI และ Data ที่มีคุณภาพ การเลือกผู้ให้บริการที่เข้าใจว่าระบบ AI ต้องได้รับการพัฒนาอย่างต่อเนื่องและมีความมุ่งมั่นในการปรับปรุงในแต่ละรอบถือเป็นปัจจัยสำคัญ วิธีนี้ยังช่วยจำลองสถานการณ์จริงของการนำไปใช้งาน เพราะ AI นั้นต่างจากซอฟต์แวร์เว็บหรือมือถือที่พัฒนาเสร็จแล้วสามารถใช้งานได้ทันที AI จำเป็นต้องมีการปรับปรุงอย่างต่อเนื่อง ซึ่งเป็นหัวใจสำคัญของความสำเร็จในระยะยาว

6. ประเมินความสามารถในการทำงานร่วมกันและการปรับแต่งโซลูชัน

ระหว่างกระบวนการ POC องค์กรไม่ควรพิจารณาเพียงประสิทธิภาพของ AI เท่านั้น แต่ควรประเมินความสามารถของผู้ให้บริการในด้านอื่น ๆ ประกอบด้วยดังต่อไปนี้

  • การทำงานร่วมกันกับทีมขององค์กรได้อย่างราบรื่น

  • การนำข้อเสนอแนะไปปรับปรุงโซลูชัน เพื่อให้เหมาะสมกับความต้องการขององค์กร

  • การให้การสนับสนุนทางเทคนิคและความเชี่ยวชาญในอุตสาหกรรม รวมถึงความเข้าใจในเชิงธุรกิจ

  • การอธิบายกระบวนการทำงานของ AI ในรูปแบบที่ทีมขององค์กรสามารถเข้าใจได้ และสอดคล้องกับบริบททางธุรกิจ

การประเมินปัจจัยเหล่านี้ช่วยให้องค์กรเลือกผู้ให้บริการที่ไม่เพียงแค่พัฒนา AI ได้ดี แต่ยังสามารถทำงานร่วมกันและสนับสนุนการใช้งานในระยะยาวได้อย่างมีประสิทธิภาพ

7. ตัดสินใจโดยอิงจากข้อมูล (Data-Driven Decision)

เมื่อสิ้นสุดกระบวนการ POC ที่วัดผลได้จริง ทีมผู้ตัดสินใจจากหลาย ๆ ฝ่ายก็จะมีข้อมูลครบถ้วนในการเลือกผู้ให้บริการ AI ที่เหมาะสมที่สุด โดยพิจารณาจาก

  • โซลูชัน AI ใดให้ผลลัพธ์ดีที่สุดเมื่อนำไปใช้กับข้อมูลที่มีอยู่จริง และเข้าใจได้ว่าเหตุใดจึงทำงานได้ดี

  • ผู้ให้บริการรายใดทำงานร่วมกันได้ง่ายที่สุดและพัฒนาตามข้อเสนอแนะได้ดีที่สุด

  • ผู้ให้บริการรายใดสามารถปรับแต่ง AI ให้เหมาะกับความต้องการเฉพาะของธุรกิจได้

  • ผู้ให้บริการรายใดเปิดกว้างต่อการแข่งขันและพัฒนาโซลูชันอย่างต่อเนื่อง แทนที่จะหลีกเลี่ยงการเปรียบเทียบ

  • ผู้ให้บริการรายใดเป็นพาร์ทเนอร์ที่ทำให้มั่นใจได้ว่าจะมุ่งมั่นให้โซลูชันของตัวเองฉลาดขึ้นตลอดระยะเวลาการใช้งาน

การใช้ข้อมูลในการตัดสินใจช่วยให้องค์กรเลือกพาร์ทเนอร์ AI ที่เหมาะสมที่สุดสำหรับการใช้งานในระยะยาวได้

ทำไม POC ที่วัดผลได้จึงเป็นแนวทางที่ให้ผลลัพธ์ชัดเจน?

โลกของ AI และ Data แตกต่างจากโลกของ IT ที่เน้นฮาร์ดแวร์หรือซอฟต์แวร์เว็บที่มีความคงที่ การประเมินแนวทางและการเลือกผู้ให้บริการจึงต้องใช้วิธีคิดที่แตกต่างออกไป การใช้กระบวนการประเมินที่มีโครงสร้างชัดเจน ครอบคลุม และขับเคลื่อนด้วยข้อมูล ช่วยลดความเสี่ยงในการเลือกผู้ให้บริการจากปัจจัยที่ไม่น่าเชื่อถือ เช่น สื่อการตลาด ความสัมพันธ์เก่า การนำเสนอที่ดูดีแต่ขาดหลักฐานรองรับ หรือแม้แต่การทุจริตได้ 

ในโลกของ AI และ Data ผลกระทบจากการตัดสินใจที่ผิดพลาดอาจรุนแรงกว่าซอฟต์แวร์ทั่วไป ดังนั้นการมีระบบประเมินที่โปร่งใสและอิงจากข้อมูลจริง ช่วยป้องกันความไม่เท่าเทียมของข้อมูลระหว่างองค์กรและผู้ให้บริการ ซึ่งลดโอกาสที่องค์กรจะถูกชักนำโดยข้อมูลที่ไม่ถูกต้องหรือการกล่าวอ้างเกินจริงได้ 

นอกจากนี้วิธีการนี้ยังช่วยให้มั่นใจว่า ผู้ให้บริการ AI ที่เลือกไม่เพียงแค่มีเทคโนโลยีที่เหนือกว่า แต่ยังสอดคล้องกับ

แนวทางการดำเนินงานและกลยุทธ์ขององค์ก โดยมีแนวคิดเป็นพาร์ทเนอร์ะยะยาวมากกว่าผู้ให้บริการที่จบงานแล้วจากไป อีกทั้งยังช่วยป้องกันไม่ให้องค์กรใช้จ่ายเกินความจำเป็นเพื่อให้ได้ผลลัพธ์ที่ต้องการ

การใช้กระบวนการ POC ที่วัดผลได้ ช่วยให้องค์กรลงทุนในโซลูชัน AI ได้อย่างมั่นใจ ขับเคลื่อนมูลค่าทางธุรกิจที่แท้จริงและสร้างรากฐานที่แข็งแกร่งสำหรับความสำเร็จของ AI ในระยะยาว


Comments


Have a project in mind?

bottom of page