แชร์ผ่าน


ออกแบบกลยุทธ์การทดสอบสําหรับเจ้าหน้าที่ของคุณ

กลยุทธ์การทดสอบที่วางแผนไว้อย่างดีช่วยลดความเสี่ยงที่ตัวแทนจะล้มเหลวในการผลิต ถือว่าการทดสอบเป็นกระบวนการต่อเนื่องตลอดวงจรชีวิตของตัวแทน สร้างการทดสอบเพื่อตรวจสอบว่าฟังก์ชันหลักของเอเจนต์ทํางานตามที่ตั้งใจไว้ จากนั้นตรวจสอบความถูกต้องของการเปลี่ยนแปลงเพื่อให้แน่ใจว่าจะไม่ทําให้เกิดการถดถอย เรียกใช้การทดสอบก่อนปรับใช้กับสภาพแวดล้อมการใช้งานจริงเสมอ และพิจารณารวมการทดสอบอัตโนมัติเป็นส่วนหนึ่งของไปป์ไลน์การปรับใช้ของคุณ

กลยุทธ์การทดสอบตัวแทนที่คิดมาอย่างดีประกอบด้วยองค์ประกอบต่อไปนี้:

ประเภทการทดสอบ คำอธิบาย
การทดสอบเวลาในการพัฒนา การทดสอบหน่วยของส่วนประกอบแต่ละชิ้นในระหว่างขั้นตอนการสร้าง
การทดสอบสถานการณ์หลัก ตรวจสอบสถานการณ์ "เส้นทางที่มีความสุข" สําหรับฟังก์ชันการทํางานของตัวแทนหลักเพื่อยืนยันว่าผลลัพธ์มีความน่าเชื่อถือ
การทดสอบความรู้ ประเมินความรู้ของตัวแทนเกี่ยวกับโดเมนด้วยคําถามเฉพาะ
การทดสอบการถดถอย ทดสอบกรณีทดสอบก่อนหน้านี้อีกครั้งเมื่อมีการเปลี่ยนแปลงเพื่อให้แน่ใจว่ายังคงทํางานได้ตามที่คาดไว้
การทดสอบแบบปฏิปักษ์ ลองใช้กรณีพิเศษ การสืบค้นที่ไม่ทราบเจตนา หรือข้อมูลเท็จ
การทดสอบประสิทธิภาพและโหลด จําลองการสืบค้นปริมาณมากเพื่อประเมินเวลาแฝงและความสามารถในการปรับขนาดในขณะที่ตรวจสอบเวลาตอบสนองภายใต้ความเครียด เรียนรู้เพิ่มเติมใน วางแผนและสร้างการทดสอบประสิทธิภาพสําหรับตัวแทนการสนทนา
การทดสอบความปลอดภัยและการปฏิบัติตามข้อกําหนด ตรวจสอบความถูกต้องของการควบคุมการเข้าถึงตามบทบาท (RBAC) การเข้าถึงแบบมีเงื่อนไข และการบังคับใช้ป้ายชื่อระดับความลับ พร้อมทั้งมั่นใจได้ว่าไม่มีข้อมูลที่เป็นความลับรั่วไหล
การทดสอบการเข้าถึงและ UX ตรวจสอบความชัดเจน น้ําเสียง และความครอบคลุมในการตอบกลับ และตรวจสอบมาตรฐานการสนับสนุนหลายภาษาและการเข้าถึง

พิจารณาหลักการทั่วไปเหล่านี้เพื่อปรับปรุงวิธีการทดสอบโดยรวม:

  • การทดสอบแบบเลื่อนซ้าย: เริ่มตั้งแต่เนิ่นๆ ระหว่างการพัฒนาและดําเนินการต่อตลอดการปรับใช้
  • ทําซ้ําและกําหนด: อัปเดตกรณีทดสอบเมื่อมีการเพิ่มคุณลักษณะหรือความรู้ใหม่
  • ทดสอบก่อนการผลิต: ตรวจสอบความถูกต้องในสภาพแวดล้อมการแสดงละครก่อนเริ่มใช้งานจริงเสมอ
  • ทําให้เป็นอัตโนมัติหากเป็นไปได้: รวมการทดสอบอัตโนมัติเข้ากับไปป์ไลน์ CI/CD เพื่อความสอดคล้องกัน

ประเมินตัวแทนใน Copilot Studio

ใน Copilot Studio คุณสามารถ สร้างชุดทดสอบ กรณีทดสอบเพื่อประเมินประสิทธิภาพของตัวแทนของคุณได้ คุณสามารถสร้างคําถามทดสอบด้วยตนเองหรือสร้างคําถามจากคําแนะนํา ความสามารถ และความรู้ของตัวแทน คุณยังสามารถเติมคําถามทดสอบจากการสนทนาแชททดสอบที่ผ่านมาภายใน Copilot Studio ได้อีกด้วย

วิธีการประเมินที่รวมอยู่ใน Copilot Studio ในปัจจุบันคือ:

  • วิธีทดสอบการจับคู่ข้อความ: ตรวจสอบว่าข้อความตรงกันทุกประการหรือมีการจับคู่บางส่วนหรือคําหรือวลีที่เฉพาะเจาะจง
  • วิธีทดสอบความคล้ายคลึงกัน: เปรียบเทียบความคล้ายคลึงกันของการตอบสนองของตัวแทนกับการตอบสนองที่คาดหวัง วิธีนี้มีประโยชน์เมื่อมีหลายวิธีที่ถูกต้องในการเขียนคําตอบ แต่ความหมายโดยรวมเหมือนกัน
  • วิธีการทดสอบคุณภาพ: กําหนดคุณภาพทั่วไปของการตอบสนองของตัวแทนโดยใช้เกณฑ์หลัก เช่น ความเกี่ยวข้อง ความมีเหตุผล ความสมบูรณ์ และการงดเว้น หรือเปรียบเทียบความหมายของคําตอบของตัวแทนกับการตอบสนองที่คาดหวังสําหรับความคล้ายคลึงกันของเจตนา

ทําการทดสอบจํานวนมากโดยใช้ Copilot Studio Kit

Copilot Studio Kit ประกอบด้วยชุดการทดสอบอัตโนมัติที่ช่วยให้ผู้สร้างสามารถทดสอบความแม่นยําของตัวแทนได้ตามขนาด คุณสามารถกําหนดค่าการทดสอบแต่ละรายการได้โดยการระบุคําพูดของผู้ใช้ที่คาดไว้ การตอบสนองของตัวแทน และการเลือกประเภทการทดสอบ คุณสามารถจัดกลุ่มการทดสอบหลายรายการเป็นชุดทดสอบที่คุณสามารถกําหนดให้กับตัวแทนเป็นส่วนหนึ่งของการทดสอบได้

ปัจจุบัน Copilot Studio Kit รองรับ การทดสอบประเภทต่างๆ เช่น การจับคู่การตอบสนอง การจับคู่หัวข้อ และหลายเทิร์น

ดําเนินการตรวจสอบความปลอดภัยและการปฏิบัติตามข้อกําหนด

  • นโยบายข้อมูลและการตรวจสอบ RBAC: ตรวจสอบให้แน่ใจว่านโยบายระดับสภาพแวดล้อม บทบาท และการเชื่อมต่อได้รับการกําหนดค่าอย่างถูกต้องในสภาพแวดล้อมการผลิตและมีการเปิดใช้งานนโยบายข้อมูลที่ถูกต้อง

  • การจัดการ Azure: ตรวจสอบและอนุมัติการลงทะเบียนแอปแบบรวม, VNets, คีย์ และตำแหน่งข้อมูลใน Azure สำหรับทรัพยากรการทำงานจริงของคุณ

  • แหล่งความรู้และข้อมูลการผลิต: ตรวจสอบให้แน่ใจว่าแหล่งข้อมูลองค์ความรู้การผลิตทั้งหมด (ตัวอย่างเช่น ไลบรารี SharePoint) และเอกสารการผลิตได้รับการอ้างอิงอย่างเหมาะสมสําหรับตัวแทนการผลิต โดยเฉพาะอย่างยิ่งถ้าคุณใช้แหล่งข้อมูลอื่นในระหว่างการพัฒนาและการทดสอบ

ขั้นตอนถัดไป

เรียนรู้วิธีจัดแพคเกจ กําหนดเวอร์ชัน และย้ายตัวแทนของคุณอย่างน่าเชื่อถือในสภาพแวดล้อมต่างๆ โดยใช้แนวทางปฏิบัติ Application Lifecycle Management (ALM) ที่มีโครงสร้าง