Mẹo phát hiện lỗi: Cách đánh giá những gì agent đưa cho bạn

Ở Bài 4, bạn đã thiết lập các chốt kiểm duyệt bởi con người tại những bước không thể đảo ngược. Tuy nhiên, phê duyệt đồng nghĩa với việc phải xem xét kỹ lưỡng - và đây chính là điểm khó: Một AI agent không thất bại bằng cách hiển thị đèn báo lỗi màu đỏ. Thay vào đó, nó đưa cho bạn một kết quả được trình bày chỉn chu, đầy tự tin, nhưng lại hoàn toàn sai lệch. Bài học này sẽ hướng dẫn bạn cách phát hiện ra những trường hợp như vậy.

Những người trực tiếp giám sát các agent hàng ngày nhận định thẳng thắn rằng: Những agent hiện nay giống như "một nhân viên tồi nhưng vẫn biết cách làm hài lòng sếp" - chúng hiếm khi thừa nhận sự không chắc chắn, âm thầm chọn những lối tắt, và quan trọng nhất là chúng đưa ra thông tin sai lệch với cùng một giọng điệu tự tin như khi chúng đưa ra thông tin chính xác. Nếu một người quản lý bận rộn chỉ lướt qua nhanh, họ rất dễ lầm tưởng rằng kết quả sai sót đó hoàn toàn ổn. Vì vậy, thói quen cốt lõi cần hình thành qua bài học này gói gọn trong một câu: Hãy kiểm tra nội dung công việc, đừng để sự tự tin đánh lừa bạn.

Sau khi hoàn thành bài học này, bạn sẽ có thể:

• Nhận diện 4 kiểu lỗi âm thầm diễn ra trong kết quả đầu ra của các agent.
• Thực hiện quy trình kiểm tra nhanh, tập trung vào những nơi mà lỗi sai thường ẩn giấu.

4 kiểu thất bại âm thầm

Hầu hết các kết quả đầu ra dù được trình bày chỉn chu nhưng vẫn sai sót đều rơi vào một trong 4 kiểu này. Hãy học cách gọi tên chúng, và bạn sẽ bắt đầu nhận ra chúng dễ dàng hơn.

Thông tin quan trọng đầu tiên: Hầu hết các ảo giác của agent là do lỗi ngữ cảnh, chứ không phải lỗi mô hình. Agent không có dữ liệu chính xác, quy tắc kinh doanh hoặc định nghĩa chung - vì vậy nó đã lấp đầy khoảng trống bằng một phỏng đoán đầy tự tin. Điều đó cho bạn biết nên tìm ở đâu khi có điều gì đó không ổn: Các dữ liệu đầu vào và những khoảng trống, chứ không chỉ là cách diễn đạt.

Phân loại xác thực: Nên tập trung vào đâu

Bạn không thể làm lại toàn bộ mọi thứ mà agent tạo ra - điều đó sẽ làm mất đi mục đích. Kỹ năng nằm ở việc sử dụng thời gian xem xét hạn chế của bạn vào những việc quan trọng. Phân loại bất kỳ kết quả đầu ra nào thành 3 loại:

1. Có thể kiểm chứng khách quan - những sự thật đơn giản là đúng hoặc sai. Một tổng số khớp hoặc không khớp; một ngày tháng hợp lệ hoặc không. Xác minh một cách tự động, nhanh chóng.
2. Có thể tra cứu - những sự thật bạn có thể xác nhận dựa trên một nguồn. Một mức giá bạn có thể kiểm tra so với bảng giá; một tuyên bố bạn có thể kiểm tra so với tài liệu gốc. Kiểm tra ngẫu nhiên so với nguồn.
3. Quyết định mang tính chủ quan - sắc thái, chiến lược, sự phù hợp, giọng điệu cho một tình huống tế nhị. Không có nguồn để kiểm tra; nó cần một người có bối cảnh. Đây là nơi bạn cần tập trung sự chú ý của chuyên gia.

Cạm bẫy, đặc biệt là khi có hạn chót: AI rất giỏi trong bước tạo ra dữ liệu và hầu như không ai thực hiện bước xác thực. Một trường hợp thực tế đã gây thiệt hại cho một nhóm - một nhóm sử dụng agent để tạo ra dữ liệu, và một nhóm khác ở khâu tiếp theo bắt đầu đưa ra các quyết định thực tế dựa trên dữ liệu đó, mà không ai kiểm tra xem nó có đúng hay không. Việc tạo ra dữ liệu thì rẻ và dễ thấy; việc xác thực là bước nhàm chán thường bị bỏ qua. Nhiệm vụ của bạn với tư cách là người giám sát là đảm bảo việc xác thực diễn ra - và biết mỗi kết quả đầu ra thuộc loại nào trong ba loại trên.

Quy trình xem xét nhanh

Khi một agent đưa cho bạn thứ gì đó, hãy thực hiện quy trình này trong vòng chưa đầy một phút:

1. Tìm ra yêu cầu rủi ro nhất. Sự thật hoặc hành động nào, nếu sai, sẽ gây ra thiệt hại lớn nhất? Kiểm tra điều đó trước tiên.
2. Xác minh, đừng cảm tính. Đối với yêu cầu đó: Nó có thể kiểm tra khách quan (làm lại), có thể tra cứu (kiểm tra nguồn) hay là một quyết định dựa trên phán đoán (sử dụng chuyên môn của bạn)? Đừng chấp nhận nó chỉ vì nó nghe có vẻ đúng.
3. Kiểm tra sự thay đổi. Agent chỉ làm những gì bạn yêu cầu, hay đã âm thầm thay đổi hoặc thêm vào những thứ khác? Những công việc "hữu ích" thêm vào là một dấu hiệu đáng báo động.
4. Kiểm tra ngày tháng và nguồn gốc. Các con số đến từ đâu và chúng có còn cập nhật không? Thông tin cũ nhưng có thật là điều dễ bỏ sót nhất.
5. Hãy nghi ngờ những phần tự tin nhất. Những tuyên bố nghe có vẻ mượt mà và chắc chắn nhất là những tuyên bố cần được kiểm tra lại - sự tự tin thái quá là nơi ẩn chứa những thất bại thầm lặng.

Và hãy tự quan sát bản thân, không chỉ người thực hiện: Thiên kiến ​​tự động hóa là xu hướng của con người quá tin tưởng vào máy móc và chấp nhận kết quả đầu ra mà không cần xem xét kỹ lưỡng - mạnh nhất chính xác khi kết quả đầu ra trông bóng bẩy. Trong các nghiên cứu về công việc được hỗ trợ bởi AI, 36% người đã bỏ qua hoàn toàn việc kiểm tra chất lượng và 18% đặt niềm tin mù quáng vào kết quả đầu ra; đa số gọi kết quả đầu ra là "nhanh nhưng có lỗi". Sự bóng bẩy chính là cái bẫy. Việc gọi tên thiên kiến ​​này giúp bạn chống lại nó.

Tại sao việc phát hiện sớm lại quan trọng?

Trong quy trình làm việc nhiều bước của người thực hiện, đầu ra của mỗi bước trở thành đầu vào của bước tiếp theo. Vì vậy, lỗi không chỉ dừng lại ở đó - chúng nhân lên. Nếu một agent có độ chính xác khoảng 85% mỗi bước, thì một chuỗi 10 bước chỉ thành công khoảng 20% ​​thời gian. Một con số sai sót ngay từ đầu có thể âm thầm làm hỏng mọi bước tiếp theo, và một giả định sai lầm duy nhất có thể dẫn đến hàng trăm hành động tự động trước khi bất kỳ ai nhận ra. Đó là lý do tại sao cần phải xem xét lại ở đúng checkpoint (Bài học 4) và xem xét lại một cách kỹ lưỡng (bài học này) - bạn đang ngăn chặn một lỗi nhỏ trước khi nó trở thành một lỗi lớn.

Thử ngay: Xây dựng danh mục kiểm tra cho kết quả từ AI

Hãy đóng vai trò là huấn luyện viên hỗ trợ tôi kiểm tra kết quả từ AI. Tôi là một quản lý không chuyên về kỹ thuật, người cần xem xét và phê duyệt các nội dung do AI agent tạo ra. Hãy giúp tôi xây dựng một danh mục kiểm tra nhanh, có thể tái sử dụng.

Kết quả từ AI mà tôi cần kiểm tra:
- Nội dung AI tạo ra: [ví dụ: "bản nháp phản hồi email khách hàng", "báo cáo tóm tắt về đối thủ cạnh tranh hàng tuần", "các hóa đơn đã đối chiếu sẵn sàng để thanh toán"]
- Sai sót nghiêm trọng nhất có thể ẩn giấu trong kết quả này là: [ví dụ: "số tiền hoàn lại không chính xác", "số liệu thống kê bịa đặt", "giá cả đã lỗi thời"]

Yêu cầu thực hiện:
1. Liệt kê các yếu tố cụ thể trong kết quả này dễ xảy ra lỗi tiềm ẩn nhất; phân loại từng lỗi là: ảo giác, chệch khỏi phạm vi, dữ liệu lỗi thời, hoặc tự tin thái quá.
2. Sắp xếp các mục cần kiểm tra theo phân loại xác thực: Có thể kiểm chứng khách quan, cần tra cứu, hoặc đòi hỏi sự đánh giá cá nhân - đồng thời hướng dẫn cách kiểm tra nhanh từng mục.
3. Đề xuất quy trình kiểm tra gồm 5 bước, thực hiện trong dưới 60 giây, được thiết kế riêng cho loại kết quả này, bắt đầu bằng việc kiểm tra khẳng định rủi ro nhất.
4. Thêm một lưu ý nhắc nhở tôi cần hoài nghi những phần có giọng điệu tự tin nhất, đồng thời cảnh giác nếu AI thực hiện nhiều hơn phạm vi tôi yêu cầu.

Không cần code lập trình. Hãy trình bày sao cho tôi có thể ghim ngay bên cạnh màn hình làm việc.

Hãy mô tả chính xác kết quả mà bạn cần phê duyệt và sai sót tồi tệ nhất có thể xảy ra. Kịch bản xấu nhất càng sát với thực tế, danh mục kiểm tra của bạn càng hiệu quả.

Những gì bạn sẽ nhận được: Một danh sách tùy chỉnh các lỗi tiềm ẩn thường gặp (phân loại theo từng nhóm), các mục cần kiểm tra kèm hướng dẫn xác thực, và một quy trình kiểm tra nhanh dưới 60 giây mà bạn có thể tái sử dụng mỗi khi cần.

Cách sử dụng kết quả này: Hãy ghim nó tại nơi bạn thực hiện các thao tác phê duyệt. Hãy áp dụng ngay cho kết quả tiếp theo mà AI gửi đến bạn - đây chính là bài kiểm tra thực tế đầu tiên cho nguyên tắc: "Kiểm tra nội dung công việc, đừng để bị đánh lừa bởi sự tự tin của AI".

Nếu quá chung chung, hãy thêm một ví dụ thực tế về kết quả đầu ra và yêu cầu hệ thống đánh giá mẫu cụ thể đó. Nếu hệ thống quá tập trung vào một loại lỗi, hãy yêu cầu nó bao gồm cả bốn loại.

Những điểm chính cần ghi nhớ

• Các agent thường gây ra lỗi âm thầm - tự tin, hoàn hảo, sai, không có lỗi. Hãy kiểm tra công việc, chứ không phải sự tự tin.
• 4 lỗi âm thầm: Ảo tưởng, lệch phạm vi, dữ liệu lỗi thời, quá tự tin. Hãy gọi tên chúng để dễ nhận ra.
• Hầu hết các ảo tưởng là lỗi ngữ cảnh - thiếu dữ liệu, quy tắc hoặc định nghĩa. Hãy xem xét các dữ liệu đầu vào và những khoảng trống.
• Sử dụng phân loại xác thực. Các mục có thể kiểm tra và tra cứu một cách khách quan sẽ được xác minh nhanh chóng; những quyết định mang tính chủ quan sẽ nhận được sự chú ý của chuyên gia.
• Cẩn thận với sự thiên vị của tự động hóa và sự tích lũy lỗi. Kết quả đầu ra hoàn hảo dễ dẫn đến sự tin tưởng thái quá, và một lỗi ban đầu sẽ nhân lên qua mọi bước sau đó - hãy phát hiện lỗi sớm.