Sau khi dạy ChatGPT, Claude và Gemini một điều sai sự thật, bạn có thể xóa bỏ không?

Đến giờ, chắc hẳn bạn đã quen thuộc (và mệt mỏi) với việc các công cụ AI bịa đặt mọi thứ và tự tin trình bày chúng theo cách khiến bạn phải nghi ngờ nhân sinh. Vậy tại sao không đảo ngược tình thế? Thay vì bắt quả tang AI nói dối, hãy thử dạy Claude, ChatGPT và Gemini một điều sai sự thật và xem việc rút lại điều đó khó đến mức nào một khi nó đã ăn sâu vào tiềm thức.

Mọi công cụ AI hiện nay đều có một phiên bản bộ nhớ nào đó.

Khi các công cụ AI vẫn còn trong giai đoạn "trăng mật", chúng không giỏi trong việc cá nhân hóa. Tất cả những gì bạn thực sự có thể làm là bắt đầu một cuộc trò chuyện mới, đưa vào bất kỳ ngữ cảnh nào mà mô hình cần, và bạn sẽ nhận được câu trả lời được định hình hoàn toàn bởi cuộc trò chuyện đó. Trong phần lớn thời gian, mỗi phiên bạn bắt đầu đều gần như từ con số không, và bạn là người nhắc nhở LLM bạn là ai, bạn làm gì và những gì bạn đã nói với nó hàng chục lần trước đó. Điều đó không còn đúng nữa. Các phòng thí nghiệm AI đã tập trung rất nhiều nỗ lực vào việc cải thiện khả năng cá nhân hóa, và bộ nhớ là trọng tâm của nỗ lực đó.

Cả ba trợ lý lớn (ChatGPT, Claude và Gemini) chắc chắn thuộc loại này, và tất cả chúng đều đã tích hợp một số dạng bộ nhớ bền vững trong năm qua. Tuy nhiên, chúng không thực hiện điều đó theo cùng một cách. Ví dụ, ChatGPT duy trì một bản tóm tắt bộ nhớ — một cái nhìn tổng quan về những gì nó đã thu thập được về bạn, được cập nhật tự động khi bạn trò chuyện. Tuy nhiên, OpenAI nói rõ rằng bản tóm tắt này không hiển thị tất cả mọi thứ nó nhớ, và bên dưới đó là một sự tổng hợp rộng hơn được rút ra từ các cuộc trò chuyện trước đây của bạn.

Claude cũng lưu giữ một bản tóm tắt bộ nhớ, nhưng nó sắp xếp những gì nó lưu trữ thành các danh mục được gắn nhãn như Profile, Education, Food và Reading. Đây đều là những ký ức mà Claude tạo ra từ các cuộc trò chuyện của bạn, và bạn có thể mở, chỉnh sửa hoặc xóa từng mục riêng lẻ. Nó cũng có một tính năng riêng biệt cho phép nó tìm kiếm lại các cuộc trò chuyện trước đây của bạn, nhưng tính năng đó khác với bộ nhớ.

Gemini hoạt động khác biệt hơn nữa. Nó không cung cấp cho bạn bản tóm tắt bộ nhớ để đọc. Trong cài đặt Personal Intelligence, có một nút chuyển đổi Memory "học hỏi từ các cuộc trò chuyện trước đây của bạn", một phần Connected Apps và một không gian để viết các hướng dẫn thường trực của riêng bạn, nhưng không có nơi nào để thực sự xem những gì nó đã kết luận về bạn. Những gì nó biết được suy luận từ các cuộc trò chuyện trước đây và hoạt động của bạn trên Google.

Sẽ ra sao nếu bạn dạy ChatGPT, Claude và Gemini một điều sai sự thật?

Ý tưởng ở đây là nói với mỗi trợ lý ảo một điều sai về bản thân bạn, rồi xem việc rút lại lời nói dối đó khó đến mức nào. Ví dụ chọn một sự thật và sử dụng nó giống hệt nhau trên cả 3 nền tảng: Tác giả yêu thích là Carley Fortune (thực tế thì không phải vậy).

Để gieo mầm lời nói dối, đừng thông báo về những gì đang được thử nghiệm, và không sử dụng nút "ghi nhớ điều này" hay trường hướng dẫn. Thay vào đó, hãy đưa nó vào giữa một cuộc trò chuyện bình thường về chuyến đi đang được lên kế hoạch, chỉ đề cập một cách tình cờ rằng Carley Fortune là tác giả yêu thích.

Hãy làm như vậy một cách có chủ đích. Không ai thực sự mở cài đặt của họ và nhập thông tin về bản thân một cách chính thức để AI lưu trữ, và bộ nhớ thực sự được xây dựng từ những lời nhận xét bâng quơ. Cả ChatGPT và Claude đều ngay lập tức cập nhật bộ nhớ của mình về tác giả yêu thích.

ChatGPT đã lưu trữ nó vào bản tóm tắt bộ nhớ của nó:

Claude đã thêm nó như một gạch đầu dòng trong danh mục "Reading".

Gemini không hiển thị bất kỳ mục bộ nhớ nào có thể nhìn thấy trong cài đặt của nó, vì nó không lưu giữ bản tóm tắt bộ nhớ có thể đọc được như hai ứng dụng kia. Những gì nó ghi lại được lưu trong lịch sử trò chuyện trước đó chứ không phải là một danh sách bạn có thể mở, vì vậy không có gì để xem ở đây.

Bước tiếp theo là kiểm tra xem điều gì đã được ghi nhớ và xóa bỏ nó

Sau khi đã gieo rắc lời nói dối, đã đến lúc kiểm tra xem mỗi công cụ AI có nhớ nó hay không. Vì vậy, trước khi thay đổi bất kỳ cài đặt nào, hãy mở một cuộc trò chuyện hoàn toàn mới với từng công cụ và hỏi một câu hỏi đơn giản nhất: Tác giả yêu thích là ai? Cả ba đều trả lời Carley Fortune không chút do dự. Thông tin này được ghi nhớ một cách trơn tru từ một câu nói bâng quơ trong một cuộc trò chuyện không liên quan, đó chính xác là những gì bộ nhớ được cho là sẽ thực hiện.

Hóa ra, việc ghi nhớ rất dễ dàng, còn việc khiến mỗi công cụ xóa bỏ thông tin đó một cách đáng tin cậy, theo cách thực sự có hiệu quả, mới là phần khó, và cả ba đều thất bại theo những cách khác nhau. Bắt đầu theo cách cổ điển, chỉ đơn giản nói với mỗi công cụ rằng nó sai theo cùng một cách mà bạn đã gieo rắc lời nói dối.

Actually, Carley Fortune isn't my favorite author.

Thực ra, Carley Fortune không phải là tác giả yêu thích của tôi.

Trên cả Claude và ChatGPT, sau khi mở một cuộc trò chuyện mới khác, hỏi tác giả yêu thích là ai, câu trả lời nhận được ngay lập tức vẫn là Carley Fortune. Lời đính chính đã được ghi nhận ngay lúc đó nhưng không thay đổi gì bên trong. Gemini lại là ngoại lệ đáng ngạc nhiên ở đây. Sau khi nói với nó rằng Carley Fortune không phải là tác giả yêu thích, một cuộc trò chuyện sau đó đã chính xác nói rằng nó không có thông tin về tác giả yêu thích và ghi nhận rằng Carley Fortune không phải là tác giả yêu thích.

Điều thực sự khiến Claude và ChatGPT thay đổi suy nghĩ là việc nói thẳng thắn và lặp lại lời mình. Thay vì chỉ khẳng định một lần rằng tác giả yêu thích không phải là Carley Fortune rồi bỏ qua, cần phải nói trực tiếp và nhiều hơn một lần. Sau đó, hỏi lại từng công cụ xem tác giả yêu thích là ai, và lần này cả hai đều bỏ Carley Fortune, nói rằng chúng không còn lưu thông tin về tác giả yêu thích nữa. Sự sửa sai kiên quyết và lặp đi lặp lại sẽ có tác dụng hơn là lời nói qua loa.

Tiếp theo, hãy kiểm tra trực tiếp cài đặt bộ nhớ để xác nhận rằng các công cụ đã thực sự xóa những gì chúng tuyên bố. Claude đã cập nhật mục nhập của nó, nhưng không phải chỉ đơn giản là xóa bỏ thông tin. Danh mục "Reading" giờ đây có một dòng ghi rằng Carley Fortune không phải là tác giả yêu thích.

ChatGPT lại là một câu chuyện khác. Trong cuộc trò chuyện, ChatGPT vừa nói rằng nó không còn biết tác giả yêu thích nữa. Tuy nhiên, phần tóm tắt bộ nhớ của nó vẫn ghi rằng tác giả yêu thích là Carley Fortune.

Lý do ChatGPT trả lời chính xác trong một cuộc trò chuyện mới là vì nó cũng dựa vào các cuộc trò chuyện trước đó. Vì lỗi đã được sửa trong những cuộc trò chuyện gần đây, nên nó đã lấy câu trả lời cập nhật từ đó, trong khi phần tóm tắt được lưu trữ vẫn không thay đổi và vẫn ghi là Carley Fortune.

Phương án giải quyết triệt để là xóa các cuộc trò chuyện gốc. Sau khi các cuộc trò chuyện thảo luận về Carley Fortune bị xóa (và phần tóm tắt chưa bao giờ được viết lại đúng cách), ChatGPT lại ngay lập tức ghi tên cô ấy là tác giả yêu thích. Lời nói dối ban đầu lại xuất hiện ngay khi nó bị loại bỏ khỏi lịch sử trò chuyện. Phải mất vài lần sửa lỗi rõ ràng, trải dài trên nhiều cuộc trò chuyện riêng biệt, thì thay đổi mới thực sự được lưu lại trong bộ nhớ.

Với Gemini, vì bạn không thể xem bộ nhớ trong bất kỳ bảng cài đặt nào, nên không có cách nào chắc chắn để xác nhận những gì nó thực sự đã lưu trữ hoặc liệu có bất cứ điều gì đã thực sự bị xóa hay chưa. Tất cả những gì có thể làm là xóa các cuộc trò chuyện trước đây có nhắc đến Carley Fortune và sau đó thử lại trong một cuộc trò chuyện mới để xem nó nói gì.

Nó hoạt động như mong đợi và lời nói dối đã được xóa bỏ thành công.

Kết luận cuối cùng

Nếu có một điều mà thí nghiệm này làm rõ, thì đó là việc khiến AI nhớ điều gì đó dễ hơn nhiều so với việc khiến nó quên đi. Cả ba công cụ đều tiếp nhận một thông tin sai lệch từ một lời nhận xét bâng quơ, và sau đó khiến bạn phải mất công để sửa chữa.

Claude là công cụ minh bạch nhất và cập nhật bộ nhớ nhanh nhất. Nó không xóa sạch như mong đợi, nhưng dù sao thì nó cũng đã hoàn thành tốt nhiệm vụ.

ChatGPT là công cụ khó xác định nhất. Những gì nó nói trong cuộc trò chuyện và những gì được lưu trữ trong bản tóm tắt có thể là hai điều khác nhau, và nó dựa vào các cuộc trò chuyện trước đây của bạn đủ nhiều đến mức một lần sửa chữa có vẻ thành công trong khi bộ nhớ cơ bản vẫn sai. Nó là công cụ duy nhất quay trở lại lời nói dối ban đầu, và cần phải sửa chữa nhiều lần trên nhiều cuộc trò chuyện khác nhau trước khi sự thay đổi thực sự được phản ánh trong bản tóm tắt bộ nhớ.

Mặc dù có tùy chọn chỉnh sửa trực tiếp trong phần tóm tắt bộ nhớ của cả Claude và ChatGPT, nhưng không ai muốn làm theo cách thủ công. Mục đích chính là để xem liệu các công cụ này có thực sự quên khi bạn sửa lỗi theo cách mà hầu hết mọi người vẫn làm, thay vì phải tìm hiểu sâu vào cài đặt hay không.

Gemini là ứng dụng khó hiểu nhất. Không có phần tóm tắt bộ nhớ để kiểm tra, vì vậy bạn chỉ có thể suy luận những gì nó biết từ cách nó trả lời. Việc sửa lỗi trong cuộc trò chuyện hiệu quả hơn so với hai ứng dụng còn lại, vì vậy nó chắc chắn đã giành chiến thắng một cách thuyết phục. Tuy nhiên, mặc dù hoạt động tốt trong thử nghiệm này, nhưng Gemini cũng có bộ nhớ và các tùy chọn cá nhân hóa yếu nhất trong số các ứng dụng.

Vì không có bản tóm tắt nào để mở, không có danh sách các mục và không có gì bạn có thể chỉnh sửa trực tiếp, lựa chọn duy nhất của bạn là xóa cuộc trò chuyện gốc và hy vọng bạn đã tìm thấy thông tin đó ở mọi nơi. Điều đó hiệu quả khi thông tin chỉ đến từ một cuộc trò chuyện duy nhất mà bạn có thể tìm thấy, nhưng nó sẽ khiến bạn mất rất nhiều thông tin khi mọi thứ trở nên phức tạp hơn, hoặc đơn giản là bạn muốn biết Gemini đã quyết định thế nào về mình.