Nâng cao khả năng ElevenAgents bằng cơ sở kiến thức quy mô lớn sử dụng RAG

Nâng cao khả năng lực cho agent của bạn với các cơ sở kiến thức lớn sử dụng RAG.

Tổng quan

Retrieval-Augmented Generation (RAG) cho phép agent của bạn truy cập và sử dụng các cơ sở kiến thức lớn trong quá trình hội thoại. Thay vì nạp toàn bộ tài liệu vào cửa sổ ngữ cảnh, RAG chỉ truy xuất những thông tin phù hợp nhất với từng câu hỏi của người dùng, giúp agent của bạn có thể:

• Truy cập các cơ sở kiến thức lớn hơn nhiều so với dung lượng cho phép của một câu lệnh (prompt)
• Cung cấp các phản hồi chính xác hơn, dựa trên cơ sở kiến thức thực tế
• Giảm thiểu tình trạng "ảo giác" nhờ tham chiếu tài liệu gốc
• Mở rộng kiến thức mà không cần tạo nhiều agent chuyên biệt

RAG là giải pháp lý tưởng cho các agent cần tham chiếu tài liệu dài, hướng dẫn kỹ thuật hoặc cơ sở kiến thức đồ sộ vượt quá giới hạn cửa sổ ngữ cảnh của phương pháp tạo câu lệnh truyền thống. RAG sẽ làm tăng nhẹ thời gian phản hồi của agent, khoảng 250ms.

Cách thức hoạt động của RAG

Khi RAG được kích hoạt, agent của bạn sẽ xử lý câu hỏi của người dùng qua các bước sau:

1. Xử lý truy vấn: Câu hỏi của người dùng được phân tích và diễn giải lại để tối ưu hóa quá trình truy xuất.
2. Tạo embedding: Truy vấn đã xử lý được chuyển đổi thành một vector embedding đại diện cho câu hỏi của người dùng.
3. Truy xuất: Hệ thống tìm kiếm nội dung có ý nghĩa tương đồng nhất từ ​​cơ sở kiến thức của bạn.
4. Tạo phản hồi: Agent tạo ra phản hồi dựa trên cả ngữ cảnh hội thoại và thông tin đã truy xuất được.

Quy trình này đảm bảo rằng thông tin liên quan đến câu hỏi của người dùng được chuyển đến mô hình ngôn ngữ lớn (LLM) để tạo ra câu trả lời chính xác về mặt thực tế.

Hướng dẫn

Điều kiện tiên quyết

• Một tài khoản ElevenLabs
• Một ElevenLabs Conversational Agent đã được cấu hình
• Ít nhất một tài liệu đã được thêm vào cơ sở kiến thức của agent

Kích hoạt RAG cho agent

Cập nhật qua dashboard

Trong phần cài đặt agent, hãy chuyển đến mục Knowledge Base và bật tùy chọn Use RAG. Cấu hình mô hình embedding, số lượng đoạn tài liệu tối đa và khoảng cách vector tối đa trong tab Advanced nếu cần.

Lập chỉ mục cơ sở kiến thức

Mỗi tài liệu trong cơ sở kiến thức cần được lập chỉ mục trước khi có thể sử dụng với RAG. Quá trình này diễn ra tự động khi một tài liệu được thêm vào agent đã bật tính năng RAG.

Cấu hình chế độ sử dụng tài liệu (tùy chọn)

Đối với mỗi tài liệu trong cơ sở kiến thức, bạn có thể chọn cách thức sử dụng tài liệu đó:

• Auto (Tự động - mặc định): Tài liệu chỉ được truy xuất khi có liên quan đến câu truy vấn.
• Prompt: Tài liệu luôn được đưa vào prompt hệ thống, bất kể mức độ liên quan.

Kiểm thử agent đã bật RAG

Sau khi lưu cấu hình, hãy kiểm thử agent bằng cách đặt các câu hỏi liên quan đến cơ sở kiến thức của bạn. Lúc này, agent sẽ có khả năng truy xuất và tham chiếu các thông tin cụ thể từ tài liệu của bạn.

Giới hạn sử dụng

Để đảm bảo phân bổ tài nguyên công bằng, ElevenLabs áp dụng các giới hạn về tổng dung lượng tài liệu được lập chỉ mục cho RAG trên mỗi workspace, tùy thuộc vào gói đăng ký.

Các giới hạn cụ thể như sau:

Triển khai API

Bạn cũng có thể triển khai RAG thông qua API:

Python

from elevenlabs import ElevenLabs
import time
# Initialize the ElevenLabs client
elevenlabs = ElevenLabs(api_key="your-api-key")
# First, index a document for RAG
document_id = "your-document-id"
embedding_model = "e5_mistral_7b_instruct"
# Trigger RAG indexing
response = elevenlabs.conversational_ai.knowledge_base.document.compute_rag_index(
    documentation_id=document_id,
    model=embedding_model
)
# Check indexing status
while response.status not in ["SUCCEEDED", "FAILED"]:
    time.sleep(5)  # Wait 5 seconds before checking status again
    response = elevenlabs.conversational_ai.knowledge_base.document.compute_rag_index(
        documentation_id=document_id,
        model=embedding_model
    )

JavaScript

# Initialize the ElevenLabs client
elevenlabs = ElevenLabs(api_key="your-api-key")

# First, index a document for RAG
document_id = "your-document-id"
embedding_model = "e5_mistral_7b_instruct"

# Trigger RAG indexing
response = elevenlabs.conversational_ai.knowledge_base.document.compute_rag_index(
documentation_id=document_id,
model=embedding_model
)

# Check indexing status
while response.status not in ["SUCCEEDED", "FAILED"]:
time.sleep(5) # Wait 5 seconds before checking status again
response = elevenlabs.conversational_ai.knowledge_base.document.compute_rag_index(
documentation_id=document_id,
model=embedding_model
)

# Then update agent configuration to use RAG
agent_id = "agent_7101k5zvyjhmfg983brhmhkd98n6"

# Get the current agent configuration
agent_config = elevenlabs.conversational_ai.agents.get(agent_id=agent_id)

# Enable RAG in the agent configuration
agent_config.agent.prompt.rag = {
"enabled": True,
"embedding_model": "e5_mistral_7b_instruct",
"max_documents_length": 10000
}

# Update document usage mode if needed
for i, doc in enumerate(agent_config.agent.prompt.knowledge_base):
if doc.id == document_id:
agent_config.agent.prompt.knowledge_base[i].usage_mode = "auto"

# Update the agent configuration
elevenlabs.conversational_ai.agents.update(
agent_id=agent_id,
conversation_config=agent_config.agent
)