LM Studio

LM Studio thân thiện với người dùng và có sẵn ở định dạng nhị phân cho Windows và Mac (phiên bản Linux đang được phát triển). Nó hỗ trợ nhiều mô hình tương thích với thư viện tensor ggml từ dự án llama.cpp và yêu cầu 16GB RAM.

Hãy cùng khám phá xem LM Studio vừa dễ sử dụng vừa tiện lợi như thế nào!

LM Studio là gì?

LM Studio là ứng dụng desktop đa nền tảng cho phép bạn tìm kiếm, khởi tạo và thử nghiệm nhiều LLM khác nhau. Ứng dụng này cung cấp giao diện thân thiện với người dùng và nhiều tính năng để phục vụ cho cả người mới bắt đầu và người dùng nâng cao.

Các tính năng chính của LM Studio

• Giao diện người dùng:
  • LM Studio trình bày giao diện giống như ChatGPT, giúp bạn dễ dàng tương tác với các mô hình khác nhau.
  • Giao diện bao gồm các tùy chọn để khám phá những mô hình, load chúng cục bộ và tương tác với chúng bằng định dạng dựa trên trò chuyện.
• Khám phá và lựa chọn mô hình:
  • Phần "Discover" cho phép bạn khám phá nhiều LLM khác nhau từ kho lưu trữ Hugging Face.
  • Bạn có thể tìm kiếm các mô hình dựa trên những tiêu chí cụ thể và xem thông tin chi tiết của chúng, bao gồm số lượng tham số, kiến ​​trúc và tác giả.
• Load và thử nghiệm mô hình:
  • Sau khi chọn một mô hình, bạn có thể tải xuống và load mô hình cục bộ.
  • Ứng dụng cung cấp một cách thuận tiện để chuyển đổi giữa các mô hình khác nhau và thử nghiệm những khả năng của chúng.
• Yêu cầu hệ thống và tùy chỉnh:
  • Bạn có thể xác định yêu cầu hệ thống để tác động đến đầu ra của các mô hình.
  • Tùy chỉnh các tham số khác như độ dài của phản hồi, chuỗi dừng, v.v...
• Runtime mô hình:
  • LM Studio hỗ trợ nhiều runtime khác nhau có thể nâng cao hiệu suất của các mô hình.
  • Ứng dụng cung cấp thông tin về runtime tương thích, cho phép bạn tải xuống và cài đặt chúng.
• Chế độ nhà phát triển:
  • Đối với người dùng nâng cao, chế độ nhà phát triển cung cấp các tính năng và cài đặt bổ sung.
  • Khám phá các tùy chọn như cấu hình máy chủ, điểm cuối API và ghi nhật ký.

Các trường hợp sử dụng lý tưởng

• Giáo dục và học tập: LM Studio đặc biệt có giá trị đối với sinh viên và người tự học muốn tìm hiểu cách thức hoạt động của các mô hình ngôn ngữ mà không cần thiết lập kỹ thuật hoặc phí đám mây.
• Phát triển nguyên mẫu: Các nhóm xây dựng sản phẩm dựa trên AI giai đoạn đầu có thể thử nghiệm ý tưởng cục bộ mà không cần lo lắng về cơ sở hạ tầng hoặc bảo mật.
• Pháp luật, Y tế và Tài chính: Các ngành xử lý thông tin nhạy cảm có thể triển khai LLM một cách riêng tư, tránh tiếp xúc với đám mây và phụ thuộc vào nhà cung cấp.
• Ứng dụng desktop được hỗ trợ bởi AI: Các nhà phát triển có thể nhúng những mô hình cục bộ của LM Studio vào các công cụ năng suất hoặc trợ lý chuyên biệt hoạt động độc lập với Internet.

Giá cả và chiến lược thương mại

LM Studio hiện đang tuân theo mô hình hoàn toàn miễn phí và truy cập mở. Không có gói đăng ký, phí sử dụng hoặc phí ẩn. Tất cả các tính năng - từ tải xuống mô hình đến khởi tạo máy chủ suy luận cục bộ - đều có sẵn miễn phí.

Mô hình không chi phí này phù hợp với định vị của LM Studio như một công cụ cổng vào khả năng tiếp cận và thử nghiệm AI. Tuy nhiên, khi lượng người dùng tăng lên, một số hướng kiếm tiền khả thi sẽ xuất hiện:

• Tiện ích mở rộng cao cấp: Các tiện ích bổ sung trả phí có thể bao gồm phân tích nâng cao, cập nhật mô hình ưu tiên hoặc những công cụ cộng tác sẵn sàng cho doanh nghiệp.
• Cấp phép thương mại: Các tổ chức có thể được cung cấp tùy chọn cấp phép những phiên bản nhãn hiệu riêng của LM Studio với triển khai nội bộ và hỗ trợ chuyên dụng.
• Hợp tác trên thị trường: LM Studio có thể hoạt động như một giao diện đầu cuối để bán các mô hình được tinh chỉnh hoặc những môi trường chạy được tối ưu hóa phần cứng, hợp tác với các nhà phát triển mô hình và nhà cung cấp GPU.

Bằng cách loại bỏ tất cả các rào cản chi phí ban đầu, LM Studio đã giảm thiểu hiệu quả chi phí tối thiểu để áp dụng AI. Điều này giúp xây dựng lòng tin của người dùng và định vị công ty cho việc mở rộng chiến lược.

Sử dụng các mô hình từ bảng điều khiển Chat

Sau khi cài đặt, LM Studio tạo điều kiện thuận lợi cho việc tải xuống các mô hình từ Hugging Face Hub, bao gồm những tùy chọn preset.

Ví dụ, chúng ta có thể tải xuống mô hình Zephyr 7B β, được TheBloke điều chỉnh cho định dạng GGUF của llama.cpp.

Kích hoạt và load mô hình vào LM Studio rất đơn giản.

Sau đó, bạn có thể bắt đầu sử dụng mô hình ngay từ bảng điều khiển Chat, không cần kết nối Internet.

Bảng điều khiển bên phải hiển thị và cho phép sửa đổi các preset mặc định cho mô hình. Mức sử dụng bộ nhớ và số liệu suy luận hữu ích được hiển thị trong tiêu đề của cửa sổ và bên dưới bảng điều khiển Chat.

Các mô hình khác, như codellama Instruct 7B, cũng có sẵn để tải xuống và sử dụng.

LM Studio cũng làm nổi bật các mô hình và phiên bản mới từ Hugging Face, biến nó thành một công cụ vô giá để khám phá và thử nghiệm những bản phát hành mới nhất.

Truy cập các mô hình bằng API

Một tính năng đáng chú ý của LM Studio là khả năng tạo Local Inference Servers chỉ bằng một cú nhấp chuột.

Tùy chọn Automatic Prompt Formatting đơn giản hóa việc xây dựng prompt để phù hợp với định dạng mong đợi của mô hình. API được hiển thị phù hợp với định dạng OpenAI.

Sau đây là ví dụ về cách gọi điểm cuối bằng CURL:

curl http://localhost:1234/v1/chat/completions \
-H "Content-Type: application/json" \
-d '{ 
  "messages": [ 
    { "role": "system", "content": "You are an AI assistant answering Tech questions" },
    { "role": "user", "content": "What is Java?" }
  ], 
  "temperature": 0.7, 
  "max_tokens": -1,
  "stream": false
}'

Phản hồi cung cấp thông tin được yêu cầu:

{
    "id": "chatcmpl-iyvpdtqs1qzlv6jqkmdt9",
    "object": "chat.completion",
    "created": 1699806651,
    "model": "~/.cache/lm-studio/models/TheBloke/zephyr-7B-beta-GGUF/zephyr-7b-beta.Q4_K_S.gguf",
    "choices": [
        {
            "index": 0,
            "message": {
                "role": "assistant",
                "content": "Java is a high-level, object-oriented
                                programming language that was first released by Sun
                                Microsystems in 1995. It is now owned by Oracle Corporation.
                                Java is designed to be platform independent, meaning that it
                                can run on any operating system that has a Java Virtual
                                Machine (JVM) installed. Java's primary applications are in
                                the development of desktop applications, web applications,
                                and mobile apps using frameworks such as Android Studio,
                                Spring Boot, and Apache Struts. Its syntax is similar to
                                C++, but with added features for object-oriented programming
                                and memory management that make it easier to learn and use
                                than C++. Java's popularity is due in part to its extensive
                                library of pre-written code (known as the Java Class
                                Library) which makes development faster and more efficient."
            },
            "finish_reason": "stop"
        }
    ],
    "usage": {
        "prompt_tokens": 0,
        "completion_tokens": 166,
        "total_tokens": 166
    }
}

Tính năng này hỗ trợ rất nhiều trong việc thử nghiệm tích hợp với các frontend như chatbot hoặc những giải pháp quy trình làm việc như Flowise.

Mặc dù không phải là mã nguồn mở, LM Studio là một bổ sung mạnh mẽ cho bộ công cụ cục bộ của bạn, cho phép bạn dễ dàng thử nghiệm và áp dụng các mô hình từ Hugging Face. Giao diện thân thiện với người dùng và các tính năng đa dạng khiến nó trở thành một nguồn tài nguyên thiết yếu cho bất kỳ ai muốn khám phá thế giới của những mô hình ngôn ngữ lớn.