在 LlamaIndex 中使用 | 土土金 API 文件

LlamaIndex 接入土土金 API 用兩個類：對話模型用 OpenAILike（任何模型名都能用），向量模型用 OpenAIEmbedding。兩者的 api_base 都設為 https://www.tutujin.com/v1，api_key 用土土金的 Key，然後設成全域性預設，就能直接搭文件問答。

安裝

cURL

pip install llama-index llama-index-llms-openai-like llama-index-embeddings-openai

配置對話模型

LlamaIndex 自帶的 OpenAI 類會校驗模型名，只認 OpenAI 的模型。呼叫 DeepSeek、Claude、通義千問等模型時用 OpenAILike：

Python

import os
from llama_index.llms.openai_like import OpenAILike

llm = OpenAILike(
    model="deepseek-v4.1-flash",
    api_base="https://www.tutujin.com/v1",
    api_key=os.environ["TUTUJIN_API_KEY"],
    is_chat_model=True,
    timeout=60,
)
print(llm.complete("用一句话解释什么是检索增强生成。"))

is_chat_model=True 讓它走 Chat Completions 介面。OpenAILike 預設的上下文視窗參數 context_window 比較保守，處理長文件時按所選模型官方公佈的上限設定。

配置向量模型

Python

from llama_index.embeddings.openai import OpenAIEmbedding

embed_model = OpenAIEmbedding(
    model_name="text-embedding-3-small",
    api_base="https://www.tutujin.com/v1",
    api_key=os.environ["TUTUJIN_API_KEY"],
)
vector = embed_model.get_text_embedding("退货政策是什么？")
print(len(vector))

搭一個文件問答

Python

from llama_index.core import Settings, SimpleDirectoryReader, VectorStoreIndex

Settings.llm = llm
Settings.embed_model = embed_model

documents = SimpleDirectoryReader("./docs").load_data()  # 你的 PDF、Word、Markdown 等
index = VectorStoreIndex.from_documents(documents)

query_engine = index.as_query_engine(similarity_top_k=5)
print(query_engine.query("员工报销需要哪些材料？"))

建索引時每個文本塊都會呼叫一次向量介面，按向量模型的價格計費；之後每次提問呼叫一次向量介面和一次對話介面。費用怎麼估算，見企業知識庫與 RAG 裡的成本表。

流式輸出

Python

query_engine = index.as_query_engine(streaming=True)
response = query_engine.query("总结一下差旅制度的要点")
response.print_response_stream()

常見問題

現象	原因與處理
報錯提示未知的模型名	用了 LlamaIndex 的 `OpenAI` 類，換成 `OpenAILike`
404	`api_base` 要帶 `/v1`，應為 `https://www.tutujin.com/v1`
回答被截斷或長文件出錯	調大 `context_window`、`max_tokens`，或減少 `similarity_top_k`
503 並提示 `model_not_found`	Key 所在分組沒有這個模型，見選擇分組

沒找到答案？加客服微信 JsnonoChat，傳送報錯資訊裡的 request id，我們幫你排查。