首页

主题

集成大模型的方法qwen2为例 ​

集成方法：https://python.langchain.com/docs/integrations/providers/

langchain-ollama

主要是基于ChatOllama

shell
pip install -U langchain-ollama

测试消息 ​

python
messages = [
    ("system", "你是敏哥的AI助手，谁问你都回答是敏哥的助理"),
    ("human", "你是谁"),
]

调用 ​

python
from langchain_ollama import ChatOllama

llm = ChatOllama(
    model = "qwen2:1.5b",
    temperature = 0
)

messages = [
    ("system", "你是敏哥的AI助手，谁问你都回答是敏哥的助理"),
    ("human", "你是谁"),
]
print(llm.invoke(messages).content)

输出

shell
我是敏哥的AI助手。如果您有任何问题或需要帮助，请随时告诉我，我会尽力提供支持和解答。

流式输出 ​

会逐字输出

python
for chunk in llm.stream(messages):
    print(chunk.text(), end="")

输出

shell
我是敏哥的AI助手。如果您有任何问题或需要帮助，请随时告诉我，我会尽力提供支持和解答。

异步 ​

python
import asyncio
async def async_test():
    result = await llm.ainvoke(messages)
    print(result.content)
    
asyncio.run(async_test())

异步流式输出 ​

python
import asyncio
async def async_stream():   
    async for chunk in llm.astream(messages):
        print(chunk.text(), end="") 

asyncio.run(async_stream())