介紹

<aside> 📢

2025.10將發布LangChain 1.0版，LangChain 1.0將以LangGraph為基礎

</aside>

目前的GenAI的主要元件是大型語言模型(Large Language Model, LLM)，呼叫LLM有兩種方式，第一種是透過呼叫雲端的LLM，通常就是需要付費並取得API Key，第二種是呼叫本地端的LLM，通常我們可以透過Ollma下載並啟動、管理下載下來的LLM。

我們就以本地端的使用為範例，首先，先下載並安裝Ollama，步驟請參考:

• Ollama

接下來，如何透過LangChain來呼叫Ollma的LLM呢? 先參考LangChain官方文件:

• Run models locally

先安裝Langchain的Ollama套件:

pip install -qU langchain_ollama

與LLM對話

接下來，我們來呼叫LLM，並請LLM回答問題，並印出取得的答案:

from langchain_ollama import OllamaLLM
llm = OllamaLLM(model="gemma2:9b")
ans = llm.invoke("誰是美國現任總統?")
print(ans)

如果我們問兩個問題，LLM其實是把兩個問題獨立處理，所以，不會知道「他」是指誰:

from langchain_ollama import OllamaLLM
llm = OllamaLLM(model="gemma2:9b")
ans = llm.invoke("誰是美國現任總統?")
print(ans)
ans = llm.invoke("他的太太是誰?")
print(ans)

記住前面的問題與答案

• How to add memory to chatbots

接下來，根據文件範例，修改一下我們的程式，首先先安裝所需要的套件:

pip install langchain