LlamaIndex

可佳學姊使用open-ai的API,那如果我們要使用Ollama上的LLM,要怎麼使用呢? 根據LlamaIndex的官方文件:

首先我們要安裝相關的套件:

pip install llama-index-llms-ollama

image.png

image.png

安裝好了之後,我們啟動ollama,首先,確認一下我們目前的model

ollama list

image.png

這些是我們目前已經下載的LLM,如果是空的,請利用ollama run,第一次執行時,會自動下載model

ollma run gemma2:2b

當我們執行時,就可以跟LLM對話,不想對話就輸入「/bye」

image.png

細節請參考:

與LLM對話

透過ollama去使用LLM的範例是: