可佳學姊使用open-ai的API,那如果我們要使用Ollama上的LLM,要怎麼使用呢? 根據LlamaIndex的官方文件:
首先我們要安裝相關的套件:
pip install llama-index-llms-ollama
安裝好了之後,我們啟動ollama,首先,確認一下我們目前的model
ollama list
這些是我們目前已經下載的LLM,如果是空的,請利用ollama run,第一次執行時,會自動下載model
ollma run gemma2:2b
當我們執行時,就可以跟LLM對話,不想對話就輸入「/bye」
細節請參考:
透過ollama去使用LLM的範例是: