多數的網路文章都是以python為主,本教材以Spring AI以及Java為主。
RAG的主角就是大型語言模型,使用大型語言模型有兩個主要方式,一個就是去使用大型語言模型的雲端服務,另一個方式就是在本機架設大型語言模型。
我們先來體驗一下如何在本機使用大型語言模型,最常用在本機的大型語言模型就是到Ollama.com下載大型語言模型,先到Ollama.com點選「Download」。
選擇要下載的版本:
Windows的使用者可以到下載去執行「OllamaSetup」
點選「Install」(老師下載的版本是0.3.8,各位下載時版本可能不同)
安裝完成後,Ollama就開始執行了,可以看到Ollama在背景中執行
接下來,我們透過cmd (terminal)來啟動模型,Ollama有很多模型可以執行,模型的說明可以參考: Models,例如,我們執行gemma:2b。
ollama run gemma:2b
<aside> 📢
注意,這些模型都很大,例如gemma:2b有1.7G,第一次執行的時候需要下載整個模型,下載需要花很長的時間,所以,最好找個網路夠快夠穩定的地方,並請注意一下是否有足夠的硬碟空間。
</aside>
這樣就可以開始跟模型互動了,不過,因為這模型比較小,胡說八道的機會就滿高的。