多數的網路文章都是以python為主,本教材以Spring AI以及Java為主。

RAG的主角就是大型語言模型,使用大型語言模型有兩個主要方式,一個就是去使用大型語言模型的雲端服務,另一個方式就是在本機架設大型語言模型。

安裝大型語言模型

我們先來體驗一下如何在本機使用大型語言模型,最常用在本機的大型語言模型就是到Ollama.com下載大型語言模型,先到Ollama.com點選「Download」。

image.png

選擇要下載的版本:

image.png

Windows的使用者可以到下載去執行「OllamaSetup」

image.png

點選「Install」(老師下載的版本是0.3.8,各位下載時版本可能不同)

image.png

安裝完成後,Ollama就開始執行了,可以看到Ollama在背景中執行

image.png

接下來,我們透過cmd (terminal)來啟動模型,Ollama有很多模型可以執行,模型的說明可以參考: Models,例如,我們執行gemma:2b。

ollama run gemma:2b

<aside> 📢

注意,這些模型都很大,例如gemma:2b有1.7G,第一次執行的時候需要下載整個模型,下載需要花很長的時間,所以,最好找個網路夠快夠穩定的地方,並請注意一下是否有足夠的硬碟空間。

</aside>

image.png

這樣就可以開始跟模型互動了,不過,因為這模型比較小,胡說八道的機會就滿高的。

image.png