<aside> 📢 有些Medium文章是只有開放給會員，目前Medium有個新功能可以產生連結給非會員，非Medium會員請點選「Friend Link」

</aside>

基本概念

目前的大型語言模型，由於訓練的資料相當龐大，所以，幾乎有問必答，然而，當我們詢問比較冷門的問題時，目前的大型語言模型會給我們一個不正確的答案，主要的原因是大型語言模型並沒有這方面的知識。Retrieval Augmented Generation (RAG)就是在回答問題前，先去檢索資料，檢索後，再透過大型語言模型統整檢索的內容並產生回答。可以看一下 Felo Search、Proplexity，大概就可以理解這樣的概念，然而， Felo Search、Proplexity是去檢索網頁，一般的RAG則是去檢索非公開資料集。

• RAG 檢索增強生成— 讓大型語言模型更聰明的秘密武器
  • RAG架構主要由兩個部分構成：檢索器和生成器。檢索器負責從外部知識庫（例如，文本數據庫或預先訓練的知識嵌入）中檢索相關的知識訊息。這些檢索到的知識將會被送到生成器進行處理。而生成器會利用檢索到的知識來生成回應。通常，檢索器和生成器會通過一個聯合訓練的過程來學習如何協同工作，以產生符合目標的輸出內容。
• How I built a Simple Retrieval-Augmented Generation (RAG) Pipeline
  • Langchain
  • OpenAI Embeddings
  • Chroma Vector Database
  • OpenAI LLM
• 從零打造屬於自己的 RAG-based LLM Line Bot 系列
  • 介紹與規格
    • LangChain + ChatGPT
  • 系統架構與事前準備
    • Postgres + pgvector
  • 資料準備與處理
  • Line Bot 開發
  • 將 Line Bot 發佈到 Heroku
• 替你的應用程式加上智慧! 談 RAG 的檢索與應用
  • Synthesis:
    • 我用 GPTs (內建 GPT4 LLM) 來負責這段, 主要是調整 instruction 與設定 custom actions
  • Retrieval:
    • 我用 Kernel Memory (Serevice) 來提供檢索的能力。雖然他也支援 Synthesis ( api: /ask )，但是這段我靠 GPTs 處理掉了，因此我只用到 Retrieval ( api: /search ) 的部分。這部分由於檢索的需要，必須依賴外部 text-embedding model
  • Ingestion:
    • 我用 Kernel Memory (Serviceless) 來替我所有的文章向量化，並且建立 Index (向量資料庫)，同樣是用 Kernel Memory，只是他是離線作業，並非線上運作的服務。
• An introduction to RAG and simple/ complex RAG (WhyHow.AI)
• What Nobody Tells You About RAGs (Friend Link)
  • Clarify the business value from the start: the context, the users, and the data
  • Understand what you’re indexing
  • Improve chunk quality — garbage in, garbage out
  • Improve pre-retrieval
  • Improve retrieval
  • Improve Post-retrieval
  • An overlooked part: Generation
• RAG LLM Best Practices
• Who says RAG is only about Vector Stores?!
  • Data Sources for RAG
    • Structured Databases
      • SQL Databases
      • NoSQL Databases
    • Vector Databases
      • Embedding-based Search
      • Similarity Search
    • Graph Databases
    • Knowledge Graph Representations

進階RAG

從RAG的概念提出到現在已經有很多的進階發展，解決RAG各式各樣的問題。

• RAG (Retrieval Augmented Generation): 為自然語言處理揭開新篇章 ** 推薦 **
  • 擷取(Retrieval)
    • 建立準確語意空間的方法
      • 區塊優化 (Chunk optimization)
      • 微調嵌入模型 (Fine-tuning Embedding Models)
    • 如何協調查詢和文件的語意空間?
      • Query Rewriting
      • Embedding Transformation
    • 根據 LLM 的需求調整擷取結果
      • Fine-tuning Retrievers
      • Adapters
  • 生成(Generation)
    • 如何優化擷取到的訊息?
      • 資訊壓縮 (Information Compression)
      • 重排序 (Reranking)
    • 如何根據擷取到的訊息優化生成器?
      • 通用優化流程 (General Optimization Process)
      • 利用對比學習 (Utilizing Contrastive Learning)
• Four-module Synergy for Enhancing RAG (Friend Link)
  • Query Rewriter+
  • Knowledge Filter
  • Memory Knowledge Reservoir
  • Retriever Trigger
• RAG 開發知識庫 (ihower整理) **
• Designing RAGs (Friend Link)
  • Indexing: Embedding external data into a vector representation.
    • Data processing mode
    • Indexing model
    • Text splitting method
    • Chunking hyperparameters
  • Storing: Persisting the indexed embeddings in a database.
    • Database choice
    • Metadata selection
  • Retrieval: Finding relevant pieces in the stored data.
    • Retrieval strategy
    • Retrieval hyperparameters
    • Query transformations
  • Synthesis: Generating answers to user’s queries.
    • Synthesis model
    • System prompt
    • Synthesis hyperparameters
  • Evaluation: Quantifying how good the RAG system is.
    • Evaluation protocol
    • Evaluator prompts
    • Model guidelines
• RAG analysis
  • Disadvantages of RAG (part 1)
  • Practical Considerations in RAG Application Design (part 2)
• A Complete Guide to RAG
  • RAG Architecture: Advanced RAG (上一篇的後續)
• Unlocking LLM’s Potential with RAG: A Complete Guide from Basics to Advanced Techniques
  • Introduction
  • RAG Using OpenAI
  • RAG Using Google Gemini Pro
  • Using Knowledge Retrieval from OpenAI
  • Load Multiple PDF files or Folder
  • RAG Using Ollama(Local) — Mistral Model
  • RAG Using Huggingface Pipeline and Mistral Model
  • RAG — Semistructured Data — Extracting Text and Tables
  • Tools and Process
    • Embeddings
    • Vectorstores
  • LLM Frameworks
    • LangChain
    • Llamaindex
    • Haystack
  • RAG Evaluation
  • Potential RAG Issues and Solutions
  • Major Cloud Vendors — RAG and Vector Stores
  • LLM-RAG Research Papers