Integracja LlamaIndex z narzędziami Unity Catalog usługi Databricks

Użyj usługi Databricks Unity Catalog, aby zintegrować funkcje SQL i Python jako narzędzia w przepływach pracy LlamaIndex. Ta integracja łączy zarządzanie katalogiem Unity z możliwościami LlamaIndex w celu indeksowania i wykonywania zapytań dotyczących dużych zestawów danych dla LLMs.

Wymagania

• Zainstaluj środowisko Python w wersji 3.10 lub nowszej.

Integracja narzędzi katalogu Unity z biblioteką LlamaIndex

Uruchom następujący kod w notebooku lub skrypcie języka Python, aby utworzyć narzędzie Unity Catalog i użyć go w agencie LlamaIndex.

1. Zainstaluj pakiet integracyjny Databricks Unity Catalog dla LlamaIndex.

   %pip install unitycatalog-llamaindex[databricks]
   dbutils.library.restartPython()
   

2. Utwórz instancję klienta funkcji katalogu Unity.

   from unitycatalog.ai.core.base import get_uc_function_client
   
   client = get_uc_function_client()
   

3. Utwórz funkcję katalogu Unity napisaną w języku Python.

   CATALOG = "your_catalog"
   SCHEMA = "your_schema"
   
   func_name = f"{CATALOG}.{SCHEMA}.code_function"
   
   def code_function(code: str) -> str:
     """
     Runs Python code.
   
     Args:
       code (str): The Python code to run.
     Returns:
       str: The result of running the Python code.
     """
     import sys
     from io import StringIO
     stdout = StringIO()
     sys.stdout = stdout
     exec(code)
     return stdout.getvalue()
   
   client.create_python_function(
     func=code_function,
     catalog=CATALOG,
     schema=SCHEMA,
     replace=True
   )
   

4. Utwórz instancję funkcji Katalogu Unity jako zestawu narzędzi i uruchom ją, aby sprawdzić, czy zestaw działa prawidłowo.

   from unitycatalog.ai.llama_index.toolkit import UCFunctionToolkit
   import mlflow
   
   # Enable traces
   mlflow.llama_index.autolog()
   
   # Create a UCFunctionToolkit that includes the UC function
   toolkit = UCFunctionToolkit(function_names=[func_name])
   
   # Fetch the tools stored in the toolkit
   tools = toolkit.tools
   python_exec_tool = tools[0]
   
   # Run the tool directly
   result = python_exec_tool.call(code="print(1 + 1)")
   print(result)  # Outputs: {"format": "SCALAR", "value": "2\n"}
   

5. Użyj narzędzia w ReActAgent LlamaIndex, poprzez zdefiniowanie funkcji Unity Catalogu w ramach kolekcji narzędzi LlamaIndex. Następnie sprawdź, czy agent działa prawidłowo, wywołując kolekcję narzędzi LlamaIndex.

   from llama_index.llms.openai import OpenAI
   from llama_index.core.agent import ReActAgent
   
   llm = OpenAI()
   
   agent = ReActAgent.from_tools(tools, llm=llm, verbose=True)
   
   agent.chat("Please run the following python code: `print(1 + 1)`")