Блог

Главная - Вопросы по программированию - TigerGraph — загрузка данных в пользовательский кортеж через Spark

TigerGraph — загрузка данных в пользовательский кортеж через Spark

#apache-spark #intellij-idea #tuples #graph-databases #tigergraph

#apache-spark #intellij-idea #кортежи #графические базы данных #tigergraph

Вопрос:

Кто-нибудь может помочь мне понять, как мы можем загружать данные в кортеж, созданный внутри TigerGraph DB? Я создал следующий кортеж и пытаюсь загрузить данные из файла с помощью Spark.

Имя графика: myGraph Имя кортежа: MyTuple

Атрибуты MyTuple: строка идентификатора (50), дата, дата, время

Кортеж MyTuple передается в ребро (ed_newEdge) myGraph в качестве атрибута ребра. Ищу помощи, чтобы выяснить, как мы можем загружать данные в кортеж, присутствующий в myGraph, с помощью Spark.

Ответ №1:

Вы можете вставить данные в кортеж с помощью tigergraph jdbc driver. Вы можете найти пример здесь https://github.com/tigergraph/ecosys/blob/master/tools/etl/tg-jdbc-driver/tg-jdbc-examples/src/main/java/com/tigergraph/jdbc/UpsertQuery.java

После выполнения приведенного выше кода для создания соединения вы можете использовать приведенный ниже фрагмент кода

 try (java.sql.Statement stmt = con.createStatement()) {
      query = "INSERT INTO edge ed_newEdge(Vertex1, Vertex2) VALUES(MyTuple("1d123","2011-02-03 01:02:03"))";
      stmt.addBatch(query);}

В качестве альтернативы вы можете обработать свои данные в SPARK и сериализовать свои данные в Parquet или csv-файле. А затем вы можете создать задание загрузки GSQL для чтения этого файла и вставки значения в свой кортеж. https://docs.tigergraph.com/dev/gsql-ref/ddl-and-loading/creating-a-loading-job#loading-a-user-defined-type-udt-attribute

 TYPEDEF TUPLE <f1 INT (1), f2 UINT, f3 STRING (10), f4 DOUBLE > myTuple   # define a UDT
CREATE VERTEX v_udt  (id STRING PRIMARY KEY, att_udt myTuple)
CREATE GRAPH test_graph (v_udt)
CREATE LOADING JOB load_udt FOR GRAPH test_graph {
    DEFINE FILENAME f;
    LOAD f TO VERTEX v_udt VALUES ($0, myTuple($1, $2, $3, $4) ); 
    # $1 is loaded as f1, $2 is loaded as f2, and so on
}
RUN LOADING JOB load_udt USING f="./udt.csv"

Теперь вы можете вызвать созданное выше задание загрузки с помощью запроса rest https://docs.tigergraph.com/dev/gsql-ref/ddl-and-loading/running-a-loading-job

Метки: