Блог

Мы пытаемся повторно использовать объект подключения к базе данных SQL Server для каждого раздела в кластере Spark, но, похоже, с учетом того, как мы реализовали, он пытается создать объект для каждой записи в разделе.

Пожалуйста, сообщите нам, как нам нужно реализовать то же самое, поскольку нам нужно создать один объект базы данных на раздел, а не на запись.

 
InsurancePlan_DeleteRecord.foreachPartition(new ForeachPartitionFunction<Row>() {            
    @Override
    public void call(java.util.Iterator<Row> t) throws Exception {
        Connection InsuPlan = DriverManager.getConnection(dbProperties.getProperty("url"), dbProperties.getProperty("username"), dbProperties.getProperty("password"));
        System.out.println("Established Connection"   ""   InsuPlan);
        while (t.hasNext()) {
            Row row = t.next();
            Long RecordId = row.getLong(0);
            System.out.println("recordid"   ""   RecordId);
        }
    }
});