Отсутствует ошибка обязательного уникального ключевого поля в SolrJ

ProgramBox

Отсутствует ошибка обязательного уникального ключевого поля в SolrJ

Post author:admin
Запись опубликована:9 мая, 2023
Post category:Вопросы по программированию

#java #solr #apache-poi #solrj

Вопрос:

У меня эта проблема в моем проекте. Я прочитал свой файл .xlsx Excel с помощью Apache Poi и хочу проиндексировать их в моем ядре Solr. Я использую SolrInputDocument для индексирования файла чтения. Вот мои Java-коды

 package org.solr;

import org.apache.poi.ss.usermodel.*;
import org.apache.poi.xssf.usermodel.XSSFWorkbook;
import org.apache.poi.ss.usermodel.Cell;
import org.apache.poi.ss.usermodel.Row;
import org.apache.poi.ss.usermodel.Sheet;
import org.apache.poi.ss.usermodel.Workbook;

import java.io.File;
import java.io.FileInputStream;
import java.io.FileNotFoundException;
import java.io.IOException;
import java.util.Iterator;
import java.util.ArrayList;
import java.util.List;

import org.apache.solr.client.solrj.SolrClient;
import org.apache.solr.client.solrj.SolrQuery;
import org.apache.solr.client.solrj.SolrQuery.ORDER;
import org.apache.solr.client.solrj.SolrServerException;
import org.apache.solr.client.solrj.impl.HttpSolrClient;
import org.apache.solr.client.solrj.impl.XMLResponseParser;
import org.apache.solr.client.solrj.response.QueryResponse;
import org.apache.solr.client.solrj.response.UpdateResponse;
import org.apache.solr.common.SolrDocumentList;
import org.apache.solr.common.SolrInputDocument;

public class PoiJava {
    private static final String fileName="C:\Users\FTK1187\Desktop\E-Archive - Copy\TableArchive.xlsx";

    public static void main(String Args[]) throws SolrServerException {
        List dataList=getArchiveData();

    }

    private static List getArchiveData() throws SolrServerException {
        List dataList =new ArrayList();
        FileInputStream excelFile=null;
        try {
            excelFile = new FileInputStream(new File(fileName));
            Workbook workbook = new XSSFWorkbook(excelFile);
            Sheet datatypeSheet = workbook.getSheetAt(0);
            Iterator<Row> iterator = datatypeSheet.iterator();
            String urlString="http://localhost:8983/solr/archiveCore";
            SolrClient solr=new HttpSolrClient.Builder(urlString).build();
            SolrInputDocument document=new SolrInputDocument();
            if(!document.isEmpty())
            {
                solr.deleteByQuery("*");
                solr.commit();
            }

            while (iterator.hasNext()) {

                Row currentRow = iterator.next();
                Iterator<Cell> cellIterator = currentRow.iterator();

                while (cellIterator.hasNext()) {

                    Cell currentCell = cellIterator.next();
                    //getCellTypeEnum shown as deprecated for version 3.15
                    //getCellTypeEnum ill be renamed to getCellType starting from version 4.0
                    if (currentCell.getCellTypeEnum() == CellType.STRING) {
                        //System.out.println(currentCell.getStringCellValue());
                        for(int i=0;i<currentRow.getLastCellNum();i  )
                        {
                            if(currentCell.getColumnIndex()==1)
                            {
                                document.addField("NameAdded", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==2)
                            {
                                document.addField("DateAdded", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==3)
                            {
                                document.addField("NameModified", "");
                            }
                            else if(currentCell.getColumnIndex()==4)
                            {
                                document.addField("DateModified", "");
                            }
                            else if(currentCell.getColumnIndex()==5)
                            {
                                document.addField("strSO", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==6)
                            {
                                document.addField("strCust", "");
                            }
                            else if(currentCell.getColumnIndex()==7)
                            {
                                document.addField("strOperator", "");
                            }
                            else if(currentCell.getColumnIndex()==8)
                            {
                                document.addField("PackName", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==9)
                            {
                                document.addField("DocName", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==10)
                            {
                                document.addField("DocType", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==11)
                            {
                                document.addField("extType", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==12)
                            {
                                document.addField("FileName", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==13)
                            {
                                document.addField("FilePath", currentCell.getStringCellValue());
                            }
                            else if(currentCell.getColumnIndex()==14)
                            {
                                document.addField("NameDeleted", "");
                            }
                            else if(currentCell.getColumnIndex()==15)
                            {
                                document.addField("DateDeleted", "");
                            }
                            else if(currentCell.getColumnIndex()==16)
                            {
                                document.addField("intRev", currentCell.getStringCellValue());
                            }

                        }


                    } else if (currentCell.getCellTypeEnum() == CellType.NUMERIC) {
                        //System.out.println(currentCell.getNumericCellValue());
                        for(int k=0;k<currentRow.getLastCellNum();k  )
                        {
                            if(currentCell.getColumnIndex()==0)
                            {
                                document.addField("id", currentCell.getNumericCellValue());
                            }

                        }

                    }
                    UpdateResponse response=solr.add(document);
                    solr.commit();

                }
                //System.out.println();
                System.out.println(document.getField("id"));
            }
        } catch (FileNotFoundException e) {
            e.printStackTrace();
        }
        catch(IOException e) {
            e.printStackTrace();
        }
        return dataList;
    }
}

Итак, когда я запускаю свой проект, он выдает мне эту ошибку.

 Exception in thread "main" org.apache.solr.client.solrj.impl.HttpSolrClient$RemoteSolrException: Error from server at http://localhost:8983/solr/archiveCore: Document is missing mandatory uniqueKey field: id
    at org.apache.solr.client.solrj.impl.HttpSolrClient.executeMethod(HttpSolrClient.java:610)
    at org.apache.solr.client.solrj.impl.HttpSolrClient.request(HttpSolrClient.java:279)
    at org.apache.solr.client.solrj.impl.HttpSolrClient.request(HttpSolrClient.java:268)
    at org.apache.solr.client.solrj.SolrRequest.process(SolrRequest.java:149)
    at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:173)
    at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:138)
    at org.apache.solr.client.solrj.SolrClient.add(SolrClient.java:152)
    at org.solr.PoiJava.getArchiveData(PoiJava.java:148)
    at org.solr.PoiJava.main(PoiJava.java:33)

Когда я индексирую файлы с помощью SimplePostTool, подобной ошибки нет, но я хочу обновить свое ядро на своей веб-странице.

1. проверьте подготовленный вами документ .. есть ли в нем поле id при каждом его создании и отправке в solr…

2. Я проверил это, и у него есть поле id… <uniqueKey>id</uniqueKey> это в моем schema.xml

Ответ №1:

Вероятно, в вашей схеме в качестве уникального ключа установлено поле, подобное этому:

 <uniqueKey>id</uniqueKey>

Проблема в том, что при загрузке документа, в данном случае через Apache POI, вы не отправляете значение для этого уникального поля.

У вас есть пара вариантов:

Если у вас есть поле, которое будет уникальным, используйте его. Например, с параметром copyField, подобным:

 <copyField source="excel_guaranteed_unique" dest="id"/>

Поскольку у вас есть фактический документ, вы могли бы просто добавить UUID в поле «id».
Создайте уникальное поле, подобное UUID, обновляющее ваш RequestHandlder, вот так:

 <updateRequestProcessorChain name="uuid" >
    <processor class="solr.UUIDUpdateProcessorFactory">
      <str name="fieldName">id</str>
    </processor>
    ...
</updateRequestProcessorChain>
...    
<requestHandler name="/update" class="solr.UpdateRequestHandler">
    <lst name="defaults">
        <str name="update.chain">uuid</str>
    </lst>
</requestHandler>

Вам также необходимо обновить обработчик извлечения:

  <requestHandler name="/update/extract"
              startup="lazy"
              class="solr.extraction.ExtractingRequestHandler" >
<lst name="defaults">
  ...
  <str name="update.chain">uuid</str>
</lst>

1. Прежде всего, спасибо вам за ваш ответ. Я выполнил вариант 2, и он выдает мне такую ошибку unknown UpdateRequestProcessorChain: uuid

2. Я обновил ответ, чтобы использовать uuid, обновленный в обработчике извлечения

3. Я обновил обработчик извлечения, но он выдает мне первую ошибку Document is missing mandatory uniqueKey field: id 🙁

4. Ваш Java-код устанавливает «id» в некотором условии document.addField(«id», CurrentCell.getNumericCellValue()); Вы пробовали устанавливать его всегда с помощью собственного UUID?

5. Нет, я этого не делал, также я не знаю, как я это делаю.