Блог

Мне нужна помощь. Я должен написать программу токенизации. Я загружаю текстовый файл и разбиваю его на токены, но мне также нужно отобразить конечную, начальную позицию слов и длину слова (из текстового файла). Я буду очень благодарен вам за любую помощь. Я безуспешно пытался сделать это в течение последних 3 дней, вот что я сделал:

 import java.util.StringTokenizer;
import java.io.*;

public class Tokenizer1 { 

public static void main(String[] args) throws FileNotFoundException, IOException {
    BufferedReader br = new BufferedReader(new FileReader("C://text.txt"));
    FileWriter fw=new FileWriter("C://result.txt");
    PrintWriter pw=new PrintWriter(fw);
    StringTokenizer st = new StringTokenizer(br.readLine()," ");
    while (st.hasMoreTokens()) {
        System.out.println(st.nextToken());
    } 
    String[] tokens = "".split(",");
    int tokenStartIndex = 0;
    for (String token : tokens) {
        for (String token : str.split(", ")) {
            System.out.println("token: "   token   ", tokenStartIndex: "      tokenStartIndex);
            tokenStartIndex  = token.length()   1;
        }
    }
}
 

Попробуйте это, если вам не нужно обрабатывать файл построчно:

 public static void main(String[] args) throws FileNotFoundException, IOException {
    FileInputStream fis = new FileInputStream("C:/text.txt");
    StringBuilder sb = new StringBuilder();

    int c;
    while((c = fis.read()) != -1) {
        sb.append((char)c);
    }
    fis.close();

    System.out.println(sb.toString());
    System.out.println("---------------------");

    int start = 0;

    // OPTION 1: using String.split method
    String[] tokens = sb.toString().split("[\s,] ");
    for(String t : tokens) {
        System.out.println("START: "   start   "tLENGTH: "   t.length()   "tWORD: "   t);
        start  = t.length();
    }

    start = 0;

    // OPTION 2: using StringTokenizer class
    StringTokenizer st = new StringTokenizer(sb.toString(), ",tnfr");
    while(st.hasMoreTokens()) {
        String next = st.nextToken();
        System.out.println("START: "   start   "tLENGTH: "   next.length()   "tWORD: "   next);
        start  = next.length();
    }
}
 

Если вам нужно обработать файл построчно, вы можете попробовать это:

 public static void main(String[] args) throws FileNotFoundException, IOException {
    BufferedReader br = new BufferedReader(new FileReader("C:/text.txt"));

    StringBuilder sb = new StringBuilder();
    String line;
    int lineNumber = -1;
    while ((line = br.readLine()) != null) {
          lineNumber;
        sb.append(line);
        System.out.println("nLINE: "   lineNumber);
        int elementPosition = 0;

        // OPTION 1: using String.split method
        /*String[] lineContents = line.split("[\s,] ");
        for (String content : lineContents) {
            System.out.println("tSTART: "   elementPosition   "tLENGTH: "   content.length()   "tWORD: "   content);
            elementPosition  = content.length();
        }*/

        // OPTION 2: using StringTokenizer class
        StringTokenizer st = new StringTokenizer(sb.toString(), ",tnfr");
        while(st.hasMoreTokens()) {
            String next = st.nextToken();
            System.out.println("tSTART: "   elementPosition   "tLENGTH: "   next.length()   "tWORD: "   next);
            elementPosition  = next.length();
        }
    }
    br.close();
}
 

Я надеюсь, что это поможет.