Блог

Мне было поручено домашнее задание от моего профессора колледжа, и я, кажется, обнаружил какое-то странное поведение strtok

В принципе, мы должны проанализировать CSV-файл для моего класса, где количество токенов в CSV известно, и последний элемент может содержать дополнительные "," символы.

Пример строки:

 Hello,World,This,Is,A lot, of Text
  

Где токены должны выводиться как

 1. Hello
2. World
3. This
4. Is
5. A lot, of Text
  

Для этого назначения мы ДОЛЖНЫ использовать strtok . Из-за этого я обнаружил в каком-то другом сообщении SOF, что использование strtok с пустой строкой (или передача "n" в качестве второго аргумента) приводит к чтению до конца строки. Это идеально подходит для моего приложения, поскольку дополнительные запятые всегда появляются в последнем элементе.

Я создал этот код, который работает:

 #include <string.h>
#include <stdlib.h>
#include <stdio.h>

#define NUM_TOKENS 5

const char *line = "Hello,World,This,Is,Text";

char **split_line(const char *line, int num_tokens)
{
    char *copy = strdup(line);

    // Make an array the correct size to hold num_tokens
    char **tokens = (char**) malloc(sizeof(char*) * num_tokens);

    int i = 0;
    for (char *token = strtok(copy, ",n"); i < NUM_TOKENS; token = strtok(NULL, i < NUM_TOKENS - 1 ? ",n" : "n"))
    {
        tokens[i  ] = strdup(token);
    }

    free(copy);

    return tokens;
}

int main()
{
    char **tokens = split_line(line, NUM_TOKENS);

    for (int i = 0; i < NUM_TOKENS; i  )
    {
        printf("%sn", tokens[i]);
        free(tokens[i]);
    }
}
  

Теперь это работает и должно принести мне полную пользу, но я ненавижу эту троичную систему, которая не должна быть нужна:

 token = strtok(NULL, i < NUM_TOKENS - 1 ? ",n" : "n");
  

Я бы хотел заменить метод на эту версию:

 char **split_line(const char *line, int num_tokens)
{
    char *copy = strdup(line);

    // Make an array the correct size to hold num_tokens
    char **tokens = (char**) malloc(sizeof(char*) * num_tokens);

    int i = 0;
    for (char *token = strtok(copy, ",n"); i < NUM_TOKENS - 1; token = strtok(NULL, ",n"))
    {
        tokens[i  ] = strdup(token);
    }

    tokens[i] = strdup(strtok(NULL, "n"));

    free(copy);

    return tokens;
}
  

Это гораздо приятнее для моего воображения, поскольку гораздо легче увидеть, что есть окончательный вариант. Вы также избавляетесь от странного троичного оператора.

К сожалению, это ошибка segfaults! Я ни за что на свете не могу понять, почему.

Редактировать: Добавить несколько примеров вывода:

 [11:56:06] gravypod:test git:(master*) $ ./test_no_fault 
Hello
World
This
Is
Text
[11:56:10] gravypod:test git:(master*) $ ./test_seg_fault 
[1]    3718 segmentation fault (core dumped)  ./test_seg_fault
[11:56:14] gravypod:test git:(master*) $ 
  

Пожалуйста, проверьте возвращаемое значение из strtok , прежде чем рисковать переходом NULL к другой функции. Ваш цикл вызывается strtok на один раз больше, чем вы думаете.

Более обычно использовать это возвращаемое значение для управления вашим циклом, тогда вы не зависите от своих данных. Что касается разделителей, лучше сохранить это простым и не пробовать ничего необычного.

 char **split_line(const char *line, int num_tokens)
{
    char *copy = strdup(line);
    char **tokens = (char**) malloc(sizeof(char*) * num_tokens);
    int i = 0;
    char *token;
    char delim1[] = ",rn";
    char delim2[] = "rn";
    char *delim = delim1;                   // start with a comma in the delimiter set

    token = strtok(copy, delim);
    while(token != NULL) {                  // strtok result comtrols the loop
        tokens[i  ] = strdup(token);
        if(i == NUM_TOKENS) {
            delim = delim2;                 // change the delimiters
        }
        token = strtok(NULL, delim);    
    }
    free(copy);
    return tokens;
}
  

Обратите внимание, что вы также должны проверить возвращаемые значения из malloc и strdup и правильно освободить свою память

Когда вы дойдете до последнего цикла, вы получите

 for (char *token = strtok(copy, ",n"); i < NUM_TOKENS - 1; token = strtok(NULL, ",n"))
  

1. тело цикла
2. шаг увеличения цикла, т.е. token = strtok(NULL, ",n") (с неправильным вторым аргументом)
3. проверка продолжения цикла i < NUM_TOKENS - 1

т. е. он все еще вызывался strtok , даже несмотря на то, что вы теперь вне диапазона. Здесь у вас также есть разница в индексах вашего массива: вы хотели бы инициализировать i=0 не 1.

Вы могли бы избежать этого, например

• превращение начального strtok в особый случай вне цикла, например

   int i = 0;
  tokens[i  ] = strdup(strtok(copy, ",n"));
    

• затем перемещение strtok(NULL, ",n") внутри цикла

Я также удивлен, что вы вообще хотите, чтобы n был там, или даже вам нужно вызвать последний strtok (разве это уже не просто указывает на остальную часть строки? Если вы просто пытаетесь обрезать завершающую новую строку, есть более простые способы) но я годами не использовал strtok.

(Кроме того, вы также не освобождаете массив malloced, в котором вы храните указатели на строки. Тем не менее, поскольку в этот момент программа заканчивается, это не имеет большого значения.)

Помните, что это strtok идентифицирует токен, когда он находит любой из символов в строке-разделителе (второй аргумент strtok() ) — он не пытается сопоставить всю строку-разделитель непосредственно.

Таким образом, тернарный оператор никогда не был нужен в первую очередь — строка будет маркирована на основе появления , OR n во входной строке, поэтому работает следующее:

 for (token = strtok(copy, ",n"); i < NUM_TOKENS; token = strtok(NULL, ",n"))
{                                                                                                         
    tokens[i  ] = strdup(token);                                                                          
} 
  

Второй пример segfaults, потому что он уже маркировал входные данные до конца строки к моменту выхода из for цикла. strtok() Повторный вызов устанавливает token значение NULL , и ошибка сегмента генерируется при strdup() вызове по NULL указателю. Удаление дополнительного вызова strtok дает ожидаемые результаты:

 for (token = strtok(copy, ",n"); i < NUM_TOKENS - 1; token = strtok(NULL, ",n"))
{                                                                                 
    tokens[i  ] = strdup(token);                                                  
}                                                                                 
tokens[i] = strdup(token);