Блог

Я пытаюсь реализовать лексер. Поскольку лексеры выделяют токены, я полагаю, что мы можем воспринимать лексер как специальный итератор, который сопоставляет определенные фрагменты char s с Token s . Поэтому я ожидаю Lexer сохранить Iterator<Item=char> и манипулировать этим итератором вместо a amp;str , чтобы обеспечить максимальную гибкость.

 struct Lexer<T: Iterator<Item=char>> {
    source: T
}
 

Тем не менее, мне трудно манипулировать итератором, поскольку почти все адаптеры итераторов берут на себя ответственность, а с дженериками я не могу изменить тип T во время выполнения, если не переключусь на Box .

 self.source.take_while(|x| x.is_whitespace())
 

Возможный обходной путь — потребовать, чтобы итератор реализовывал Clone , использовал клон каждый раз, когда я хочу его преобразовать, запоминал, сколько символов я видел, и вызывал next это много раз. Я считаю, что это слишком неуклюже.

Интересно, существует ли простой способ написания итераторов, которые сопоставляют неопределенное количество входных элементов (в данном случае, char элементов) с другим объектом (в данном случае, Token объектами)?

Самый элегантный способ, который я могу придумать до сих пор, — это использовать while let etc. которые не так похожи на fluent-style. Я проверил реализацию GroupBy in itertools и обнаружил, что они тоже используют этот while let подход.