Блог

Ситуация:

Я создал сканер, синтаксический анализатор и различные классы AST для малоиспользуемого языка программирования, моего хобби-проекта. Анализатор с помощью сканера создает гетерогенный AST, с которым я выполняю некоторые манипуляции. В прошлом я создавал плагины / надстройки для некоторых IDE для подсветки синтаксиса и некоторых других элементов.

Проблема заключается в ошибках: анализатор генерирует некоторые и имеет доступ к токенам, которые составляют оператор. Однако некоторые ошибки возникают только позже, например, из-за невозможности разрешить идентификатор. Я хотел бы отображать закорючки под такими идентификаторами или другими ошибочными токенами. Не только это, мне нравится возможность манипулировать моими AST-узлами без потери всех комментариев, интервалов и так Далее в моем исходном документе.

При создании нового оператора в моем AST я могу легко добавить токены, составляющие этот оператор, в качестве дочерних элементов. Но …

Вопрос:

Если это разумно выполнимо, я хотел бы включить поддержку отображения закорючек. Для этого требуется, чтобы оператор знал, где расположены токены, составляющие оператор. К сожалению, оператор имеет вариации, которые иногда включают больше токенов, иногда меньше токенов. Если бы я создавал AST только для чтения, это не было бы проблемой. Однако я хочу, чтобы мой AST был доступен для чтения и записи в целях рефакторинга! Это означает, что изменение инструкции в AST по существу означает добавление токенов (дочерних элементов инструкции), и, следовательно, класс Statement должен быть способен к повторной обработке самого себя.

Это привело бы к искажению AST с помощью синтаксического анализа кода и больше не поддерживало бы разделение проблем!

Технические подробности:

Одна из альтернатив — превратить AssignmentStatement в фабрику, получая набор токенов, создавая экземпляр инструкции и постоянно заставляя его знать о своих собственных токенах.

AST-узел для назначений в моем случае в основном будет таким на данный момент:

Иерархический образец AST может быть:

 AssemblyDeclaration
    .. Statement ..
    .. Statement ..
    ClassDeclaration
       .. Token .. // one or more that make up the entire class statement
       .. Token .. // one or more that make up the entire class statement
       Statement(s)
         .. Token .. // Which have their own tokens that make up the statement .. and possibly have sub-nodes of their own such as Expressions which have -their- own Tokens that comprise it.
  

Концептуальная идея базового узла ast, родительского элемента для всего в синтаксическом дереве, независимо от того, является ли это объявлением класса, оператором или токеном.

 public abstract class BaseAstNode : IList<BaseAstNode>
{
    ... implementation of IList<BaseAstNode>
    ... implementation of Visitor Pattern
    ... implementation of Clonable
}    

public sealed class AssignmentStatement : BaseAstNode 
{
public Expression Expression { get; set; }; // Setting this will alter the Tokens (children!) of this node, possibly even ADD Tokens!
public TypeReference Target { get; set; }
}

public sealed class PrimitiveNumberExpression : Expression // is a BaseAstNode
{
public int Value { get; set; } // Setting this will alter the Tokens (children!) of this node!
}

public abstract class Token : BaseAstNode
{
    public Layers Layer { get; set; }
    public TokenType TokenType { get; set; }
    public int Column { get; set; }
    public int Line { get; set; }
    public int Position { get; set; }
    public abstract int Length { get; set; }
    public virtual string Value { get; set; }
    public override string ToString(){}
}
  

Как другие решают эту проблему? Это правильный путь?

Если вы сможете получить код для инструкции, в которой произошла ошибка, вы сможете повторно проанализировать отдельную инструкцию, на этот раз отслеживая местоположение токенов и отмечая те, которые являются недопустимыми (поскольку у вас не было сохраненных местоположений токенов в первый раз). По крайней мере, вам не нужно разбирать весь документ заново, только одну строку … возможно, повторно используя часть кода синтаксического анализа, который у вас уже есть.

В качестве альтернативы, сохраняйте местоположение каждого токена (начало и длину в документе), чтобы вы могли легко получить доступ к положению этого токена, когда вам нужно обратиться к его источнику. Почему бы этого не сделать?