Какой самый быстрый / эффективный способ прочитать этот XML в словарь (Linq или что-то еще?)

#c# #xml #linq

#c# #xml #linq

Вопрос:

Я очень новичок в синтаксическом анализе XML, и я начал изучать linq, который, как мне кажется, может быть лучшим решением здесь. Меня больше всего интересует производительность, поскольку приложение, которое я создаю, будет считывать биржевые цены, которые иногда могут меняться очень быстро. Я получаю следующее сообщение от сервера:

 <?xml version="1.0" encoding="utf-16"?>
    <events>
        <header>
            <seq>0</seq>
        </header>
        <body>
            <orderBookStatus>
                <id>100093</id>
                <status>Opened</status>
            </orderBookStatus>
            <orderBook>
                <instrumentId>100093</instrumentId>
                <bids>
                    <pricePoint>
                        <price>1357.1</price>
                        <quantity>20</quantity>
                    </pricePoint>
                    <pricePoint>
                        <price>1357.0</price>
                        <quantity>20</quantity>
                    </pricePoint>
                    <pricePoint>
                        <price>1356.9</price>
                        <quantity>71</quantity>
                    </pricePoint>
                    <pricePoint>
                        <price>1356.8</price>
                        <quantity>20</quantity>
                    </pricePoint>
                </bids>
                <offers>
                    <pricePoint>
                        <price>1357.7</price>
                        <quantity>51</quantity>
                    </pricePoint>
                    <pricePoint>
                        <price>1357.9</price>
                        <quantity>20</quantity>
                    </pricePoint>
                    <pricePoint>
                        <price>1358.0</price>
                        <quantity>20</quantity>
                    </pricePoint>
                    <pricePoint>
                        <price>1358.1</price>
                        <quantity>20</quantity>
                    </pricePoint>
                    <pricePoint>
                        <price>1358.2</price>
                        <quantity>20</quantity>
                    </pricePoint>
                </offers>
                <lastMarketClosePrice>
                    <price>1356.8</price>
                    <timestamp>2011-05-03T20:00:00</timestamp>
                </lastMarketClosePrice>
                <dailyHighestTradedPrice />
                <dailyLowestTradedPrice />
                <valuationBidPrice>1357.1</valuationBidPrice>
                <valuationAskPrice>1357.7</valuationAskPrice>
                <lastTradedPrice>1328.1</lastTradedPrice>
                <exchangeTimestamp>1304501070802</exchangeTimestamp>
            </orderBook>
        </body>
    </events>
  

Моя цель — проанализировать элементы price point

 <pricePoint>
      <price>1358.2</price>
      <quantity>20</quantity>
</pricePoint>
  

в dictionary следующей структуры:

 Dictionary<double, PriceLevel> 
  

где price должна быть двойной, а PriceLevel — классом

 class PriceLevel
{
     int bid;
     int offer;

     public PriceLevel(int b, int o)
     {
          bid = b;
          offer = o;
     }


}
  

В зависимости от элемента, в котором существует каждая ценовая точка (либо ставки, либо предложения), количество должно быть назначено соответствующим образом, т. Е. если ценовая точка существует в заявках, то количество должно быть присвоено bid, а 0 — offer. С другой стороны, если в предложениях существует ценовая точка, то количество должно быть присвоено предложению, а 0 — ставке.

Я надеюсь, что мое объяснение понятно, однако, если у вас возникнут какие-либо проблемы с его пониманием, пожалуйста, не стесняйтесь просить разъяснений в комментариях. Я был бы очень признателен за помощь в решении этой проблемы.

Обновить:

Я углубился в поток, который пытаюсь прочитать, и это будет не так просто, как я ожидал. Я обнаружил, что поток не всегда будет содержать весь документ, поэтому мне придется читать его с помощью XmlReader для обработки потока на постоянной основе. В этом случае, как я могу прочитать заявки и оферты? У меня есть что-то вроде этого:

StreamReader sr = новый StreamReader («.. .. videos.xml «);

         XmlReader xmlReader = XmlReader.Create(sr);
        while (xmlReader.Read())
        {
            if (xmlReader.HasValue)
            {
                OnXmlValue(this, new MessageEventArgs(true, xmlReader.Value));//saxContentHandler.Content(xmlReader.Value);
            }
            else
            {
                if (xmlReader.IsEmptyElement)
                {
                    OnStartElement(this, new MessageEventArgs(false, xmlReader.Name));
                    OnEndElement(this, new MessageEventArgs(false, xmlReader.Name));
                }
                else if (xmlReader.IsStartElement())
                {
                    OnStartElement(this, new MessageEventArgs(false, xmlReader.Name));
                }
                else
                {
                    OnEndElement(this, new MessageEventArgs(false, xmlReader.Name));
                }
            }
        }
  

но я изо всех сил пытаюсь связать имя элемента с его значением… т.Е. как я могу узнать, какую ценовую точку bid я сейчас читаю, и существует ли она в заявках или предложениях?
Спасибо за помощь

Комментарии:

1. какова максимальная точность вашего ценового ориентира? в вашем примере все они указаны с точностью до 1 знака после запятой, с 4 цифрами перед dp. Так ли это будет для всех ваших ценовых категорий?

2. Насколько быстрым должен быть fastest? Секунды, миллисекунды, микросекунды?

3. Я думаю, что максимальной точности в 6 десятичных знаков должно быть достаточно. что касается скорости и производительности, будет много похожих сообщений в секунду, так что я говорю о миллисекундах как минимум;)

4. Я бы определенно рассмотрел эффективность программиста и здесь. XmlReader — это самый низкий API в .NET, который все другие XML API в .NET используют за кулисами. Это потоковый API, поэтому он самый быстрый. Для повышения производительности программиста я предпочитаю Linq to XML, т. е. XDocument. В любом случае, для некоторых необработанных чисел: altamiracorp.com/blog/employee-posts/performance-linq-to-sql-vs , blogs.msdn.com/b/codejunkie/archive/2008/10/08 /…

Ответ №1:

Когда вы используете интерфейс на основе событий, подобный тому, который представлен в вашем обновлении, вам нужно будет запомнить имя предыдущего события start element. Часто стоит хранить стек, чтобы отслеживать события. Я бы, вероятно, сделал что-то похожее на следующее:

 public class PriceLevel
{
    private decimal? bid = null;
    private decimal? offer = null;

    public decimal? Bid {
        get { return bid; }
        set { bid = value; }
    }

    public decimal? Offer {
        get { return offer; }
        set { offer = value; }
    }
}

public delegate void OnPriceChange(long instrumentId, Dictionary<decimal, PriceLevel> prices);

public class MainClass
{
    private Stack<String> xmlStack = new Stack<String>();
    private Dictionary<decimal, PriceLevel> prices = new Dictionary<decimal, PriceLevel>();
    private bool isBids = false;
    private decimal? currentPrice = null;
    private long instrumentId;
    private OnPriceChange _priceChangeCallback;

    public void MainClass(OnPriceChange priceChangeCallback) {
        this._priceChangeCallback = priceChangeCallback;
    }

    public void XmlStart(object source, MessageEventArgs args) {
        xmlStack.Push(args.Value);

        if (!isBids amp;amp; "bids" == args.Value) {
            isBids = true;
        }
    }

    public void XmlEnd(object source, MessageEventArgs args) {
        xmlStack.Pop();

        if (isBids amp;amp; "bids" == args.Value) {
            isBids = false;
        }

        // Finished parsing the orderBookEvent
        if ("orderBook" == args.Value) {
            _priceChangeCallback(instrumentId, prices);
        }
    }

    public void XmlContent(object source, MessageEventArgs args) {

        switch (xmlStack.Peek()) {
        case "instrumentId":
            instrumentId = long.Parse(args.Value);
            break;

        case "price":
            currentPrice = decimal.Parse(args.Value);
            break;

        case "quantity":

            if (currentPrice != null) {
                decimal quantity = decimal.Parse(args.Value);

                if (prices.ContainsKey(currentPrice)) {
                    prices[currentPrice] = new PriceLevel();
                }
                PriceLevel priceLevel = prices[currentPrice];

                if (isBids) {
                    priceLevel.Bid = quantity;
                } else {
                    priceLevel.Offer = quantity;
                }
            }
            break;
        }
    }
}
  

Ответ №2:

сначала вам нужно получить все предложения и все ставки

 XDocument xmlDoc = XDocument.Load("TestFile.xml");


var bids = (from b in xmlDoc.Descendants("bids")
           select b).ToList();

var offers = (from o in xmlDoc.Descendants("offers")
           select o).ToList();
  

затем вы просто перебираете заявки и предложения и добавляете их в словарь… но, как кто-то сказал раньше… возможно, у вас возникнет проблема с тем, что на уровне цен будут установлены как ставки, так и предложения, если они имеют одинаковую цену

чтобы выполнить итерацию по списку, вы просто делаете это

 foreach (XElement e in bids)
{
   price = e.Element("price").Value;
   quantity = e.Element("quantity").Value;
   dictionary.add(price, new PriceLevel(quantity,null);
}
  

то же самое вы делаете для предложения… но опять же … вам, вероятно, придется проверить, существует ли этот ключ уже…

Ответ №3:

во-первых, я считаю, что ваш метод ввода в dictionary приведет к ошибке. Если не ошибаюсь, словарь не может иметь тот же ключ, поэтому, поскольку вы используете price в качестве ключа, вероятность того, что вы столкнетесь с этой проблемой, будет очень высокой.

Я не могу сказать о скорости, вам нужно протестировать. Но пока XDocument у меня работает нормально.
Используя XDocument, загрузите все xml-сообщение в эту переменную, например

 XDocument doc = XDocument.Load(message);
  

С doc вы можете использовать Linq для группировки их в bid и ask.

Как только вы достигнете этого, не должно возникнуть проблем с представлением ваших данных, поскольку вы уже получили цену и разделили их на bid и ask

Комментарии:

1. 1 за столкновение ключей, -1 за предложение XDocument , не зная, является ли это наиболее эффективным.

Ответ №4:

Мне удалось получить что-то вроде этого:

 public void messageParser()
    {
        int i = 0;
        bool readingBids = false;
        bool readingOffers = false;
        decimal price=0;
        int qty = 0;

        StreamReader sr = new StreamReader("..\..\sampleResponse.xml");

        XmlReader xmlReader = XmlReader.Create(sr);
        DateTime startTime = DateTime.Now;
        while (xmlReader.Read())
        {
            #region reading bids
            if (xmlReader.IsStartElement("bids"))
            {
                readingBids = true; 
                readingOffers = false; 
            }

            if (xmlReader.NodeType == XmlNodeType.EndElement amp;amp; xmlReader.Name == "bids")
            {
                readingBids = false;
                readingOffers = false;
            }

            if (readingBids == true)
            {
                if (xmlReader.IsStartElement("price"))
                    price = xmlReader.ReadElementContentAsDecimal();

                if (xmlReader.IsStartElement("quantity"))
                {
                    qty = xmlReader.ReadElementContentAsInt();
                    OnPricePointReceived(this, new MessageEventArgs(price, qty, "bid"));
                }
            }
            #endregion

            #region reading offers
            if (xmlReader.IsStartElement("offers"))
            { 
                readingBids = false; 
                readingOffers = true; 
            }

            if (xmlReader.NodeType == XmlNodeType.EndElement amp;amp; xmlReader.Name == "offers")
            {
                readingBids = false;
                readingOffers = false;
            }

            if (readingOffers == true)
            {
                if (xmlReader.IsStartElement("price"))
                    price = xmlReader.ReadElementContentAsDecimal();

                if (xmlReader.IsStartElement("quantity"))
                {
                    qty = xmlReader.ReadElementContentAsInt();
                    OnPricePointReceived(this, new MessageEventArgs(price, qty, "offer"));
                }
            }
            #endregion
        }
        DateTime stopTime = DateTime.Now;
        Console.WriteLine("time: {0}",stopTime - startTime);
        Console.ReadKey();
    }
}
  

Является ли это правильным решением проблемы? У меня есть некоторые сомнения относительно этого фрагмента кода:

  if (readingBids == true)
        {
            if (xmlReader.IsStartElement("price"))
                price = xmlReader.ReadElementContentAsDecimal();

            if (xmlReader.IsStartElement("quantity"))
            {
                qty = xmlReader.ReadElementContentAsInt();
                OnPricePointReceived(this, new MessageEventArgs(price, qty, "bid"));
            }
        }
  

Я запускаю событие OnPricePointReceived только тогда, когда мне удалось прочитать цену и кол-во. Однако, есть вероятность, что количество по заданной цене не будет (или нет). Как реализовать проверку подлинности, чтобы избежать ошибок, основанных на неполных сообщениях?