Блог

Мне нужно преобразовать файл журнала (веб-прокси-сервер Squid) в файл CSV, чтобы его можно было загрузить в powerpivot для анализа запросов. Итак, с чего мне начать, любая помощь была бы настоятельно оценена. Я должен использовать язык C # для этой задачи, журнал выглядит следующим образом:

Формат: Временная метка, прошедшее действие клиента / Размер кода, Иерархия идентификаторов URI метода / Из содержимого

1473546438.145 917 5.45.107.68 TCP_DENIED/403 4114 ПОЛУЧИТЬ http://atlantis.pennergame.de/pet / - НЕТ /- текст /html
1473546439.111 3 146.148.96.13 TCP_DENIED/403 4604 POST http://mobiuas.ebay.com/services/mobile/v1/UserAuthenticationService - НЕТ /- текст /html
1473546439.865 358 212.83.168.7 TCP_DENIED/403 3955 ПОЛУЧАЕМ http://www.theshadehouse.com/left-sidebar-post / - НЕТ /- текст /html
1473546439.985 218 185.5.97.68 TCP_DENIED/403 3600 ПОЛУЧИТЬ http://www.google.pl/search ? - НЕТ /- текст /html
1473546440.341 2 146.148.96.13 TCP_DENIED/403 4604 СООБЩЕНИЕ http://mobiuas.ebay.com/services/mobile/v1/UserAuthenticationService - НЕТ /- текст /html
1473546440.840 403 115.29.46.240 TCP_DENIED/403 4430 СООБЩЕНИЕ http://et.airchina.com.cn/fhx/consumeRecord/getCardConsumeRecordList.htm - НЕТ /- текст /html
1473546441.486 2 52.41.27.39 TCP_DENIED/403 3813 СООБЩЕНИЕ http://www.deezer.com/ajax/action.php - НЕТ /- текст /html
1473546441.596 2 146.148.96.13 TCP_DENIED/403 4604 СООБЩЕНИЕ http://mobiuas.ebay.com/services/mobile/v1/UserAuthenticationService - НЕТ /- текст /html

Он уже близок к CSV, поэтому прочитайте его построчно и немного очистите каждую строку:

 ...
line = line
  .Replace("   ", " ")  // compress 3 spaces to 1
  .Replace("  ", " ")   // compress 2 spaces to 1
  .Replace("  ", " ")   // compress 2 spaces to 1, again
  .Replace(" ", "|")    // replace space by '|'
  .Replace(" - ", "|"); // replace  -  by '|'
  

Возможно, вы захотите изменить это для полей типа TCP_DENIED /403 .

это дает вам '|' разделенную строку. Легко конвертировать в любой разделитель, который вам нужен. Или разделить его:

 // write it out or process it further    
string[] parts = line.split('|');
  

 public static class SquidWebProxyServerCommaSeparatedWriter
{
    public static void WriteToCSV(string destination, IEnumerable<SquidWebProxyServerLogEntry> serverLogEntries)
    {
        var lines = serverLogEntries.Select(ConvertToLine);

        File.WriteAllLines(destination, lines);
    }

    private static string ConvertToLine(SquidWebProxyServerLogEntry serverLogEntry)
    {
        return string.Join(@",", serverLogEntry.Timestamp, serverLogEntry.Elapsed.ToString(),
            serverLogEntry.ClientIPAddress, serverLogEntry.ActionCode, serverLogEntry.Size.ToString(),
            serverLogEntry.Method.ToString(), serverLogEntry.Uri, serverLogEntry.Identity,
            serverLogEntry.HierarchyFrom, serverLogEntry.MimeType);
    }
}    

public static class SquidWebProxyServerLogParser
{
    public static IEnumerable<SquidWebProxyServerLogEntry> Parse(FileInfo fileInfo)
    {
        using (var streamReader = fileInfo.OpenText())
        {
            string row;

            while ((row = streamReader.ReadLine()) != null)
            {
                yield return ParseRow(row)
            }
        }
    }

    private static SquidWebProxyServerLogEntry ParseRow(string row)
    {
        var fields = row.Split(new[] {"t", " "}, StringSplitOptions.None);

        return new SquidWebProxyServerLogEntry
        {
            Timestamp = fields[0],
            Elapsed = int.Parse(fields[1]),
            ClientIPAddress = fields[2],
            ActionCode = fields[3],
            Size = int.Parse(fields[4]),
            Method =
                (SquidWebProxyServerLogEntry.MethodType)
                Enum.Parse(typeof(SquidWebProxyServerLogEntry.MethodType), fields[5]),
            Uri = fields[6],
            Identity = fields[7],
            HierarchyFrom = fields[8],
            MimeType = fields[9]
        };
    }

    public static IEnumerable<SquidWebProxyServerLogEntry> Parse(IEnumerable<string> rows) => rows.Select(ParseRow);
}

public sealed class SquidWebProxyServerLogEntry
{
    public enum MethodType
    {
        Get = 0,
        Post = 1,
        Put = 2
    }

    public string Timestamp { get; set; }
    public int Elapsed { get; set; }
    public string ClientIPAddress { get; set; }
    public string ActionCode { get; set; }
    public int Size { get; set; }
    public MethodType Method { get; set; }
    public string Uri { get; set; }
    public string Identity { get; set; }
    public string HierarchyFrom { get; set; }
    public string MimeType { get; set; }
}
  

CSV — это файл с разделителями, разделителем полей которого является ,. Почти все программы позволяют указывать разные разделители полей и записей, используя , и n по умолчанию.

Ваш файл можно было бы рассматривать как разделитель, если бы он не содержал нескольких пробелов для отступов. Вы можете заменить несколько пробелов одним, используя регулярное выражение s{2,} , например:

 var regex=new Regex(@"s{2,}");
var original=File.ReadAllText(somePath);
var delimited=regex.Replace(original," ");
File.WriteAllText(somePath,delimited);
  

Power BI Desktop уже позволяет использовать пробел в качестве разделителя. Даже если бы этого не произошло, вы могли бы просто заменить все пробелы запятой, изменив шаблон на s , т.Е.:

 var regex=new Regex(@"s ");
...
var delimited=regex.Replace(original,",");
...
  

Файлы журналов большие, поэтому очень хорошей идеей будет уменьшить объем используемой ими памяти. Вы можете избежать чтения всего файла в памяти, если используете ReadLines для чтения по одной строке за раз, выполните замену и запишите ее:

 using(var writer=File.CreateText(targetPath))
{
    foreach(var line in File.ReadLines(somePath))
    {
        var newline=regex.Replace(line," ");
        writer.WriteLine(newline);
    }
}
  

В отличие от ReadAllLines , который загружает все строки в массив, ReadLines это итератор, который считывает и возвращает по одной строке за раз.