Блог

Главная - Вопросы по программированию - Извлечение данных из файла журнала HTTP для определенной строки

Извлечение данных из файла журнала HTTP для определенной строки

#search #text #full-text-search

#Поиск #текст #полнотекстовый поиск

Вопрос:

Привет, что я хочу сделать, это получить сведения о веб-сайте из файла журнала (см. Пример Ниже), требуются только данные между url= and the / ними.

Текст, который я хочу, будет выглядеть следующим образом:- url= http://rewards.ebay.com.au/ Это будет получено из файла, загруженного на локальный компьютер.

До сих пор мои навыки работы с Linux меня подводили, так как они очень ржавые.

 2016:10:07-09:22:08 remote httpproxy[5492]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="172.20.47.77" dstip="66.135.210.162" user="" group="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="528" request="0x176b8c00" url="http://rewards.ebay.com.au/ws/eBayISAPI.dll?GetRewardsInfoamp;item=112156322448amp;ShowCoupon=trueamp;ShowVoucher=falseamp;IsBidFlow=trueamp;IsViewItem=trueamp;item=112156322448amp;cguid=97fac6cc1530a629a7c13ed1f7ab0909amp;cb=jQuery17035599369188600694_1475803327599amp;_=1475803328055" referer="http://www.ebay.com.au/itm/1-6-SCALE-dragon-WW2-GERMAN-SS-OFFICERS-WHITE-PIPS-AND-DECORATIONS/112156322448?_trksid=p2060778.c100276.m3476amp;_trkparms=aid=222007&algo=SIC.MBE&ao=1&asc=20140813105702&meid=29ba022992ea4bd783400dd10e50825f&pid=100276&rk=3&rkt=4&sd=112152394027" error="" authtime="0" dnstime="108071" cattime="261877" avscantime="0" fullreqtime="1123523" device="1" auth="0" ua="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" exceptions="" category="158" reputation="trusted" categoryname="Auctions/Classifieds" content-type="application/json" application="ebay" app-id="134"
2016:10:07-09:22:09 remote httpproxy[5492]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="172.20.47.77" dstip="66.135.211.38" user="" group="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="5242" request="0x174b3800" url="http://srx.au.ebayrtm.com/rtm?RtmCmdamp;a=jsonamp;i=3Fw8hYwlfJGMGXyhgamp;g=97fabafb1530a63a3093c5c8ffd648eaamp;uf=1amp;c=1H4sIAAAAAAAAAFVSTW/iMBC98ytGWqmHVUo8Y8d2kKwqgtAibQIiqbhwIRBBqkIiSBalv35tsrtST/Pxxm9m3vhHfupguW+BSUA9IZqwAF6T/JmpCWNADOWo4UwbMWqEIMNGDYbCEFmHGQy0VKFLocn7pvSifVvVF5hXx+5aeln1VXpI1WXsJavUm9XlDdK6hahpPvtRQ1oZJEKhSGDIAw+RMKBQSC20ZzlVwEhqjczjEimQTAZSCI80oUKulQVtb6VNXvc3D97qoqjK27ZjjOG3Sf7mkuqzanfXHp4gOvwuL62FBsTRBP/W2VcHO9cAIPtfIISxhqNyhqwkGFjLpUnLu3WkeohDQ1pKEyobokE2Zq5OmGf3LnRtJAtEyB2L1dCXkE2" referer="http://www.ebay.com.au/itm/1-6-SCALE-dragon-WW2-GERMAN-SS-OFFICERS-WHITE-PIPS-AND-DECORATIONS/112156322448?_trksid=p2060778.c100276.m3476amp;_trkparms=aid=222007&algo=SIC.MBE&ao=1&asc=20140813105702&meid=29ba022992ea4bd783400dd10e50825f&pid=100276&rk=3&rkt=4&sd=112152394027" error="" authtime="0" dnstime="106880" cattime="271" avscantime="0" fullreqtime="1160152" device="1" auth="0" ua="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" exceptions="" category="158" reputation="neutral" categoryname="Auctions/Classifieds" content-type="application/x-javascript" application="ebay" app-id="134"
2016:10:07-09:22:09 remote httpproxy[5492]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="172.20.47.77" dstip="106.10.198.33" user="" group="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="4248" request="0xae92c00" url="https://ads.yahoo.com/" referer="" error="" authtime="0" dnstime="8" cattime="228" avscantime="0" fullreqtime="80037102" device="1" auth="0" ua="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" exceptions="" category="154" reputation="trusted" categoryname="Web Ads" application="yahoo" app-id="553"
2016:10:07-09:22:09 remote httpproxy[5492]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="172.20.47.77" dstip="172.217.25.161" user="" group="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="4631" request="0x16e8ea00" url="https://tpc.googlesyndication.com/" referer="" error="" authtime="0" dnstime="583136" cattime="241475" avscantime="0" fullreqtime="86706443" device="1" auth="0" ua="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" exceptions="" category="145" reputation="neutral" categoryname="Search Engines" application="googads" app-id="815"
2016:10:07-09:22:09 remote httpproxy[5492]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="172.20.47.77" dstip="172.217.25.161" user="" group="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="4631" request="0x18e4d600" url="https://tpc.googlesyndication.com/" referer="" error="" authtime="0" dnstime="583291" cattime="244652" avscantime="0" fullreqtime="86710584" device="1" auth="0" ua="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" exceptions="" category="145" reputation="neutral" categoryname="Search Engines" application="googads" app-id="815"
2016:10:07-09:22:09 remote httpproxy[5492]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="CONNECT" srcip="172.20.47.77" dstip="172.217.25.161" user="" group="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="4631" request="0xa209600" url="https://tpc.googlesyndication.com/" referer="" error="" authtime="0" dnstime="583533" cattime="243934" avscantime="0" fullreqtime="86711519" device="1" auth="0" ua="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" exceptions="" category="145" reputation="neutral" categoryname="Search Engines" application="googads" app-id="815"
2016:10:07-09:22:09 remote httpproxy[5492]: id="0001" severity="info" sys="SecureWeb" sub="http" name="http access" action="pass" method="GET" srcip="172.20.47.77" dstip="50.97.236.98" user="" group="" ad_domain="" statuscode="200" cached="0" profile="REF_DefaultHTTPProfile (Default Web Filter Profile)" filteraction="REF_DefaultHTTPCFFAction (Default content filter action)" size="957" request="0x16fa4c00" url="http://tags.bluekai.com/site/20267?ret=htmlamp;limit=4amp;btp=1amp;phint=eid=1650amp;phint=tcat=220amp;phint=crm=4amp;phint=cg=97fac6cc1530a629a7c13ed1f7ab0909amp;phint=btf=amp;phint=btp=:a:b:c:d:eamp;phint=gid=1amp;phint=inid=-99amp;phint=css=34amp;phint=c=0amp;phint=m=Namp;phint=aid=tfamp;phint=ps=1amp;phint=fm_segment=15:12,15:12amp;phint=pageid=2047675amp;phint=referrer=www.ebay.com.auamp;phint=user_type=22amp;phint=symphony=0" referer="http://www.ebay.com.au/itm/1-6-SCALE-dragon-WW2-GERMAN-SS-OFFICERS-WHITE-PIPS-AND-DECORATIONS/112156322448?_trksid=p2060778.c100276.m3476amp;_trkparms=aid=222007&algo=SIC.MBE&ao=1&asc=20140813105702&meid=29ba022992ea4bd783400dd10e50825f&pid=100276&rk=3&rkt=4&sd=112152394027" error="" authtime="0" dnstime="828" cattime="26036" avscantime="0" fullreqtime="647201" device="1" auth="0" ua="Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36" exceptions="" category="105" reputation="neutral" categoryname="Business" content-type="text/html" application="ebay" app-id="134"

Комментарии:

1. Не могли бы вы отформатировать его?

2. Привет, Манецуси, я не уверен

3. Собственно, я рассказал о форматировании текста вопроса. Извините за использование ярлыка.

4. Привет, Манецус, я не уверен, что вы подразумеваете под «форматированием». Каждая строка текста отображается, как указано выше, как новая строка, с текстом, который меня интересует, примерно на 3/4. (Пожалуйста, извините за мое непонимание, поскольку у меня была серьезная черепно-мозговая травма из-за автомобильной аварии, которая повлияла на мой языковой центр). Отметить