# 4.2 - Webarchive - Full Text Search¶

I want to find a specific term in all saved pages.

Let's start a WebarchivSession

In [1]:

    import webarchiv

    API_KEY = 'wGdLmWMlaM2V6j73V9zS0KHqBgfG67vJ'

    # If you want to allow us to count you as a unique visitor, please set allow_tracking to True
    s = webarchiv.WebarchivSession(API_KEY, allow_tracking=False)

We want to find the first occurrence of the term Westbalkanroute in the webarchive.

In [2]:

    r = s.fulltext_search('Westbalkanroute')

In [3]:

    r.json()

Out[3]:

    {'@context': 'https://webarchiv.onb.ac.at/contexts/fulltextsearchresult.jsonld',
     'requestid': '',
     'message': '',
     'returncode': 0,
     'total': 10,
     'type': 1,
     'took': 1299,
     'version': '0.1.0',
     'searchstring': 'westbalkanroute',
     'grouping': '',
     'subtype': 1,
     'hits': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151026192026/http://diepresse.com/home/politik/eu/index.do',
       'id': '6f8f23cc122d81337a2b7fcaa49c15c6',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'diepresse.com',
       'total': 60,
       'value': 'http://diepresse.com/home/politik/eu/index.do',
       'timestamp': '20151026192026',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151011172442/http://www.bmeia.gv.at',
       'id': 'be06ee190cdc65bb88d99a28b4f7ebe5',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'bmeia.gv.at',
       'total': 40,
       'value': 'http://www.bmeia.gv.at',
       'timestamp': '20151011172442',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151108183014/http://www.vorarlberg.spoe.at/index.php',
       'id': '01c1b572b8102b5c098ef3fb3662544b',
       'snapshotavailable': 0,
       'svgavailable': 1,
       'domain': 'spoe.at',
       'total': 25,
       'value': 'http://www.vorarlberg.spoe.at/index.php',
       'timestamp': '20151108183014',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151125175511/http://www.derstandard.at',
       'id': 'f5eb359c95bdabb8bb2f18010fae30b3',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'derstandard.at',
       'total': 22,
       'value': 'http://www.derstandard.at',
       'timestamp': '20151125175511',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20160320183921/http://www.wienerzeitung.at/nachrichten/oesterreich/politik/',
       'id': 'a20eaded8637f675d474bfa050aacc59',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'wienerzeitung.at',
       'total': 18,
       'value': 'http://www.wienerzeitung.at/nachrichten/oesterreich/politik/',
       'timestamp': '20160320183921',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170117185625/http://www.bmi.gv.at',
       'id': 'a51185f51069c4b5427984c0d89ba824',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'bmi.gv.at',
       'total': 11,
       'value': 'http://www.bmi.gv.at',
       'timestamp': '20170117185625',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170305185947/http://steiermark.orf.at',
       'id': 'f69b2f50eafce9e3a7aef0fa4cb172e0',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'orf.at',
       'total': 10,
       'value': 'http://steiermark.orf.at',
       'timestamp': '20170305185947',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20160321195421/http://www.vol.at/news/politik',
       'id': '798b43237a20b8b6aebf535420011d6e',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'vol.at',
       'total': 9,
       'value': 'http://www.vol.at/news/politik',
       'timestamp': '20160321195421',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170221190941/http://jachwe.wordpress.com',
       'id': 'ae3fa41d96d17bf7262c3128ab14e884',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'wordpress.com',
       'total': 6,
       'value': 'http://jachwe.wordpress.com',
       'timestamp': '20170221190941',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151115182507/http://www.politikeronline.at',
       'id': 'a0a9b7e9429f227ca8448fb87a20dfe3',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'politikeronline.at',
       'total': 4,
       'value': 'http://www.politikeronline.at',
       'timestamp': '20151115182507',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]}]}

Let's use jsonpath to make collecting values from the result JSON easier.

In [4]:

    from jsonpath_ng import parse

    def jp(http_response, query_string):
        compiled = parse(query_string)
        json = http_response.json()
        return [match.value for match in compiled.find(json)]

In [5]:

    all_domains = lambda r: jp(r, '$.hits[*].domain')
    number_hits = lambda r: jp(r, '$.hits[*].total')

In [6]:

    number_hits(r)

Out[6]:

    [60, 40, 25, 22, 18, 11, 10, 9, 6, 4]

In [7]:

    all_domains(r)

Out[7]:

    ['diepresse.com',
     'bmeia.gv.at',
     'spoe.at',
     'derstandard.at',
     'wienerzeitung.at',
     'bmi.gv.at',
     'orf.at',
     'vol.at',
     'wordpress.com',
     'politikeronline.at']

We get one hit per domain. If we want to find the first occurrence, we have to follow the rabbit down the hole:

The last search gave us all domains. We need to get all URLs for each of these domains, and then all capture dates for every URL, and select the first one.

Steps:

- Get all domains (already done) `s.fulltext_search()`
- Get all URLs `s.fulltext_search_within_domain()`
- Get all captures (dates) `s.fulltext_search_within_url()`

Let's execute the single steps with a single domain and a single URL respectively, then automate the search over all domains and URLs.

We'll use the first returned domain `diepresse.com`

In [8]:

    presse_r = s.fulltext_search_within_domain('Westbalkanroute', domain='diepresse.com')

In [9]:

    presse_r.json()

Out[9]:

    {'@context': 'https://webarchiv.onb.ac.at/contexts/fulltextsearchresult.jsonld',
     'requestid': '',
     'message': '',
     'returncode': 0,
     'total': 3,
     'type': 1,
     'took': 1785,
     'version': '0.1.0',
     'searchstring': 'Westbalkanroute',
     'grouping': 'diepresse.com',
     'subtype': 2,
     'hits': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170523182542/http://diepresse.com',
       'id': '3ef624abfe4a831fcf92dd084b60e221',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'http://diepresse.com',
       'total': 52,
       'value': 'http://diepresse.com',
       'timestamp': '20170523182542',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170210180036/http://www.diepresse.com',
       'id': '5bc09002b8151a0bc1b72507ecb2b885',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'http://www.diepresse.com',
       'total': 7,
       'value': 'http://www.diepresse.com',
       'timestamp': '20170210180036',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151026192026/http://diepresse.com/home/politik/eu/index.do',
       'id': '6f8f23cc122d81337a2b7fcaa49c15c6',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': 'http://diepresse.com/home/politik/eu/index.do',
       'total': 1,
       'value': 'http://diepresse.com/home/politik/eu/index.do',
       'timestamp': '20151026192026',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]}]}

We'll use the first returned URL ('seed') `http://diepresse.com`

In [10]:

    diepresse_r = s.fulltext_search_within_url('Westbalkanroute', url='http://diepresse.com', pagesize=52)

In [11]:

    diepresse_r.json()

Out[11]:

    {'@context': 'https://webarchiv.onb.ac.at/contexts/fulltextsearchresult.jsonld',
     'requestid': '',
     'message': '',
     'returncode': 0,
     'total': 52,
     'type': 1,
     'took': 1103,
     'version': '0.1.0',
     'searchstring': 'Westbalkanroute',
     'grouping': 'http://diepresse.com',
     'subtype': 3,
     'hits': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151026182143/http://diepresse.com',
       'id': 'cd5b004aa4e87d9b45e07c1a25315460',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20151026182143',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151027031242/http://diepresse.com',
       'id': '917ca1de057bfb18524756f9b11b3a9f',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20151027031242',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151119183028/http://diepresse.com',
       'id': '59090f47ac0c8f4e0a5859669c36388c',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20151119183028',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20151216144418/http://diepresse.com',
       'id': 'a82320bb154076295fe3b3f9a1609471',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20151216144418',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20160923170917/http://diepresse.com',
       'id': '8a9e74c0bb1b36d4ea11f3d51bf2cf68',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20160923170917',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170210180036/http://diepresse.com',
       'id': 'a1c510c19cb96e6717053a565de8dba8',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20170210180036',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170210185606/http://diepresse.com',
       'id': '35f47bb670dd41f734fa277051b4a4e4',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20170210185606',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170523170736/http://diepresse.com',
       'id': '8a92dab60ace3d913d205277c2bc4bda',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20170523170736',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170523181411/http://diepresse.com',
       'id': '875d3d08b9c767b9d06725ee4bffad5c',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20170523181411',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170523182542/http://diepresse.com',
       'id': '3ef624abfe4a831fcf92dd084b60e221',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20170523182542',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20170523183123/http://diepresse.com',
       'id': '5776e809c36ddca29f8bd89c489358f7',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20170523183123',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171002155240/http://diepresse.com',
       'id': 'e4db42e444f4bfa11866da8992fbb21e',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171002155240',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171002160616/http://diepresse.com',
       'id': 'eb6a1c5fe8de15093ee335a0bac8852e',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171002160616',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171002174537/http://diepresse.com',
       'id': 'b333cd6e2abc8f3b65018b3ea168af5d',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171002174537',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171002175606/http://diepresse.com',
       'id': '2333bc82d1e28535ef9c5dff404bd762',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171002175606',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171002175625/http://diepresse.com',
       'id': 'd1d802cb6cee93908a50987d058d3ab4',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171002175625',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171002184049/http://diepresse.com',
       'id': '63083fe3d6d8890219b8688460f97fef',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171002184049',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171002185104/http://diepresse.com',
       'id': 'c89c9a0b2c2a0cf41d6b7034074072e6',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171002185104',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171002212111/http://diepresse.com',
       'id': 'e5ffd9af786f8a17f4898e70eab5b7ff',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171002212111',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003033941/http://diepresse.com',
       'id': '6c8961059555319d141faf1807ad8ef5',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003033941',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003070039/http://diepresse.com',
       'id': 'e8fd4b360fe9aeb1c2851a83a10af824',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003070039',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003084602/http://diepresse.com',
       'id': '6981685e20c142e9f675125b313bb078',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003084602',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003092853/http://diepresse.com',
       'id': 'abce25d94557ab05352f8a710dc2e010',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003092853',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003115811/http://diepresse.com',
       'id': '3e2db855ee3e8e2be700440df8ae6867',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003115811',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003123112/http://diepresse.com',
       'id': '65c58a98824b3ab983c50ac3e0214d5a',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003123112',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003132945/http://diepresse.com',
       'id': '3008c7cba008bf78f97f953308972473',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003132945',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003164701/http://diepresse.com',
       'id': '62fb975397349f5b35a82e431e06bafc',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003164701',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003165723/http://diepresse.com',
       'id': '49b97ab42aa2fe1b740321ed6e975b47',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003165723',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003180924/http://diepresse.com',
       'id': '80a6a6008d6232b43c1d7a37fc6eb829',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003180924',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003181543/http://diepresse.com',
       'id': '26bfdfb84b42aa6bdcfa812a4a8db23b',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003181543',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171003181627/http://diepresse.com',
       'id': '5e17e7e5707a9cbe7f300ce8f4cfe027',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171003181627',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171004164632/http://diepresse.com',
       'id': '5c6a8f435652a50a5642be28a1ca2493',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171004164632',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171004165546/http://diepresse.com',
       'id': '7d37634d0fe34bdf7f314c862599461d',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171004165546',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171004165548/http://diepresse.com',
       'id': 'f05eb43b37217a355a4639222523da56',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171004165548',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171004181003/http://diepresse.com',
       'id': '41cfb3dc400932d0679787c6cff87a55',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171004181003',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171004181807/http://diepresse.com',
       'id': '71ca86ca0c4b2c51ab893181bae8e4e4',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171004181807',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171004190613/http://diepresse.com',
       'id': 'f1771c5c8c96ffab6ef5d5de4e011c39',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171004190613',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171005002251/http://diepresse.com',
       'id': 'b9353c4ac3c18d87ca4be9c29c113dcd',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171005002251',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171005013456/http://diepresse.com',
       'id': 'ff5f72c8a1f5e54814d5c3aabc1ae9a2',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171005013456',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171013152553/http://diepresse.com',
       'id': '6a2c998d606c326d571e2954e316677f',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171013152553',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171013173505/http://diepresse.com',
       'id': '15e06c8aef7eff6b240292884a23b3e7',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171013173505',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171013174308/http://diepresse.com',
       'id': '0f87d81c5794388bac78b09a71c22995',
       'snapshotavailable': 0,
       'svgavailable': 1,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171013174308',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171013175058/http://diepresse.com',
       'id': '32d0f3336d26c92b056f3d5bf1b80e5c',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171013175058',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171013183341/http://diepresse.com',
       'id': '084a00afa920b3c934a82e0e28dda120',
       'snapshotavailable': 0,
       'svgavailable': 1,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171013183341',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171013184235/http://diepresse.com',
       'id': '110c1c117ea56390ce9d5b517abe6281',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171013184235',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171013184257/http://diepresse.com',
       'id': 'baedfd42ad79096539548f47c38767da',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171013184257',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171013190102/http://diepresse.com',
       'id': '659c2f61ea7d6362c70c75d44d1e84a4',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171013190102',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171014174350/http://diepresse.com',
       'id': '9677f6b32b361b495147682c729f2c10',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171014174350',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171014174853/http://diepresse.com',
       'id': '198aabe1082aa0c7840b80f3fb1ef19a',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171014174853',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171014175103/http://diepresse.com',
       'id': '7e5e8b94739546b63ebf0c82a92ae175',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171014175103',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171014175508/http://diepresse.com',
       'id': '5ef3e90835730b74f4d23e200c0cc691',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171014175508',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]},
      {'@context': 'https://webarchiv.onb.ac.at/contexts/eshit.jsonld',
       '@id': 'http://wayback/web/20171014175545/http://diepresse.com',
       'id': '29cd0c0df2d41b3e40bdca6962fdd349',
       'snapshotavailable': 0,
       'svgavailable': 0,
       'domain': None,
       'total': 0,
       'value': 'http://diepresse.com',
       'timestamp': '20171014175545',
       'restriction': 1,
       'locked': 1,
       'highlights': [{'@context': 'https://webarchiv.onb.ac.at/contexts/eshighlight.jsonld',
         'typ': '',
         'highlightedtext': 'Der Inhalt ist gesperrt und kann nicht angezeigt werden'}]}],
     'page': 1,
     'pagesize': 52}

Ok, in `timestamp` are all the capture dates for this URL.

The date format is `YYYYMMDDHHmmss`, no idea what timezone TODO

Collect them all:

In [12]:

    all_captures = lambda r: jp(r, '$.hits[*].timestamp')

In [13]:

    cap = all_captures(diepresse_r)
    cap[:5]

Out[13]:

    ['20151026182143',
     '20151027031242',
     '20151119183028',
     '20151216144418',
     '20160923170917']

They sort neatly alphabetically

In [14]:

    min(cap)

Out[14]:

    '20151026182143'

## Batch Processing¶

In [15]:

    all_domains = lambda r: jp(r, '$.hits[*].domain')
    all_urls = lambda r: jp(r, '$.hits[*].value')
    all_captures = lambda r: jp(r, '$.hits[*].timestamp')
    number_hits = lambda r: jp(r, '$.hits[*].total')

    def search_deep_for_first_captures(query_string):
        ft_r = s.fulltext_search(query_string)
        first_hit_for_url = {}
        for domain in all_domains(ft_r):
            ft_dom_r = s.fulltext_search_within_domain(query_string, domain=domain)
            urls = all_urls(ft_dom_r)
            hits = number_hits(ft_dom_r)
            for url, pagesize in zip(urls, hits):
                ft_url_r = s.fulltext_search_within_url(query_string, url=url, pagesize=pagesize)
                captures = all_captures(ft_url_r)
                min_capture = min(captures)
                first_hit_for_url[url] = min_capture
        return min(first_hit_for_url.values()), first_hit_for_url

In [16]:

    search_deep_for_first_captures('Westbalkanroute')

Out[16]:

    ('20150911190447',
     {'http://diepresse.com': '20151026182143',
      'http://www.diepresse.com': '20151026182143',
      'http://diepresse.com/home/politik/eu/index.do': '20151026192026',
      'http://www.bmeia.gv.at': '20151010185208',
      'http://www.vorarlberg.spoe.at/index.php': '20151022181252',
      'http://derstandard.at': '20150911190447',
      'http://www.derstandard.at': '20150911190447',
      'http://www.wienerzeitung.at': '20151028214142',
      'http://www.wienerzeitung.at/': '20151028214142',
      'http://www.wienerzeitung.at/nachrichten/oesterreich/politik/': '20160313183203',
      'http://www.bmi.gv.at': '20170110140316',
      'http://orf.at/': '20160313195759',
      'http://steiermark.orf.at': '20170304194626',
      'http://www.orf.at': '20160313195759',
      'http://news.orf.at': '20160313195751',
      'http://news.orf.at/': '20160313195751',
      'http://salzburg.orf.at': '20160418181246',
      'http://salzburg.orf.at/': '20160418181246',
      'http://www.vol.at/news/politik': '20151026182823',
      'http://www.vol.at': '20160320181655',
      'http://www.vol.at/': '20160320181655',
      'http://jachwe.wordpress.com': '20170220181340',
      'https://jachwe.wordpress.com': '20170220181340',
      'http://www.politikeronline.at': '20151115182507'})