From 92be5697ff93c95ee7dccc1a6fd001b2a4b28901 Mon Sep 17 00:00:00 2001 From: Andreas Date: Thu, 17 Jan 2019 18:49:29 +0100 Subject: [PATCH] Sample for using https://webarchiv.onb.ac.at/api.html#/search/searchDomainname --- sample5.ipynb | 132 ++++++++++++++++++++++++++++++++++++++++++++++++++ 1 file changed, 132 insertions(+) create mode 100644 sample5.ipynb diff --git a/sample5.ipynb b/sample5.ipynb new file mode 100644 index 0000000..7ca3785 --- /dev/null +++ b/sample5.ipynb @@ -0,0 +1,132 @@ +{ + "cells": [ + { + "cell_type": "markdown", + "metadata": {}, + "source": [] + }, + { + "cell_type": "code", + "execution_count": 1, + "metadata": { + "collapsed": true + }, + "outputs": [], + "source": [ + "import requests\n", + "import json" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "Create a WebarchivSession Object with convenience methods for easy access with your API-Key " + ] + }, + { + "cell_type": "code", + "execution_count": 2, + "metadata": {}, + "outputs": [], + "source": [ + "from webarchiv import WebarchivSession\n", + "\n", + "apikey = 'Zz2tQls7fuaocX2pjrfc2npojqbGwXL2'\n", + "w = WebarchivSession(apikey)\n" + ] + }, + { + "cell_type": "markdown", + "metadata": {}, + "source": [ + "get all domain names from Webarchive Austria containing 'mozart'" + ] + }, + { + "cell_type": "code", + "execution_count": 3, + "metadata": {}, + "outputs": [ + { + "name": "stdout", + "output_type": "stream", + "text": [ + "375 Treffer\n1 : i-mozart.at\n2 : mozart.at\n3 : w-a-mozart.at\n4 : mozart4.at\n5 : mozart-2k6.at\n6 : mozart-rg.at\n7 : wa-mozart.at\n8 : mozarts.at\n9 : yd-mozart.at\n10 : mozart.co.at\n11 : mozart.or.at\n12 : mozart21.at\n13 : mozart22.at\n14 : mozart24.at\n15 : mozart2k6.at\n16 : mozart32.at\n17 : air-mozart.at\n18 : mozarter.at\n19 : fly-mozart.at\n20 : mozart.wien\n21 : mozart100.at\n22 : mozart428.at\n23 : mozartbus.at\n24 : mozartnow.at\n25 : rc-vie-mozart.at\n26 : mozarthof.at\n27 : mozartsbg.at\n28 : mozart-buch.at\n29 : mozart-foto.at\n30 : mozart-inst.at\n31 : viva-mozart.at\n32 : mozart-milk.at\n33 : mozartcup.at\n34 : cafe-mozart.at\n35 : mozart-tour.at\n36 : mozartino.at\n37 : 2006-mozart.at\n38 : soko-mozart.at\n39 : mozarteis.at\n40 : mozartuhr.at\n41 : mozartweb.at\n42 : mozart-2006.at\n43 : mozart-shop.at\n44 : mozart-wein.at\n45 : mozarteum.at\n46 : mozart4kids.at\n47 : mozart2006.at\n48 : mozart-house.at\n49 : mozart-media.at\n50 : mozartblick.at\n51 : mozartcloud.at\n52 : mozartconcerts.at\n53 : mozartdinnervienna.at\n54 : mozartdorf.at\n55 : mozartexpress.at\n56 : mozartfoto.at\n57 : mozartgarten.at\n58 : mozartgeburtshaus.at\n59 : mozarthauswien.at\n60 : mozartheim.at\n61 : mozartheute.at\n62 : mozartinjazz.at\n63 : mozartknabenchor.at\n64 : mozartlimousines.at\n65 : mozartorchester.at\n66 : mozartpraxis.at\n67 : mozartreise.at\n68 : mozartreisen.at\n69 : mozartreisentorte.at\n70 : mozartscan.at\n71 : mozartsessel.at\n72 : mozartsgeburtshaus.at\n73 : mozartshow.at\n74 : mozartstadt.at\n75 : mozarttravels.at\n76 : mozartvital.at\n77 : wa-mozart-2006.at\n78 : mozart-guide.at\n79 : mozart-meisl.at\n80 : mozart-reise.at\n81 : mozartakademie.at\n82 : mozartball.at\n83 : mozartcommunity.at\n84 : mozartdinnerconcert.at\n85 : mozarteumclub.at\n86 : mozarteumorchester.at\n87 : mozarteumquartett.at\n88 : mozartfonds.at\n89 : mozartgives.at\n90 : mozartglas.at\n91 : mozartguide.at\n92 : mozarthausvienna.at\n93 : mozarthotels.at\n94 : mozarthouse.at\n95 : mozarthousevienna.at\n96 : mozartkino.at\n97 : mozartkonzert.at\n98 : mozartkugeln.at\n99 : mozartlunch.at\n100 : mozartmining.at\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "101 : mozartmusik.at\n102 : mozartpantomime.at\n103 : mozartplatz.at\n104 : mozartplaysgolf.at\n105 : mozartried.at\n106 : mozartsalzburg.at\n107 : mozartsecurty.at\n108 : mozartstuben.at\n109 : mozartswohnhaus.at\n110 : mozarttaxi.at\n111 : mozarttown.at\n112 : mozartvienna.at\n113 : mozartwebdesign.at\n114 : mozartzopf.at\n115 : mozart-dorf.co.at\n116 : mozart-lunch.at\n117 : mozart-weine.at\n118 : mozartband.at\n119 : mozartbeer.at\n120 : mozartbibel.at\n121 : mozartbuch.at\n122 : mozartconcert.at\n123 : mozartcroissant.at\n124 : mozartforkids.at\n125 : mozartgolf.at\n126 : mozarthonig.at\n127 : mozartjahr.at\n128 : mozartkalender.at\n129 : mozartkugelshop.at\n130 : mozartkutscher.at\n131 : mozartlikoer.at\n132 : mozartmedia.at\n133 : mozartmobile.at\n134 : mozartmusikschule.at\n135 : mozartpokal.at\n136 : mozartspices.at\n137 : mozartstadtvienna.at\n138 : mozartticket.at\n139 : mozartweek.at\n140 : mozartwien.at\n141 : mozart-milch.at\n142 : mozart-woche.at\n143 : mozartbank.at\n144 : mozartcard.at\n145 : mozartchor.at\n146 : mozartdinner.at\n147 : mozartensemble.at\n148 : mozartfestival.at\n149 : mozartinarium.at\n150 : mozartinger.at\n151 : mozartones.at\n152 : mozartoper.at\n153 : mozartquelle.at\n154 : mozartreloaded.at\n155 : mozartscloud.at\n156 : mozarttravel.at\n157 : mozartyacht.at\n158 : mozartzeit.at\n159 : mozart-tours.at\n160 : mozart-yacht.at\n161 : mozartballs.at\n162 : mozartbier.at\n163 : mozartchocolate.at\n164 : mozartgmbh.at\n165 : mozarthaus.at\n166 : mozartiana.at\n167 : mozartintrance.at\n168 : mozartkugel.at\n169 : mozartmeisl.at\n170 : mozartnacht.at\n171 : mozartpower.at\n172 : mozartproject.at\n173 : mozartschoko.at\n174 : mozartschule.at\n175 : mozartstrudel.at\n176 : mozartstube.at\n177 : mozarttrophy.at\n178 : mozartwoche.at\n179 : mozartwohnhaus.at\n180 : mozart-linie.at\n181 : mozartacademy.at\n182 : mozartatheart.at\n183 : mozartbaer.at\n184 : mozartcity.at\n185 : mozartdigital.at\n186 : mozartdistillery.at\n187 : mozartgasse1.at\n188 : mozartguetesiegel.at\n189 : mozarthaussalzburg.at\n190 : mozartinchina.at\n191 : mozartinvienna.at\n192 : mozartinwien.at\n193 : mozartkonzerte.at\n194 : mozartkugeldreherland.at\n195 : mozartmania.at\n196 : mozartonline.at\n197 : mozartquartett.at\n198 : mozartradweg.at\n199 : mozartremixed.at\n200 : mozartschokolade.at\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "201 : mozartremixed.at\n202 : mozartschokolade.at\n203 : mozartschwein.at\n204 : mozartserenaden.at\n205 : mozartshake.at\n206 : mozartshop.at\n207 : mozarttorte.at\n208 : mozarttours.at\n209 : mozart-kugel.at\n210 : mozart-stadt.at\n211 : mozart-vital.at\n212 : mozartapfel.at\n213 : mozartcup.biz\n214 : mozartdinnerkonzert.at\n215 : mozartdiplom.at\n216 : mozartgasse.at\n217 : mozartgemeinde.at\n218 : mozartiarium.at\n219 : mozartland.at\n220 : mozartlinie.at\n221 : mozartmuseum.at\n222 : mozartmusical.at\n223 : mozartrequiem.at\n224 : mozartsalbe.at\n225 : mozartschrank.at\n226 : mozartsreisetorte.at\n227 : mozarttour.at\n228 : pizza-mozart.at\n229 : mozartgasse25.at\n230 : mozarteum4you.at\n231 : mozart-effect.at\n232 : mozart-kaffee.at\n233 : mozart-online.at\n234 : mozart-radweg.at\n235 : mozart-therme.at\n236 : oeh-mozarteum.at\n237 : kaffee-mozart.at\n238 : sound-of-mozart.at\n239 : cafe-mozart.wien\n240 : flying-mozart.at\n241 : mozart-vienna.at\n242 : mozartsalzburg.co.at\n243 : uni-mozarteum.at\n244 : mostly-mozart.at\n245 : mozart-effekt.at\n246 : mozart-kugeln.at\n247 : mozart-ticket.at\n248 : mozartdorf.co.at\n249 : mozartworld.co.at\n250 : planet-mozart.at\n251 : studio-mozart.at\n252 : mozart-reisen.at\n253 : mozart-travel.at\n254 : mozart-vital.com\n255 : mozarteum4ever.at\n256 : mozartkugel.co.at\n257 : mozart-museum.at\n258 : mozartshop.co.at\n259 : sem-mozarteum.at\n260 : mozart-rubedo.at\n261 : mozart-spices.at\n262 : mozart-trophy.at\n263 : mozartland.co.at\n264 : mozartlinz2006.at\n265 : amadeus-mozart.at\n266 : mozart-jahr-2006.at\n267 : mozarthof-graz.at\n268 : pension-mozart.at\n269 : mozart-gourmet.at\n270 : mozart-haus-wien.at\n271 : mozart-schloss.at\n272 : mozart-strudel.at\n273 : mozart-tickets.at\n274 : mozartmusical.wien\n275 : mozart-digital.at\n276 : mozartkugeln.wien\n277 : calling-mozart.at\n278 : kennt-ihr-mozart.at\n279 : mozart-concert.at\n280 : mozart-friends.at\n281 : mozart-konzert.at\n282 : austria-mozart.at\n283 : mozart-christl.at\n284 : mozart-derfilm.at\n285 : mozart-spirits.at\n286 : mozart-medical.at\n287 : mozart-stories.at\n288 : mozart-travels.at\n289 : mozartgemeinde-noe.at\n290 : mozart-science.at\n291 : mozart-vienna.co.at\n292 : mozart-konzerte.at\n293 : mozart-treuhand.at\n294 : cafe-mozart-maria.at\n295 : mozart-in-concert.at\n296 : mozart-salzburg.at\n297 : mirabell-mozart.at\n298 : mozart-plays-golf.at\n299 : mozart-rosegold.at\n300 : mozart-stueberl.at\n" + ] + }, + { + "name": "stdout", + "output_type": "stream", + "text": [ + "301 : mozartgemeinde-wien.at\n302 : mozartkugel-shop.at\n303 : mozartstube-wien.at\n304 : xn--mozartwrfel-zhb.at\n305 : goldkind-mozart.at\n306 : mozart-reloaded.at\n307 : mozarthaus-linz.at\n308 : mozartschule-wels.at\n309 : callshop-mozart.at\n310 : mozart-concerts.at\n311 : hotel-mozart-vital.at\n312 : mozart-in-residenz.at\n313 : mozartinger-tours.at\n314 : mozart-auschwitz.at\n315 : champagne-mozart.at\n316 : mozart-science-cds.at\n317 : forum-mozarthaus.at\n318 : forum-mozartplatz.at\n319 : mozart-in-salzburg.at\n320 : fotoatelier-mozart.at\n321 : mozart-schladming.at\n322 : mozart-distillerie.at\n323 : mozart-in-der-zukunft.at\n324 : mozarthaus-vienna.at\n325 : fuerst-mozartkugeln.at\n326 : kindergarten-mozart.at\n327 : mozart-distillers.at\n328 : mozart-gesamtwerk.at\n329 : mozart-schreibkultur.at\n330 : apartments-mozart.at\n331 : studentenverrein-mozart.at\n332 : mozart-immobilien.at\n333 : mozarter-salzburg.at\n334 : fuerst-mozartkugel.at\n335 : mozart-apartments.at\n336 : mozart-distillery.at\n337 : mozart-experience.at\n338 : mozart-in-residence.at\n339 : mozart-kinderbuch.at\n340 : mozartkugel-fabrik.at\n341 : mozartrequiem-altach.at\n342 : mozart-distillerie.com\n343 : mozarte-sigridhagn.at\n344 : mozartkugel-factory.at\n345 : stiftung-mozarteum.at\n346 : mozartiana-classics.at\n347 : mozartkugel-salzburg.at\n348 : mozart-dinner-concert.at\n349 : mozartstadt-salzburg.at\n350 : mozartrequiem-lustenau.at\n351 : mozart-pizza-salzburg.at\n352 : mozarteum-orchester.at\n353 : musiktheorie-mozarteum.at\n354 : blaeserphilharmonie-mozarteum.at\n355 : original-mozartkugel.com\n356 : musikanalyse-mozarteum.at\n357 : salzburg-mozart-players.at\n358 : wiener-mozart-orchester.at\n359 : salzburger-mozarttrio.at\n360 : seminarzentrum-mozartstrasse.at\n361 : feldenkraisausbildung-mozarthaus.at\n362 : viennaairport-mozarttaxi.at\n363 : salzburger-mozartmatineen.at\n364 : mozartgemeinde-klagenfurt.at\n365 : wolfgang-amadeus-mozart.at\n366 : zahnaerzte-mozartstrasse.at\n367 : die-tierische-mozartkugel.at\n368 : farnellinone-trifft-mozart.at\n369 : steffl-mozart-experience.at\n370 : mozart-salzburg-collection.at\n371 : mozart-apartments-salzburg.at\n372 : salzburg-collection-mozart.at\n373 : 2006mozart.at\n374 : mozart-dinner-konzert-salzburg.at\n375 : mozart-dinner-concert-salzburg.at\n" + ] + } + ], + "source": [ + "page = 1\n", + "pagesize = 100\n", + "remaining = 0\n", + "numberOfHits = 0\n", + "idx = 0\n", + "\n", + "while True:\n", + " response = w.domain_name_search('mozart', page, pagesize)\n", + " total = response.json()['total']\n", + " \n", + " if page == 1:\n", + " print(total, ' Treffer')\n", + " remaining = total\n", + " \n", + " for hit in response.json()['hits']:\n", + " idx = idx + 1\n", + " print(idx, ':', hit['value'])\n", + " remaining = remaining - 1\n", + " \n", + " if remaining == 0:\n", + " break\n", + " \n", + " page = page + 1\n", + " \n", + "\n", + "\n", + "\n" + ] + } + ], + "metadata": { + "kernelspec": { + "display_name": "Python 2", + "language": "python", + "name": "python2" + }, + "language_info": { + "codemirror_mode": { + "name": "ipython", + "version": 2 + }, + "file_extension": ".py", + "mimetype": "text/x-python", + "name": "python", + "nbconvert_exporter": "python", + "pygments_lexer": "ipython2", + "version": "2.7.6" + } + }, + "nbformat": 4, + "nbformat_minor": 0 +} -- GitLab