_ Git - youtube-dl/blob - youtube_dl/extractor/vier.py

   1 # coding: utf-8
   2 from __future__ import unicode_literals
   3
   4 import re
   5 import itertools
   6
   7 from .common import InfoExtractor
   8 from ..utils import (
   9     ExtractorError,
  10     urlencode_postdata,
  11 )
  12
  13
  14 class VierIE(InfoExtractor):
  15     IE_NAME = 'vier'
  16     IE_DESC = 'vier.be and vijf.be'
  17     _VALID_URL = r'https?://(?:www\.)?(?P<site>vier|vijf)\.be/(?:[^/]+/videos/(?P<display_id>[^/]+)(?:/(?P<id>\d+))?|video/v3/embed/(?P<embed_id>\d+))'
  18     _NETRC_MACHINE = 'vier'
  19     _TESTS = [{
  20         'url': 'http://www.vier.be/planb/videos/het-wordt-warm-de-moestuin/16129',
  21         'info_dict': {
  22             'id': '16129',
  23             'display_id': 'het-wordt-warm-de-moestuin',
  24             'ext': 'mp4',
  25             'title': 'Het wordt warm in De Moestuin',
  26             'description': 'De vele uren werk eisen hun tol. Wim droomt van assistentie...',
  27         },
  28         'params': {
  29             # m3u8 download
  30             'skip_download': True,
  31         },
  32         # 'skip': 'Requires account credentials',
  33     }, {
  34         'url': 'http://www.vijf.be/temptationisland/videos/zo-grappig-temptation-island-hosts-moeten-kiezen-tussen-onmogelijke-dilemmas/2561614',
  35         'info_dict': {
  36             'id': '2561614',
  37             'display_id': 'zo-grappig-temptation-island-hosts-moeten-kiezen-tussen-onmogelijke-dilemmas',
  38             'ext': 'mp4',
  39             'title': 'EXTRA: Temptation Island hosts moeten kiezen tussen onmogelijke dilemma\'s',
  40             'description': 'Het spel is simpel: Annelien Coorevits en Rick Brandsteder krijgen telkens 2 dilemma\'s voorgeschoteld en ze MOETEN een keuze maken.',
  41         },
  42         'params': {
  43             # m3u8 download
  44             'skip_download': True,
  45         },
  46     }, {
  47         'url': 'http://www.vier.be/janigaat/videos/jani-gaat-naar-tokio-aflevering-4/2674839',
  48         'info_dict': {
  49             'id': '2674839',
  50             'display_id': 'jani-gaat-naar-tokio-aflevering-4',
  51             'ext': 'mp4',
  52             'title': 'Jani gaat naar Tokio - Aflevering 4',
  53             'description': 'Bekijk hier de volledige vierde aflevering van het 2de seizoen van Jani gaat...',
  54         },
  55         'params': {
  56             # m3u8 download
  57             'skip_download': True,
  58         },
  59         'skip': 'Requires account credentials',
  60     }, {
  61         'url': 'http://www.vier.be/janigaat/videos/jani-gaat-naar-tokio-aflevering-4/2674839',
  62         'info_dict': {
  63             'id': '2674839',
  64             'display_id': 'jani-gaat-naar-tokio-aflevering-4',
  65             'ext': 'mp4',
  66             'title': 'jani-gaat-naar-tokio-aflevering-4',
  67         },
  68         'params': {
  69             # m3u8 download
  70             'skip_download': True,
  71         },
  72         'expected_warnings': ['Log in to extract metadata'],
  73     }, {
  74         'url': 'http://www.vier.be/planb/videos/mieren-herders-van-de-bladluizen',
  75         'only_matching': True,
  76     }, {
  77         'url': 'http://www.vier.be/video/v3/embed/16129',
  78         'only_matching': True,
  79     }]
  80
  81     def _real_initialize(self):
  82         self._logged_in = False
  83
  84     def _login(self, site):
  85         username, password = self._get_login_info()
  86         if username is None or password is None:
  87             return
  88
  89         login_page = self._download_webpage(
  90             'http://www.%s.be/user/login' % site,
  91             None, note='Logging in', errnote='Unable to log in',
  92             data=urlencode_postdata({
  93                 'form_id': 'user_login',
  94                 'name': username,
  95                 'pass': password,
  96             }),
  97             headers={'Content-Type': 'application/x-www-form-urlencoded'})
  98
  99         login_error = self._html_search_regex(
 100             r'(?s)<div class="messages error">\s*<div>\s*<h2.+?</h2>(.+?)<',
 101             login_page, 'login error', default=None)
 102         if login_error:
 103             self.report_warning('Unable to log in: %s' % login_error)
 104         else:
 105             self._logged_in = True
 106
 107     def _real_extract(self, url):
 108         mobj = re.match(self._VALID_URL, url)
 109         embed_id = mobj.group('embed_id')
 110         display_id = mobj.group('display_id') or embed_id
 111         video_id = mobj.group('id') or embed_id
 112         site = mobj.group('site')
 113
 114         if not self._logged_in:
 115             self._login(site)
 116
 117         webpage = self._download_webpage(url, display_id)
 118
 119         if r'id="user-login"' in webpage:
 120             self.report_warning(
 121                 'Log in to extract metadata', video_id=display_id)
 122             webpage = self._download_webpage(
 123                 'http://www.%s.be/video/v3/embed/%s' % (site, video_id),
 124                 display_id)
 125
 126         video_id = self._search_regex(
 127             [r'data-nid="(\d+)"', r'"nid"\s*:\s*"(\d+)"'],
 128             webpage, 'video id', default=video_id)
 129         application = self._search_regex(
 130             [r'data-application="([^"]+)"', r'"application"\s*:\s*"([^"]+)"'],
 131             webpage, 'application', default=site + '_vod')
 132         filename = self._search_regex(
 133             [r'data-filename="([^"]+)"', r'"filename"\s*:\s*"([^"]+)"'],
 134             webpage, 'filename')
 135
 136         playlist_url = 'http://vod.streamcloud.be/%s/_definst_/mp4:%s.mp4/playlist.m3u8' % (application, filename)
 137         formats = self._extract_wowza_formats(playlist_url, display_id, skip_protocols=['dash'])
 138         self._sort_formats(formats)
 139
 140         title = self._og_search_title(webpage, default=display_id)
 141         description = self._og_search_description(webpage, default=None)
 142         thumbnail = self._og_search_thumbnail(webpage, default=None)
 143
 144         return {
 145             'id': video_id,
 146             'display_id': display_id,
 147             'title': title,
 148             'description': description,
 149             'thumbnail': thumbnail,
 150             'formats': formats,
 151         }
 152
 153
 154 class VierVideosIE(InfoExtractor):
 155     IE_NAME = 'vier:videos'
 156     _VALID_URL = r'https?://(?:www\.)?(?P<site>vier|vijf)\.be/(?P<program>[^/]+)/videos(?:\?.*\bpage=(?P<page>\d+)|$)'
 157     _TESTS = [{
 158         'url': 'http://www.vier.be/demoestuin/videos',
 159         'info_dict': {
 160             'id': 'demoestuin',
 161         },
 162         'playlist_mincount': 153,
 163     }, {
 164         'url': 'http://www.vijf.be/temptationisland/videos',
 165         'info_dict': {
 166             'id': 'temptationisland',
 167         },
 168         'playlist_mincount': 159,
 169     }, {
 170         'url': 'http://www.vier.be/demoestuin/videos?page=6',
 171         'info_dict': {
 172             'id': 'demoestuin-page6',
 173         },
 174         'playlist_mincount': 20,
 175     }, {
 176         'url': 'http://www.vier.be/demoestuin/videos?page=7',
 177         'info_dict': {
 178             'id': 'demoestuin-page7',
 179         },
 180         'playlist_mincount': 13,
 181     }]
 182
 183     def _real_extract(self, url):
 184         mobj = re.match(self._VALID_URL, url)
 185         program = mobj.group('program')
 186         site = mobj.group('site')
 187
 188         page_id = mobj.group('page')
 189         if page_id:
 190             page_id = int(page_id)
 191             start_page = page_id
 192             playlist_id = '%s-page%d' % (program, page_id)
 193         else:
 194             start_page = 0
 195             playlist_id = program
 196
 197         entries = []
 198         for current_page_id in itertools.count(start_page):
 199             current_page = self._download_webpage(
 200                 'http://www.%s.be/%s/videos?page=%d' % (site, program, current_page_id),
 201                 program,
 202                 'Downloading page %d' % (current_page_id + 1))
 203             page_entries = [
 204                 self.url_result('http://www.' + site + '.be' + video_url, 'Vier')
 205                 for video_url in re.findall(
 206                     r'<h[23]><a href="(/[^/]+/videos/[^/]+(?:/\d+)?)">', current_page)]
 207             entries.extend(page_entries)
 208             if page_id or '>Meer<' not in current_page:
 209                 break
 210
 211         return self.playlist_result(entries, playlist_id)