_ Git - youtube-dl/blob - youtube_dl/extractor/vier.py

   1 # coding: utf-8
   2 from __future__ import unicode_literals
   3
   4 import re
   5 import itertools
   6
   7 from .common import InfoExtractor
   8 from ..utils import urlencode_postdata
   9
  10
  11 class VierIE(InfoExtractor):
  12     IE_NAME = 'vier'
  13     IE_DESC = 'vier.be and vijf.be'
  14     _VALID_URL = r'https?://(?:www\.)?(?P<site>vier|vijf)\.be/(?:[^/]+/videos/(?P<display_id>[^/]+)(?:/(?P<id>\d+))?|video/v3/embed/(?P<embed_id>\d+))'
  15     _NETRC_MACHINE = 'vier'
  16     _TESTS = [{
  17         'url': 'http://www.vier.be/planb/videos/het-wordt-warm-de-moestuin/16129',
  18         'md5': 'e4ae2054a6b040ef1e289e20d111b46e',
  19         'info_dict': {
  20             'id': '16129',
  21             'display_id': 'het-wordt-warm-de-moestuin',
  22             'ext': 'mp4',
  23             'title': 'Het wordt warm in De Moestuin',
  24             'description': 'De vele uren werk eisen hun tol. Wim droomt van assistentie...',
  25         },
  26     }, {
  27         'url': 'http://www.vijf.be/temptationisland/videos/zo-grappig-temptation-island-hosts-moeten-kiezen-tussen-onmogelijke-dilemmas/2561614',
  28         'info_dict': {
  29             'id': '2561614',
  30             'display_id': 'zo-grappig-temptation-island-hosts-moeten-kiezen-tussen-onmogelijke-dilemmas',
  31             'ext': 'mp4',
  32             'title': 'md5:84f45fe48b8c1fa296a7f6d208d080a7',
  33             'description': 'md5:0356d4981e58b8cbee19355cbd51a8fe',
  34         },
  35         'params': {
  36             'skip_download': True,
  37         },
  38     }, {
  39         'url': 'http://www.vier.be/janigaat/videos/jani-gaat-naar-tokio-aflevering-4/2674839',
  40         'info_dict': {
  41             'id': '2674839',
  42             'display_id': 'jani-gaat-naar-tokio-aflevering-4',
  43             'ext': 'mp4',
  44             'title': 'Jani gaat naar Tokio - Aflevering 4',
  45             'description': 'md5:2d169e8186ae4247e50c99aaef97f7b2',
  46         },
  47         'params': {
  48             'skip_download': True,
  49         },
  50         'skip': 'Requires account credentials',
  51     }, {
  52         # Requires account credentials but bypassed extraction via v3/embed page
  53         # without metadata
  54         'url': 'http://www.vier.be/janigaat/videos/jani-gaat-naar-tokio-aflevering-4/2674839',
  55         'info_dict': {
  56             'id': '2674839',
  57             'display_id': 'jani-gaat-naar-tokio-aflevering-4',
  58             'ext': 'mp4',
  59             'title': 'jani-gaat-naar-tokio-aflevering-4',
  60         },
  61         'params': {
  62             'skip_download': True,
  63         },
  64         'expected_warnings': ['Log in to extract metadata'],
  65     }, {
  66         # Without video id in URL
  67         'url': 'http://www.vier.be/planb/videos/dit-najaar-plan-b',
  68         'only_matching': True,
  69     }, {
  70         'url': 'http://www.vier.be/video/v3/embed/16129',
  71         'only_matching': True,
  72     }]
  73
  74     def _real_initialize(self):
  75         self._logged_in = False
  76
  77     def _login(self, site):
  78         username, password = self._get_login_info()
  79         if username is None or password is None:
  80             return
  81
  82         login_page = self._download_webpage(
  83             'http://www.%s.be/user/login' % site,
  84             None, note='Logging in', errnote='Unable to log in',
  85             data=urlencode_postdata({
  86                 'form_id': 'user_login',
  87                 'name': username,
  88                 'pass': password,
  89             }),
  90             headers={'Content-Type': 'application/x-www-form-urlencoded'})
  91
  92         login_error = self._html_search_regex(
  93             r'(?s)<div class="messages error">\s*<div>\s*<h2.+?</h2>(.+?)<',
  94             login_page, 'login error', default=None)
  95         if login_error:
  96             self.report_warning('Unable to log in: %s' % login_error)
  97         else:
  98             self._logged_in = True
  99
 100     def _real_extract(self, url):
 101         mobj = re.match(self._VALID_URL, url)
 102         embed_id = mobj.group('embed_id')
 103         display_id = mobj.group('display_id') or embed_id
 104         video_id = mobj.group('id') or embed_id
 105         site = mobj.group('site')
 106
 107         if not self._logged_in:
 108             self._login(site)
 109
 110         webpage = self._download_webpage(url, display_id)
 111
 112         if r'id="user-login"' in webpage:
 113             self.report_warning(
 114                 'Log in to extract metadata', video_id=display_id)
 115             webpage = self._download_webpage(
 116                 'http://www.%s.be/video/v3/embed/%s' % (site, video_id),
 117                 display_id)
 118
 119         video_id = self._search_regex(
 120             [r'data-nid="(\d+)"', r'"nid"\s*:\s*"(\d+)"'],
 121             webpage, 'video id', default=video_id or display_id)
 122         application = self._search_regex(
 123             [r'data-application="([^"]+)"', r'"application"\s*:\s*"([^"]+)"'],
 124             webpage, 'application', default=site + '_vod')
 125         filename = self._search_regex(
 126             [r'data-filename="([^"]+)"', r'"filename"\s*:\s*"([^"]+)"'],
 127             webpage, 'filename')
 128
 129         playlist_url = 'http://vod.streamcloud.be/%s/_definst_/mp4:%s.mp4/playlist.m3u8' % (application, filename)
 130         formats = self._extract_wowza_formats(playlist_url, display_id, skip_protocols=['dash'])
 131         self._sort_formats(formats)
 132
 133         title = self._og_search_title(webpage, default=display_id)
 134         description = self._og_search_description(webpage, default=None)
 135         thumbnail = self._og_search_thumbnail(webpage, default=None)
 136
 137         return {
 138             'id': video_id,
 139             'display_id': display_id,
 140             'title': title,
 141             'description': description,
 142             'thumbnail': thumbnail,
 143             'formats': formats,
 144         }
 145
 146
 147 class VierVideosIE(InfoExtractor):
 148     IE_NAME = 'vier:videos'
 149     _VALID_URL = r'https?://(?:www\.)?(?P<site>vier|vijf)\.be/(?P<program>[^/]+)/videos(?:\?.*\bpage=(?P<page>\d+)|$)'
 150     _TESTS = [{
 151         'url': 'http://www.vier.be/demoestuin/videos',
 152         'info_dict': {
 153             'id': 'demoestuin',
 154         },
 155         'playlist_mincount': 153,
 156     }, {
 157         'url': 'http://www.vijf.be/temptationisland/videos',
 158         'info_dict': {
 159             'id': 'temptationisland',
 160         },
 161         'playlist_mincount': 159,
 162     }, {
 163         'url': 'http://www.vier.be/demoestuin/videos?page=6',
 164         'info_dict': {
 165             'id': 'demoestuin-page6',
 166         },
 167         'playlist_mincount': 20,
 168     }, {
 169         'url': 'http://www.vier.be/demoestuin/videos?page=7',
 170         'info_dict': {
 171             'id': 'demoestuin-page7',
 172         },
 173         'playlist_mincount': 13,
 174     }]
 175
 176     def _real_extract(self, url):
 177         mobj = re.match(self._VALID_URL, url)
 178         program = mobj.group('program')
 179         site = mobj.group('site')
 180
 181         page_id = mobj.group('page')
 182         if page_id:
 183             page_id = int(page_id)
 184             start_page = page_id
 185             playlist_id = '%s-page%d' % (program, page_id)
 186         else:
 187             start_page = 0
 188             playlist_id = program
 189
 190         entries = []
 191         for current_page_id in itertools.count(start_page):
 192             current_page = self._download_webpage(
 193                 'http://www.%s.be/%s/videos?page=%d' % (site, program, current_page_id),
 194                 program,
 195                 'Downloading page %d' % (current_page_id + 1))
 196             page_entries = [
 197                 self.url_result('http://www.' + site + '.be' + video_url, 'Vier')
 198                 for video_url in re.findall(
 199                     r'<h[23]><a href="(/[^/]+/videos/[^/]+(?:/\d+)?)">', current_page)]
 200             entries.extend(page_entries)
 201             if page_id or '>Meer<' not in current_page:
 202                 break
 203
 204         return self.playlist_result(entries, playlist_id)