_ Git - youtube-dl/blob - youtube_dl/extractor/odnoklassniki.py

   1 # coding: utf-8
   2 from __future__ import unicode_literals
   3
   4 from .common import InfoExtractor
   5 from ..compat import compat_urllib_parse_unquote
   6 from ..utils import (
   7     unified_strdate,
   8     int_or_none,
   9     qualities,
  10     unescapeHTML,
  11 )
  12
  13
  14 class OdnoklassnikiIE(InfoExtractor):
  15     _VALID_URL = r'https?://(?:www\.)?(?:odnoklassniki|ok)\.ru/(?:video|web-api/video/moviePlayer)/(?P<id>[\d-]+)'
  16     _TESTS = [{
  17         # metadata in JSON
  18         'url': 'http://ok.ru/video/20079905452',
  19         'md5': '6ba728d85d60aa2e6dd37c9e70fdc6bc',
  20         'info_dict': {
  21             'id': '20079905452',
  22             'ext': 'mp4',
  23             'title': 'Культура меняет нас (прекрасный ролик!))',
  24             'duration': 100,
  25             'upload_date': '20141207',
  26             'uploader_id': '330537914540',
  27             'uploader': 'Виталий Добровольский',
  28             'like_count': int,
  29             'age_limit': 0,
  30         },
  31     }, {
  32         # metadataUrl
  33         'url': 'http://ok.ru/video/63567059965189-0',
  34         'md5': '9676cf86eff5391d35dea675d224e131',
  35         'info_dict': {
  36             'id': '63567059965189-0',
  37             'ext': 'mp4',
  38             'title': 'Девушка без комплексов ...',
  39             'duration': 191,
  40             'upload_date': '20150518',
  41             'uploader_id': '534380003155',
  42             'uploader': '☭ Андрей Мещанинов ☭',
  43             'like_count': int,
  44             'age_limit': 0,
  45         },
  46     }, {
  47         # YouTube embed (metadataUrl, provider == USER_YOUTUBE)
  48         'url': 'http://ok.ru/video/64211978996595-1',
  49         'md5': '5d7475d428845cd2e13bae6f1a992278',
  50         'info_dict': {
  51             'id': '64211978996595-1',
  52             'ext': 'mp4',
  53             'title': 'Космическая среда от 26 августа 2015',
  54             'description': 'md5:848eb8b85e5e3471a3a803dae1343ed0',
  55             'duration': 440,
  56             'upload_date': '20150826',
  57             'uploader_id': '750099571',
  58             'uploader': 'Алина П',
  59             'age_limit': 0,
  60         },
  61     }, {
  62         'url': 'http://ok.ru/web-api/video/moviePlayer/20079905452',
  63         'only_matching': True,
  64     }, {
  65         'url': 'http://www.ok.ru/video/20648036891',
  66         'only_matching': True,
  67     }]
  68
  69     def _real_extract(self, url):
  70         video_id = self._match_id(url)
  71
  72         webpage = self._download_webpage(
  73             'http://ok.ru/video/%s' % video_id, video_id)
  74
  75         player = self._parse_json(
  76             unescapeHTML(self._search_regex(
  77                 r'data-options=(?P<quote>["\'])(?P<player>{.+?%s.+?})(?P=quote)' % video_id,
  78                 webpage, 'player', group='player')),
  79             video_id)
  80
  81         flashvars = player['flashvars']
  82
  83         metadata = flashvars.get('metadata')
  84         if metadata:
  85             metadata = self._parse_json(metadata, video_id)
  86         else:
  87             metadata = self._download_json(
  88                 compat_urllib_parse_unquote(flashvars['metadataUrl']),
  89                 video_id, 'Downloading metadata JSON')
  90
  91         movie = metadata['movie']
  92         title = movie['title']
  93         thumbnail = movie.get('poster')
  94         duration = int_or_none(movie.get('duration'))
  95
  96         author = metadata.get('author', {})
  97         uploader_id = author.get('id')
  98         uploader = author.get('name')
  99
 100         upload_date = unified_strdate(self._html_search_meta(
 101             'ya:ovs:upload_date', webpage, 'upload date', default=None))
 102
 103         age_limit = None
 104         adult = self._html_search_meta(
 105             'ya:ovs:adult', webpage, 'age limit', default=None)
 106         if adult:
 107             age_limit = 18 if adult == 'true' else 0
 108
 109         like_count = int_or_none(metadata.get('likeCount'))
 110
 111         info = {
 112             'id': video_id,
 113             'title': title,
 114             'thumbnail': thumbnail,
 115             'duration': duration,
 116             'upload_date': upload_date,
 117             'uploader': uploader,
 118             'uploader_id': uploader_id,
 119             'like_count': like_count,
 120             'age_limit': age_limit,
 121         }
 122
 123         if metadata.get('provider') == 'USER_YOUTUBE':
 124             info.update({
 125                 '_type': 'url_transparent',
 126                 'url': movie['contentId'],
 127             })
 128             return info
 129
 130         quality = qualities(('mobile', 'lowest', 'low', 'sd', 'hd'))
 131
 132         formats = [{
 133             'url': f['url'],
 134             'ext': 'mp4',
 135             'format_id': f['name'],
 136             'quality': quality(f['name']),
 137         } for f in metadata['videos']]
 138         self._sort_formats(formats)
 139
 140         info['formats'] = formats
 141         return info