_ Git - youtube-dl/blob - youtube_dl/extractor/odnoklassniki.py

   1 # coding: utf-8
   2 from __future__ import unicode_literals
   3
   4 from .common import InfoExtractor
   5 from ..compat import compat_urllib_parse_unquote
   6 from ..utils import (
   7     ExtractorError,
   8     unified_strdate,
   9     int_or_none,
  10     qualities,
  11     unescapeHTML,
  12 )
  13
  14
  15 class OdnoklassnikiIE(InfoExtractor):
  16     _VALID_URL = r'https?://(?:(?:www|m|mobile)\.)?(?:odnoklassniki|ok)\.ru/(?:video(?:embed)?|web-api/video/moviePlayer)/(?P<id>[\d-]+)'
  17     _TESTS = [{
  18         # metadata in JSON
  19         'url': 'http://ok.ru/video/20079905452',
  20         'md5': '6ba728d85d60aa2e6dd37c9e70fdc6bc',
  21         'info_dict': {
  22             'id': '20079905452',
  23             'ext': 'mp4',
  24             'title': 'Культура меняет нас (прекрасный ролик!))',
  25             'duration': 100,
  26             'upload_date': '20141207',
  27             'uploader_id': '330537914540',
  28             'uploader': 'Виталий Добровольский',
  29             'like_count': int,
  30             'age_limit': 0,
  31         },
  32         'skip': 'Video has been blocked',
  33     }, {
  34         # metadataUrl
  35         'url': 'http://ok.ru/video/63567059965189-0',
  36         'md5': '9676cf86eff5391d35dea675d224e131',
  37         'info_dict': {
  38             'id': '63567059965189-0',
  39             'ext': 'mp4',
  40             'title': 'Девушка без комплексов ...',
  41             'duration': 191,
  42             'upload_date': '20150518',
  43             'uploader_id': '534380003155',
  44             'uploader': '☭ Андрей Мещанинов ☭',
  45             'like_count': int,
  46             'age_limit': 0,
  47         },
  48     }, {
  49         # YouTube embed (metadataUrl, provider == USER_YOUTUBE)
  50         'url': 'http://ok.ru/video/64211978996595-1',
  51         'md5': '5d7475d428845cd2e13bae6f1a992278',
  52         'info_dict': {
  53             'id': '64211978996595-1',
  54             'ext': 'mp4',
  55             'title': 'Космическая среда от 26 августа 2015',
  56             'description': 'md5:848eb8b85e5e3471a3a803dae1343ed0',
  57             'duration': 440,
  58             'upload_date': '20150826',
  59             'uploader_id': '750099571',
  60             'uploader': 'Алина П',
  61             'age_limit': 0,
  62         },
  63     }, {
  64         # YouTube embed (metadata, provider == USER_YOUTUBE, no metadata.movie.title field)
  65         'url': 'http://ok.ru/video/62036049272859-0',
  66         'info_dict': {
  67             'id': '62036049272859-0',
  68             'ext': 'mp4',
  69             'title': 'МУЗЫКА     ДОЖДЯ .',
  70             'description': 'md5:6f1867132bd96e33bf53eda1091e8ed0',
  71             'upload_date': '20120106',
  72             'uploader_id': '473534735899',
  73             'uploader': 'МARINA D',
  74             'age_limit': 0,
  75         },
  76         'params': {
  77             'skip_download': True,
  78         },
  79     }, {
  80         'url': 'http://ok.ru/web-api/video/moviePlayer/20079905452',
  81         'only_matching': True,
  82     }, {
  83         'url': 'http://www.ok.ru/video/20648036891',
  84         'only_matching': True,
  85     }, {
  86         'url': 'http://www.ok.ru/videoembed/20648036891',
  87         'only_matching': True,
  88     }, {
  89         'url': 'http://m.ok.ru/video/20079905452',
  90         'only_matching': True,
  91     }, {
  92         'url': 'http://mobile.ok.ru/video/20079905452',
  93         'only_matching': True,
  94     }]
  95
  96     def _real_extract(self, url):
  97         video_id = self._match_id(url)
  98
  99         webpage = self._download_webpage(
 100             'http://ok.ru/video/%s' % video_id, video_id)
 101
 102         error = self._search_regex(
 103             r'[^>]+class="vp_video_stub_txt"[^>]*>([^<]+)<',
 104             webpage, 'error', default=None)
 105         if error:
 106             raise ExtractorError(error, expected=True)
 107
 108         player = self._parse_json(
 109             unescapeHTML(self._search_regex(
 110                 r'data-options=(?P<quote>["\'])(?P<player>{.+?%s.+?})(?P=quote)' % video_id,
 111                 webpage, 'player', group='player')),
 112             video_id)
 113
 114         flashvars = player['flashvars']
 115
 116         metadata = flashvars.get('metadata')
 117         if metadata:
 118             metadata = self._parse_json(metadata, video_id)
 119         else:
 120             metadata = self._download_json(
 121                 compat_urllib_parse_unquote(flashvars['metadataUrl']),
 122                 video_id, 'Downloading metadata JSON')
 123
 124         movie = metadata['movie']
 125
 126         # Some embedded videos may not contain title in movie dict (e.g.
 127         # http://ok.ru/video/62036049272859-0) thus we allow missing title
 128         # here and it's going to be extracted later by an extractor that
 129         # will process the actual embed.
 130         provider = metadata.get('provider')
 131         title = movie['title'] if provider == 'UPLOADED_ODKL' else movie.get('title')
 132
 133         thumbnail = movie.get('poster')
 134         duration = int_or_none(movie.get('duration'))
 135
 136         author = metadata.get('author', {})
 137         uploader_id = author.get('id')
 138         uploader = author.get('name')
 139
 140         upload_date = unified_strdate(self._html_search_meta(
 141             'ya:ovs:upload_date', webpage, 'upload date', default=None))
 142
 143         age_limit = None
 144         adult = self._html_search_meta(
 145             'ya:ovs:adult', webpage, 'age limit', default=None)
 146         if adult:
 147             age_limit = 18 if adult == 'true' else 0
 148
 149         like_count = int_or_none(metadata.get('likeCount'))
 150
 151         info = {
 152             'id': video_id,
 153             'title': title,
 154             'thumbnail': thumbnail,
 155             'duration': duration,
 156             'upload_date': upload_date,
 157             'uploader': uploader,
 158             'uploader_id': uploader_id,
 159             'like_count': like_count,
 160             'age_limit': age_limit,
 161         }
 162
 163         if provider == 'USER_YOUTUBE':
 164             info.update({
 165                 '_type': 'url_transparent',
 166                 'url': movie['contentId'],
 167             })
 168             return info
 169
 170         quality = qualities(('mobile', 'lowest', 'low', 'sd', 'hd'))
 171
 172         formats = [{
 173             'url': f['url'],
 174             'ext': 'mp4',
 175             'format_id': f['name'],
 176             'quality': quality(f['name']),
 177         } for f in metadata['videos']]
 178         self._sort_formats(formats)
 179
 180         info['formats'] = formats
 181         return info