_ Git - youtube-dl/blob - youtube_dl/extractor/yandexdisk.py

   1 # coding: utf-8
   2 from __future__ import unicode_literals
   3
   4 from .common import InfoExtractor
   5 from ..compat import compat_str
   6 from ..utils import (
   7     determine_ext,
   8     float_or_none,
   9     int_or_none,
  10     try_get,
  11     urlencode_postdata,
  12 )
  13
  14
  15 class YandexDiskIE(InfoExtractor):
  16     _VALID_URL = r'https?://yadi\.sk/i/(?P<id>[^/?#&]+)'
  17
  18     _TEST = {
  19         'url': 'https://yadi.sk/i/VdOeDou8eZs6Y',
  20         'md5': '33955d7ae052f15853dc41f35f17581c',
  21         'info_dict': {
  22             'id': 'VdOeDou8eZs6Y',
  23             'ext': 'mp4',
  24             'title': '4.mp4',
  25             'duration': 168.6,
  26             'uploader': 'y.botova',
  27             'uploader_id': '300043621',
  28             'view_count': int,
  29         },
  30     }
  31
  32     def _real_extract(self, url):
  33         video_id = self._match_id(url)
  34
  35         status = self._download_webpage(
  36             'https://disk.yandex.com/auth/status', video_id, query={
  37                 'urlOrigin': url,
  38                 'source': 'public',
  39                 'md5': 'false',
  40             })
  41
  42         sk = self._search_regex(
  43             r'(["\'])sk(?:External)?\1\s*:\s*(["\'])(?P<value>(?:(?!\2).)+)\2',
  44             status, 'sk', group='value')
  45
  46         webpage = self._download_webpage(url, video_id)
  47
  48         models = self._parse_json(
  49             self._search_regex(
  50                 r'<script[^>]+id=["\']models-client[^>]+>\s*(\[.+?\])\s*</script',
  51                 webpage, 'video JSON'),
  52             video_id)
  53
  54         data = next(
  55             model['data'] for model in models
  56             if model.get('model') == 'resource')
  57
  58         video_hash = data['id']
  59         title = data['name']
  60
  61         models = self._download_json(
  62             'https://disk.yandex.com/models/', video_id,
  63             data=urlencode_postdata({
  64                 '_model.0': 'videoInfo',
  65                 'id.0': video_hash,
  66                 '_model.1': 'do-get-resource-url',
  67                 'id.1': video_hash,
  68                 'version': '13.6',
  69                 'sk': sk,
  70             }), query={'_m': 'videoInfo'})['models']
  71
  72         videos = try_get(models, lambda x: x[0]['data']['videos'], list) or []
  73         source_url = try_get(
  74             models, lambda x: x[1]['data']['file'], compat_str)
  75
  76         formats = []
  77         if source_url:
  78             formats.append({
  79                 'url': source_url,
  80                 'format_id': 'source',
  81                 'ext': determine_ext(title, 'mp4'),
  82                 'quality': 1,
  83             })
  84         for video in videos:
  85             format_url = video.get('url')
  86             if not format_url:
  87                 continue
  88             if determine_ext(format_url) == 'm3u8':
  89                 formats.extend(self._extract_m3u8_formats(
  90                     format_url, video_id, 'mp4', entry_protocol='m3u8_native',
  91                     m3u8_id='hls', fatal=False))
  92             else:
  93                 formats.append({
  94                     'url': format_url,
  95                 })
  96         self._sort_formats(formats)
  97
  98         duration = float_or_none(try_get(
  99             models, lambda x: x[0]['data']['duration']), 1000)
 100         uploader = try_get(
 101             data, lambda x: x['user']['display_name'], compat_str)
 102         uploader_id = try_get(
 103             data, lambda x: x['user']['uid'], compat_str)
 104         view_count = int_or_none(try_get(
 105             data, lambda x: x['meta']['views_counter']))
 106
 107         return {
 108             'id': video_id,
 109             'title': title,
 110             'duration': duration,
 111             'uploader': uploader,
 112             'uploader_id': uploader_id,
 113             'view_count': view_count,
 114             'formats': formats,
 115         }