_ Git - youtube-dl/blob - youtube_dl/extractor/vidme.py

   1 from __future__ import unicode_literals
   2
   3 from .common import InfoExtractor
   4 from ..compat import compat_HTTPError
   5 from ..utils import (
   6     ExtractorError,
   7     int_or_none,
   8     float_or_none,
   9     parse_iso8601,
  10 )
  11
  12
  13 class VidmeIE(InfoExtractor):
  14     _VALID_URL = r'https?://vid\.me/(?:e/)?(?P<id>[\da-zA-Z]+)'
  15     _TESTS = [{
  16         'url': 'https://vid.me/QNB',
  17         'md5': 'f42d05e7149aeaec5c037b17e5d3dc82',
  18         'info_dict': {
  19             'id': 'QNB',
  20             'ext': 'mp4',
  21             'title': 'Fishing for piranha - the easy way',
  22             'description': 'source: https://www.facebook.com/photo.php?v=312276045600871',
  23             'thumbnail': 're:^https?://.*\.jpg',
  24             'timestamp': 1406313244,
  25             'upload_date': '20140725',
  26             'age_limit': 0,
  27             'duration': 119.92,
  28             'view_count': int,
  29             'like_count': int,
  30             'comment_count': int,
  31         },
  32     }, {
  33         'url': 'https://vid.me/Gc6M',
  34         'md5': 'f42d05e7149aeaec5c037b17e5d3dc82',
  35         'info_dict': {
  36             'id': 'Gc6M',
  37             'ext': 'mp4',
  38             'title': 'O Mere Dil ke chain - Arnav and Khushi VM',
  39             'thumbnail': 're:^https?://.*\.jpg',
  40             'timestamp': 1441211642,
  41             'upload_date': '20150902',
  42             'uploader': 'SunshineM',
  43             'uploader_id': '3552827',
  44             'age_limit': 0,
  45             'duration': 223.72,
  46             'view_count': int,
  47             'like_count': int,
  48             'comment_count': int,
  49         },
  50         'params': {
  51             'skip_download': True,
  52         },
  53     }, {
  54         # tests uploader field
  55         'url': 'https://vid.me/4Iib',
  56         'info_dict': {
  57             'id': '4Iib',
  58             'ext': 'mp4',
  59             'title': 'The Carver',
  60             'description': 'md5:e9c24870018ae8113be936645b93ba3c',
  61             'thumbnail': 're:^https?://.*\.jpg',
  62             'timestamp': 1433203629,
  63             'upload_date': '20150602',
  64             'uploader': 'Thomas',
  65             'uploader_id': '109747',
  66             'age_limit': 0,
  67             'duration': 97.859999999999999,
  68             'view_count': int,
  69             'like_count': int,
  70             'comment_count': int,
  71         },
  72         'params': {
  73             'skip_download': True,
  74         },
  75     }, {
  76         # nsfw test from http://naked-yogi.tumblr.com/post/118312946248/naked-smoking-stretching
  77         'url': 'https://vid.me/e/Wmur',
  78         'info_dict': {
  79             'id': 'Wmur',
  80             'ext': 'mp4',
  81             'title': 'naked smoking & stretching',
  82             'thumbnail': 're:^https?://.*\.jpg',
  83             'timestamp': 1430931613,
  84             'upload_date': '20150506',
  85             'uploader': 'naked-yogi',
  86             'uploader_id': '1638622',
  87             'age_limit': 18,
  88             'duration': 653.26999999999998,
  89             'view_count': int,
  90             'like_count': int,
  91             'comment_count': int,
  92         },
  93         'params': {
  94             'skip_download': True,
  95         },
  96     }, {
  97         # nsfw, user-disabled
  98         'url': 'https://vid.me/dzGJ',
  99         'only_matching': True,
 100     }, {
 101         # suspended
 102         'url': 'https://vid.me/Ox3G',
 103         'only_matching': True,
 104     }, {
 105         # no formats in the API response
 106         'url': 'https://vid.me/e5g',
 107         'info_dict': {
 108             'id': 'e5g',
 109             'ext': 'mp4',
 110             'title': 'Video upload (e5g)',
 111             'thumbnail': 're:^https?://.*\.jpg',
 112             'timestamp': 1401480195,
 113             'upload_date': '20140530',
 114             'uploader': None,
 115             'uploader_id': None,
 116             'age_limit': 0,
 117             'duration': 483,
 118             'view_count': int,
 119             'like_count': int,
 120             'comment_count': int,
 121         },
 122         'params': {
 123             'skip_download': True,
 124         },
 125     }]
 126
 127     def _real_extract(self, url):
 128         video_id = self._match_id(url)
 129
 130         try:
 131             response = self._download_json(
 132                 'https://api.vid.me/videoByUrl/%s' % video_id, video_id)
 133         except ExtractorError as e:
 134             if isinstance(e.cause, compat_HTTPError) and e.cause.code == 400:
 135                 response = self._parse_json(e.cause.read(), video_id)
 136             else:
 137                 raise
 138
 139         error = response.get('error')
 140         if error:
 141             raise ExtractorError(
 142                 '%s returned error: %s' % (self.IE_NAME, error), expected=True)
 143
 144         video = response['video']
 145
 146         if video.get('state') in ('user-disabled', 'suspended'):
 147             raise ExtractorError(
 148                 'Vidme said: This video has been suspended either due to a copyright claim, '
 149                 'or for violating the terms of use.',
 150                 expected=True)
 151
 152         formats = [{
 153             'format_id': f.get('type'),
 154             'url': f['uri'],
 155             'width': int_or_none(f.get('width')),
 156             'height': int_or_none(f.get('height')),
 157             'preference': 0 if f.get('type', '').endswith('clip') else 1,
 158         } for f in video.get('formats', []) if f.get('uri')]
 159
 160         if not formats and video.get('complete_url'):
 161             formats.append({
 162                 'url': video.get('complete_url'),
 163                 'width': int_or_none(video.get('width')),
 164                 'height': int_or_none(video.get('height')),
 165             })
 166
 167         self._sort_formats(formats)
 168
 169         title = video['title']
 170         description = video.get('description')
 171         thumbnail = video.get('thumbnail_url')
 172         timestamp = parse_iso8601(video.get('date_created'), ' ')
 173         uploader = video.get('user', {}).get('username')
 174         uploader_id = video.get('user', {}).get('user_id')
 175         age_limit = 18 if video.get('nsfw') is True else 0
 176         duration = float_or_none(video.get('duration'))
 177         view_count = int_or_none(video.get('view_count'))
 178         like_count = int_or_none(video.get('likes_count'))
 179         comment_count = int_or_none(video.get('comment_count'))
 180
 181         return {
 182             'id': video_id,
 183             'title': title or 'Video upload (%s)' % video_id,
 184             'description': description,
 185             'thumbnail': thumbnail,
 186             'uploader': uploader,
 187             'uploader_id': uploader_id,
 188             'age_limit': age_limit,
 189             'timestamp': timestamp,
 190             'duration': duration,
 191             'view_count': view_count,
 192             'like_count': like_count,
 193             'comment_count': comment_count,
 194             'formats': formats,
 195         }