[hypestat] Unify allmyvideos and vidspot (Closes #3788)
[youtube-dl] / youtube_dl / extractor / hypestat.py
1 # coding: utf-8
2 from __future__ import unicode_literals
3
4 import os.path
5 import re
6
7 from .common import InfoExtractor
8 from ..utils import (
9     compat_urllib_parse,
10     compat_urllib_request,
11 )
12
13
14 class HypestatIE(InfoExtractor):
15     IE_DESC = 'allmyvideos.net and vidspot.net'
16     _VALID_URL = r'https?://(?:allmyvideos|vidspot)\.net/(?P<id>[a-zA-Z0-9_-]+)'
17
18     _TESTS = [{
19         'url': 'http://allmyvideos.net/jih3nce3x6wn',
20         'md5': '710883dee1bfc370ecf9fa6a89307c88',
21         'info_dict': {
22             'id': 'jih3nce3x6wn',
23             'ext': 'mp4',
24             'title': 'youtube-dl test video',
25         },
26     }, {
27         'url': 'http://vidspot.net/l2ngsmhs8ci5',
28         'md5': '710883dee1bfc370ecf9fa6a89307c88',
29         'info_dict': {
30             'id': 'l2ngsmhs8ci5',
31             'ext': 'mp4',
32             'title': 'youtube-dl test video',
33         },
34     }]
35
36     def _real_extract(self, url):
37         mobj = re.match(self._VALID_URL, url)
38         video_id = mobj.group('id')
39
40         orig_webpage = self._download_webpage(url, video_id)
41         fields = re.findall(r'type="hidden" name="(.+?)"\s* value="?(.+?)">', orig_webpage)
42         data = dict(fields)
43
44         post = compat_urllib_parse.urlencode(data)
45         headers = {
46             b'Content-Type': b'application/x-www-form-urlencoded',
47         }
48         req = compat_urllib_request.Request(url, post, headers)
49         webpage = self._download_webpage(
50             req, video_id, note='Downloading video page ...')
51
52         title = os.path.splitext(data['fname'])[0]
53
54         #Could be several links with different quality
55         links = re.findall(r'"file" : "?(.+?)",', webpage)
56         # Assume the links are ordered in quality
57         formats = [{
58             'url': l,
59             'quality': i,
60         } for i, l in enumerate(links)]
61         self._sort_formats(formats)
62
63         return {
64             'id': video_id,
65             'title': title,
66             'formats': formats,
67         }