[cliphunter] Fix extraction and update test (Fixes #4362)
[youtube-dl] / youtube_dl / extractor / cliphunter.py
1 from __future__ import unicode_literals
2
3 from .common import InfoExtractor
4 from ..utils import determine_ext
5
6
7 _translation_table = {
8     'a': 'h', 'd': 'e', 'e': 'v', 'f': 'o', 'g': 'f', 'i': 'd', 'l': 'n',
9     'm': 'a', 'n': 'm', 'p': 'u', 'q': 't', 'r': 's', 'v': 'p', 'x': 'r',
10     'y': 'l', 'z': 'i',
11     '$': ':', '&': '.', '(': '=', '^': '&', '=': '/',
12 }
13
14
15 def _decode(s):
16     return ''.join(_translation_table.get(c, c) for c in s)
17
18
19 class CliphunterIE(InfoExtractor):
20     IE_NAME = 'cliphunter'
21
22     _VALID_URL = r'''(?x)http://(?:www\.)?cliphunter\.com/w/
23         (?P<id>[0-9]+)/
24         (?P<seo>.+?)(?:$|[#\?])
25     '''
26     _TEST = {
27         'url': 'http://www.cliphunter.com/w/1012420/Fun_Jynx_Maze_solo',
28         'md5': 'b7c9bbd4eb3a226ab91093714dcaa480',
29         'info_dict': {
30             'id': '1012420',
31             'ext': 'flv',
32             'title': 'Fun Jynx Maze solo',
33             'thumbnail': 're:^https?://.*\.jpg$',
34             'age_limit': 18,
35         }
36     }
37
38     def _real_extract(self, url):
39         video_id = self._match_id(url)
40         webpage = self._download_webpage(url, video_id)
41
42         video_title = self._search_regex(
43             r'mediaTitle = "([^"]+)"', webpage, 'title')
44
45         fmts = {}
46         for fmt in ('mp4', 'flv'):
47             fmt_list = self._parse_json(self._search_regex(
48                 r'var %sjson\s*=\s*(\[.*?\]);' % fmt, webpage, '%s formats' % fmt), video_id)
49             for f in fmt_list:
50                 fmts[f['fname']] = _decode(f['sUrl'])
51
52         qualities = self._parse_json(self._search_regex(
53             r'var player_btns\s*=\s*(.*?);\n', webpage, 'quality info'), video_id)
54
55         formats = []
56         for fname, url in fmts.items():
57             f = {
58                 'url': url,
59             }
60             if fname in qualities:
61                 qual = qualities[fname]
62                 f.update({
63                     'format_id': '%s_%sp' % (determine_ext(url), qual['h']),
64                     'width': qual['w'],
65                     'height': qual['h'],
66                     'tbr': qual['br'],
67                 })
68             formats.append(f)
69
70         self._sort_formats(formats)
71
72         thumbnail = self._search_regex(
73             r"var\s+mov_thumb\s*=\s*'([^']+)';",
74             webpage, 'thumbnail', fatal=False)
75
76         return {
77             'id': video_id,
78             'title': video_title,
79             'formats': formats,
80             'age_limit': self._rta_search(webpage),
81             'thumbnail': thumbnail,
82         }