[nicknight] Improve extraction (closes #10769)
[youtube-dl] / youtube_dl / extractor / nick.py
1 # coding: utf-8
2 from __future__ import unicode_literals
3
4 import re
5
6 from .mtv import MTVServicesInfoExtractor
7 from ..utils import update_url_query
8
9
10 class NickIE(MTVServicesInfoExtractor):
11     # None of videos on the website are still alive?
12     IE_NAME = 'nick.com'
13     _VALID_URL = r'https?://(?:www\.)?nick(?:jr)?\.com/(?:videos/clip|[^/]+/videos)/(?P<id>[^/?#.]+)'
14     _FEED_URL = 'http://udat.mtvnservices.com/service1/dispatch.htm'
15     _TESTS = [{
16         'url': 'http://www.nick.com/videos/clip/alvinnn-and-the-chipmunks-112-full-episode.html',
17         'playlist': [
18             {
19                 'md5': '6e5adc1e28253bbb1b28ab05403dd4d4',
20                 'info_dict': {
21                     'id': 'be6a17b0-412d-11e5-8ff7-0026b9414f30',
22                     'ext': 'mp4',
23                     'title': 'ALVINNN!!! and The Chipmunks: "Mojo Missing/Who\'s The Animal" S1',
24                     'description': 'Alvin is convinced his mojo was in a cap he gave to a fan, and must find a way to get his hat back before the Chipmunks’ big concert.\nDuring a costume visit to the zoo, Alvin finds himself mistaken for the real Tasmanian devil.',
25
26                 }
27             },
28             {
29                 'md5': 'd7be441fc53a1d4882fa9508a1e5b3ce',
30                 'info_dict': {
31                     'id': 'be6b8f96-412d-11e5-8ff7-0026b9414f30',
32                     'ext': 'mp4',
33                     'title': 'ALVINNN!!! and The Chipmunks: "Mojo Missing/Who\'s The Animal" S2',
34                     'description': 'Alvin is convinced his mojo was in a cap he gave to a fan, and must find a way to get his hat back before the Chipmunks’ big concert.\nDuring a costume visit to the zoo, Alvin finds himself mistaken for the real Tasmanian devil.',
35
36                 }
37             },
38             {
39                 'md5': 'efffe1728a234b2b0d2f2b343dd1946f',
40                 'info_dict': {
41                     'id': 'be6cf7e6-412d-11e5-8ff7-0026b9414f30',
42                     'ext': 'mp4',
43                     'title': 'ALVINNN!!! and The Chipmunks: "Mojo Missing/Who\'s The Animal" S3',
44                     'description': 'Alvin is convinced his mojo was in a cap he gave to a fan, and must find a way to get his hat back before the Chipmunks’ big concert.\nDuring a costume visit to the zoo, Alvin finds himself mistaken for the real Tasmanian devil.',
45                 }
46             },
47             {
48                 'md5': '1ec6690733ab9f41709e274a1d5c7556',
49                 'info_dict': {
50                     'id': 'be6e3354-412d-11e5-8ff7-0026b9414f30',
51                     'ext': 'mp4',
52                     'title': 'ALVINNN!!! and The Chipmunks: "Mojo Missing/Who\'s The Animal" S4',
53                     'description': 'Alvin is convinced his mojo was in a cap he gave to a fan, and must find a way to get his hat back before the Chipmunks’ big concert.\nDuring a costume visit to the zoo, Alvin finds himself mistaken for the real Tasmanian devil.',
54                 }
55             },
56         ],
57     }, {
58         'url': 'http://www.nickjr.com/paw-patrol/videos/pups-save-a-goldrush-s3-ep302-full-episode/',
59         'only_matching': True,
60     }]
61
62     def _get_feed_query(self, uri):
63         return {
64             'feed': 'nick_arc_player_prime',
65             'mgid': uri,
66         }
67
68     def _extract_mgid(self, webpage):
69         return self._search_regex(r'data-contenturi="([^"]+)', webpage, 'mgid')
70
71
72 class NickDeIE(MTVServicesInfoExtractor):
73     IE_NAME = 'nick.de'
74     _VALID_URL = r'https?://(?:www\.)?(?P<host>nick\.de|nickelodeon\.(?:nl|at))/(?:playlist|shows)/(?:[^/]+/)*(?P<id>[^/?#&]+)'
75     _TESTS = [{
76         'url': 'http://www.nick.de/playlist/3773-top-videos/videos/episode/17306-zu-wasser-und-zu-land-rauchende-erdnusse',
77         'only_matching': True,
78     }, {
79         'url': 'http://www.nick.de/shows/342-icarly',
80         'only_matching': True,
81     }, {
82         'url': 'http://www.nickelodeon.nl/shows/474-spongebob/videos/17403-een-kijkje-in-de-keuken-met-sandy-van-binnenuit',
83         'only_matching': True,
84     }, {
85         'url': 'http://www.nickelodeon.at/playlist/3773-top-videos/videos/episode/77993-das-letzte-gefecht',
86         'only_matching': True,
87     }]
88
89     def _extract_mrss_url(self, webpage, host):
90         return update_url_query(self._search_regex(
91             r'data-mrss=(["\'])(?P<url>http.+?)\1', webpage, 'mrss url', group='url'),
92             {'siteKey': host})
93
94     def _real_extract(self, url):
95         mobj = re.match(self._VALID_URL, url)
96         video_id = mobj.group('id')
97         host = mobj.group('host')
98
99         webpage = self._download_webpage(url, video_id)
100
101         mrss_url = self._extract_mrss_url(webpage, host)
102
103         return self._get_videos_info_from_url(mrss_url, video_id)
104
105
106 class NickNightIE(NickDeIE):
107     IE_NAME = 'nicknight'
108     _VALID_URL = r'https?://(?:www\.)(?P<host>nicknight\.(?:de|at|tv))/(?:playlist|shows)/(?:[^/]+/)*(?P<id>[^/?#&]+)'
109     _TESTS = [{
110         'url': 'http://www.nicknight.at/shows/977-awkward/videos/85987-nimmer-beste-freunde',
111         'only_matching': True,
112     }, {
113         'url': 'http://www.nicknight.at/shows/977-awkward',
114         'only_matching': True,
115     }, {
116         'url': 'http://www.nicknight.at/shows/1900-faking-it',
117         'only_matching': True,
118     }]
119
120     def _extract_mrss_url(self, webpage, *args):
121         return self._search_regex(
122             r'mrss\s*:\s*(["\'])(?P<url>http.+?)\1', webpage,
123             'mrss url', group='url')