]> git.bitcoin.ninja Git - youtube-dl/blob - youtube_dl/extractor/sohu.py
[dailymotion] Error spelling
[youtube-dl] / youtube_dl / extractor / sohu.py
1 # encoding: utf-8
2 from __future__ import unicode_literals
3
4 import re
5
6 from .common import InfoExtractor
7 from ..compat import (
8     compat_str,
9     compat_urllib_request,
10     compat_urllib_parse,
11 )
12 from ..utils import (
13     ExtractorError,
14 )
15
16
17 class SohuIE(InfoExtractor):
18     _VALID_URL = r'https?://(?P<mytv>my\.)?tv\.sohu\.com/.+?/(?(mytv)|n)(?P<id>\d+)\.shtml.*?'
19
20     _TESTS = [{
21         'note': 'This video is available only in Mainland China',
22         'url': 'http://tv.sohu.com/20130724/n382479172.shtml#super',
23         'md5': '29175c8cadd8b5cc4055001e85d6b372',
24         'info_dict': {
25             'id': '382479172',
26             'ext': 'mp4',
27             'title': 'MV:Far East Movement《The Illest》',
28         },
29         'skip': 'On available in China',
30     }, {
31         'url': 'http://tv.sohu.com/20150305/n409385080.shtml',
32         'md5': '699060e75cf58858dd47fb9c03c42cfb',
33         'info_dict': {
34             'id': '409385080',
35             'ext': 'mp4',
36             'title': '《2015湖南卫视羊年元宵晚会》唐嫣《花好月圆》',
37         }
38     }, {
39         'url': 'http://my.tv.sohu.com/us/232799889/78693464.shtml',
40         'md5': '9bf34be48f2f4dadcb226c74127e203c',
41         'info_dict': {
42             'id': '78693464',
43             'ext': 'mp4',
44             'title': '【爱范品】第31期:MWC见不到的奇葩手机',
45         }
46     }, {
47         'note': 'Multipart video',
48         'url': 'http://my.tv.sohu.com/pl/8384802/78910339.shtml',
49         'info_dict': {
50             'id': '78910339',
51             'title': '【神探苍实战秘籍】第13期 战争之影 赫卡里姆',
52         },
53         'playlist': [{
54             'md5': 'bdbfb8f39924725e6589c146bc1883ad',
55             'info_dict': {
56                 'id': '78910339_part1',
57                 'ext': 'mp4',
58                 'duration': 294,
59                 'title': '【神探苍实战秘籍】第13期 战争之影 赫卡里姆',
60             }
61         }, {
62             'md5': '3e1f46aaeb95354fd10e7fca9fc1804e',
63             'info_dict': {
64                 'id': '78910339_part2',
65                 'ext': 'mp4',
66                 'duration': 300,
67                 'title': '【神探苍实战秘籍】第13期 战争之影 赫卡里姆',
68             }
69         }, {
70             'md5': '8407e634175fdac706766481b9443450',
71             'info_dict': {
72                 'id': '78910339_part3',
73                 'ext': 'mp4',
74                 'duration': 150,
75                 'title': '【神探苍实战秘籍】第13期 战争之影 赫卡里姆',
76             }
77         }]
78     }, {
79         'note': 'Video with title containing dash',
80         'url': 'http://my.tv.sohu.com/us/249884221/78932792.shtml',
81         'info_dict': {
82             'id': '78932792',
83             'ext': 'mp4',
84             'title': 'youtube-dl testing video',
85         },
86         'params': {
87             'skip_download': True
88         }
89     }]
90
91     def _real_extract(self, url):
92
93         def _fetch_data(vid_id, mytv=False):
94             if mytv:
95                 base_data_url = 'http://my.tv.sohu.com/play/videonew.do?vid='
96             else:
97                 base_data_url = 'http://hot.vrs.sohu.com/vrs_flash.action?vid='
98
99             req = compat_urllib_request.Request(base_data_url + vid_id)
100
101             cn_verification_proxy = self._downloader.params.get('cn_verification_proxy')
102             if cn_verification_proxy:
103                 req.add_header('Ytdl-request-proxy', cn_verification_proxy)
104
105             return self._download_json(
106                 req, video_id,
107                 'Downloading JSON data for %s' % vid_id)
108
109         mobj = re.match(self._VALID_URL, url)
110         video_id = mobj.group('id')
111         mytv = mobj.group('mytv') is not None
112
113         webpage = self._download_webpage(url, video_id)
114
115         title = re.sub(r' - 搜狐视频$', '', self._og_search_title(webpage))
116
117         vid = self._html_search_regex(
118             r'var vid ?= ?["\'](\d+)["\']',
119             webpage, 'video path')
120         vid_data = _fetch_data(vid, mytv)
121         if vid_data['play'] != 1:
122             if vid_data.get('status') == 12:
123                 raise ExtractorError(
124                     'Sohu said: There\'s something wrong in the video.',
125                     expected=True)
126             else:
127                 raise ExtractorError(
128                     'Sohu said: The video is only licensed to users in Mainland China.',
129                     expected=True)
130
131         formats_json = {}
132         for format_id in ('nor', 'high', 'super', 'ori', 'h2644k', 'h2654k'):
133             vid_id = vid_data['data'].get('%sVid' % format_id)
134             if not vid_id:
135                 continue
136             vid_id = compat_str(vid_id)
137             formats_json[format_id] = vid_data if vid == vid_id else _fetch_data(vid_id, mytv)
138
139         part_count = vid_data['data']['totalBlocks']
140
141         playlist = []
142         for i in range(part_count):
143             formats = []
144             for format_id, format_data in formats_json.items():
145                 allot = format_data['allot']
146
147                 data = format_data['data']
148                 clips_url = data['clipsURL']
149                 su = data['su']
150
151                 video_url = 'newflv.sohu.ccgslb.net'
152                 cdnId = None
153                 retries = 0
154
155                 while 'newflv.sohu.ccgslb.net' in video_url:
156                     params = {
157                         'prot': 9,
158                         'file': clips_url[i],
159                         'new': su[i],
160                         'prod': 'flash',
161                     }
162
163                     if cdnId is not None:
164                         params['idc'] = cdnId
165
166                     download_note = 'Downloading %s video URL part %d of %d' % (
167                         format_id, i + 1, part_count)
168
169                     if retries > 0:
170                         download_note += ' (retry #%d)' % retries
171                     part_info = self._parse_json(self._download_webpage(
172                         'http://%s/?%s' % (allot, compat_urllib_parse.urlencode(params)),
173                         video_id, download_note), video_id)
174
175                     video_url = part_info['url']
176                     cdnId = part_info.get('nid')
177
178                     retries += 1
179                     if retries > 5:
180                         raise ExtractorError('Failed to get video URL')
181
182                 formats.append({
183                     'url': video_url,
184                     'format_id': format_id,
185                     'filesize': data['clipsBytes'][i],
186                     'width': data['width'],
187                     'height': data['height'],
188                     'fps': data['fps'],
189                 })
190             self._sort_formats(formats)
191
192             playlist.append({
193                 'id': '%s_part%d' % (video_id, i + 1),
194                 'title': title,
195                 'duration': vid_data['data']['clipsDuration'][i],
196                 'formats': formats,
197             })
198
199         if len(playlist) == 1:
200             info = playlist[0]
201             info['id'] = video_id
202         else:
203             info = {
204                 '_type': 'multi_video',
205                 'entries': playlist,
206                 'id': video_id,
207                 'title': title,
208             }
209
210         return info