_ Git - youtube-dl/blob - youtube_dl/extractor/lifenews.py

   1 # encoding: utf-8
   2 from __future__ import unicode_literals
   3
   4 import re
   5
   6 from .common import InfoExtractor
   7 from ..compat import compat_urlparse
   8 from ..utils import (
   9     determine_ext,
  10     ExtractorError,
  11     int_or_none,
  12     parse_iso8601,
  13     remove_end,
  14 )
  15
  16
  17 class LifeNewsIE(InfoExtractor):
  18     IE_NAME = 'lifenews'
  19     IE_DESC = 'LIFE | NEWS'
  20     _VALID_URL = r'https?://lifenews\.ru/(?:mobile/)?(?P<section>news|video)/(?P<id>\d+)'
  21
  22     _TESTS = [{
  23         # single video embedded via video/source
  24         'url': 'http://lifenews.ru/news/98736',
  25         'md5': '77c95eaefaca216e32a76a343ad89d23',
  26         'info_dict': {
  27             'id': '98736',
  28             'ext': 'mp4',
  29             'title': 'Мужчина нашел дома архив оборонного завода',
  30             'description': 'md5:3b06b1b39b5e2bea548e403d99b8bf26',
  31             'timestamp': 1344154740,
  32             'upload_date': '20120805',
  33             'view_count': int,
  34         }
  35     }, {
  36         # single video embedded via iframe
  37         'url': 'http://lifenews.ru/news/152125',
  38         'md5': '77d19a6f0886cd76bdbf44b4d971a273',
  39         'info_dict': {
  40             'id': '152125',
  41             'ext': 'mp4',
  42             'title': 'В Сети появилось видео захвата «Правым сектором» колхозных полей ',
  43             'description': 'Жители двух поселков Днепропетровской области не простили радикалам угрозу лишения плодородных земель и пошли в лобовую. ',
  44             'timestamp': 1427961840,
  45             'upload_date': '20150402',
  46             'view_count': int,
  47         }
  48     }, {
  49         # two videos embedded via iframe
  50         'url': 'http://lifenews.ru/news/153461',
  51         'info_dict': {
  52             'id': '153461',
  53             'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве',
  54             'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  55             'timestamp': 1430825520,
  56             'view_count': int,
  57         },
  58         'playlist': [{
  59             'md5': '9b6ef8bc0ffa25aebc8bdb40d89ab795',
  60             'info_dict': {
  61                 'id': '153461-video1',
  62                 'ext': 'mp4',
  63                 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 1)',
  64                 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  65                 'timestamp': 1430825520,
  66                 'upload_date': '20150505',
  67             },
  68         }, {
  69             'md5': 'ebb3bf3b1ce40e878d0d628e93eb0322',
  70             'info_dict': {
  71                 'id': '153461-video2',
  72                 'ext': 'mp4',
  73                 'title': 'В Москве спасли потерявшегося медвежонка, который спрятался на дереве (Видео 2)',
  74                 'description': 'Маленький хищник не смог найти дорогу домой и обрел временное убежище на тополе недалеко от жилого массива, пока его не нашла соседская собака.',
  75                 'timestamp': 1430825520,
  76                 'upload_date': '20150505',
  77             },
  78         }],
  79     }, {
  80         'url': 'http://lifenews.ru/video/13035',
  81         'only_matching': True,
  82     }]
  83
  84     def _real_extract(self, url):
  85         mobj = re.match(self._VALID_URL, url)
  86         video_id = mobj.group('id')
  87         section = mobj.group('section')
  88
  89         webpage = self._download_webpage(
  90             'http://lifenews.ru/%s/%s' % (section, video_id),
  91             video_id, 'Downloading page')
  92
  93         video_urls = re.findall(
  94             r'<video[^>]+><source[^>]+src=["\'](.+?)["\']', webpage)
  95
  96         iframe_links = re.findall(
  97             r'<iframe[^>]+src=["\']((?:https?:)?//embed\.life\.ru/embed/.+?)["\']',
  98             webpage)
  99
 100         if not video_urls and not iframe_links:
 101             raise ExtractorError('No media links available for %s' % video_id)
 102
 103         title = remove_end(
 104             self._og_search_title(webpage),
 105             ' - Первый по срочным новостям — LIFE | NEWS')
 106
 107         description = self._og_search_description(webpage)
 108
 109         view_count = self._html_search_regex(
 110             r'<div[^>]+class=(["\']).*?\bhits-count\b.*?\1[^>]*>\s*(?P<value>\d+)\s*</div>',
 111             webpage, 'view count', fatal=False, group='value')
 112
 113         timestamp = parse_iso8601(self._search_regex(
 114             r'<time[^>]+datetime=(["\'])(?P<value>.+?)\1',
 115             webpage, 'upload date', fatal=False, group='value'))
 116
 117         common_info = {
 118             'description': description,
 119             'view_count': int_or_none(view_count),
 120             'timestamp': timestamp,
 121         }
 122
 123         def make_entry(video_id, video_url, index=None):
 124             cur_info = dict(common_info)
 125             cur_info.update({
 126                 'id': video_id if not index else '%s-video%s' % (video_id, index),
 127                 'url': video_url,
 128                 'title': title if not index else '%s (Видео %s)' % (title, index),
 129             })
 130             return cur_info
 131
 132         def make_video_entry(video_id, video_url, index=None):
 133             video_url = compat_urlparse.urljoin(url, video_url)
 134             return make_entry(video_id, video_url, index)
 135
 136         def make_iframe_entry(video_id, video_url, index=None):
 137             video_url = self._proto_relative_url(video_url, 'http:')
 138             cur_info = make_entry(video_id, video_url, index)
 139             cur_info['_type'] = 'url_transparent'
 140             return cur_info
 141
 142         if len(video_urls) == 1 and not iframe_links:
 143             return make_video_entry(video_id, video_urls[0])
 144
 145         if len(iframe_links) == 1 and not video_urls:
 146             return make_iframe_entry(video_id, iframe_links[0])
 147
 148         entries = []
 149
 150         if video_urls:
 151             for num, video_url in enumerate(video_urls, 1):
 152                 entries.append(make_video_entry(video_id, video_url, num))
 153
 154         if iframe_links:
 155             for num, iframe_link in enumerate(iframe_links, len(video_urls) + 1):
 156                 entries.append(make_iframe_entry(video_id, iframe_link, num))
 157
 158         playlist = common_info.copy()
 159         playlist.update(self.playlist_result(entries, video_id, title, description))
 160         return playlist
 161
 162
 163 class LifeEmbedIE(InfoExtractor):
 164     IE_NAME = 'life:embed'
 165     _VALID_URL = r'https?://embed\.life\.ru/embed/(?P<id>[\da-f]{32})'
 166
 167     _TEST = {
 168         'url': 'http://embed.life.ru/embed/e50c2dec2867350528e2574c899b8291',
 169         'md5': 'b889715c9e49cb1981281d0e5458fbbe',
 170         'info_dict': {
 171             'id': 'e50c2dec2867350528e2574c899b8291',
 172             'ext': 'mp4',
 173             'title': 'e50c2dec2867350528e2574c899b8291',
 174             'thumbnail': 're:http://.*\.jpg',
 175         }
 176     }
 177
 178     def _real_extract(self, url):
 179         video_id = self._match_id(url)
 180
 181         webpage = self._download_webpage(url, video_id)
 182
 183         formats = []
 184         for video_url in re.findall(r'"file"\s*:\s*"([^"]+)', webpage):
 185             video_url = compat_urlparse.urljoin(url, video_url)
 186             ext = determine_ext(video_url)
 187             if ext == 'm3u8':
 188                 formats.extend(self._extract_m3u8_formats(
 189                     video_url, video_id, 'mp4', m3u8_id='m3u8'))
 190             else:
 191                 formats.append({
 192                     'url': video_url,
 193                     'format_id': ext,
 194                     'preference': 1,
 195                 })
 196         self._sort_formats(formats)
 197
 198         thumbnail = self._search_regex(
 199             r'"image"\s*:\s*"([^"]+)', webpage, 'thumbnail', default=None)
 200
 201         return {
 202             'id': video_id,
 203             'title': video_id,
 204             'thumbnail': thumbnail,
 205             'formats': formats,
 206         }