_ Git - youtube-dl/blob - youtube_dl/extractor/democracynow.py

   1 # coding: utf-8
   2 from __future__ import unicode_literals
   3
   4 import json
   5 import time
   6 import hmac
   7 import hashlib
   8 import itertools
   9 import re
  10 from ..utils import (
  11     ExtractorError,
  12     int_or_none,
  13     parse_age_limit,
  14     parse_iso8601,
  15 )
  16 from ..compat import compat_urllib_request
  17 from .common import InfoExtractor
  18
  19
  20 class DemocracynowIE(InfoExtractor):
  21     _VALID_URL = r'https?://(?:www\.)?democracynow.org/?(?P<id>[^\?]*)'
  22     IE_NAME = 'democracynow'
  23     _TESTS = [{
  24         'url': 'http://www.democracynow.org/shows/2015/7/3',
  25         'info_dict': {
  26             'id': '2015-0703-001',
  27             'ext': 'mp4',
  28             'title': 'July 03, 2015 - Democracy Now!',
  29             'description': 'A daily independent global news hour with Amy Goodman & Juan Gonz\xe1lez "What to the Slave is 4th of July?": James Earl Jones Reads Frederick Douglass\u2019 Historic Speech : "This Flag Comes Down Today": Bree Newsome Scales SC Capitol Flagpole, Takes Down Confederate Flag : "We Shall Overcome": Remembering Folk Icon, Activist Pete Seeger in His Own Words & Songs',
  30             'uploader': 'Democracy Now',
  31             'upload_date': None,
  32         },
  33      },{
  34         'url': 'http://www.democracynow.org/2015/7/3/this_flag_comes_down_today_bree',
  35         'info_dict': {
  36             'id': '2015-0703-001',
  37             'ext': 'mp4',
  38             'title': '"This Flag Comes Down Today": Bree Newsome Scales SC Capitol Flagpole, Takes Down Confederate Flag',
  39             'description': 'md5:4d2bc4f0d29f5553c2210a4bc7761a21',
  40             'uploader': 'Democracy Now',
  41             'upload_date': None,
  42         },
  43
  44     }]
  45
  46     def _real_extract(self, url):
  47         display_id = self._match_id(url)
  48         base_host = re.search(r'^(.+?://[^/]+)', url).group(1)
  49         if display_id == '':
  50             display_id = 'home'
  51         webpage = self._download_webpage(url, display_id)
  52         re_desc = re.search(r'<meta property=.og:description. content=(["\'])(.+?)\1',webpage,re.DOTALL)
  53         description = re_desc.group(2) if re_desc else ''
  54
  55         jstr = self._search_regex(r'({.+?"related_video_xml".+?})', webpage, 'json', default=None)
  56         js = self._parse_json(jstr, display_id)
  57         video_id = None
  58         formats = []
  59         subtitles = {}
  60         for key in ('caption_file','.......'):
  61             # ....... = pending vtt support that doesn't clobber srt 'chapter_file':
  62             url = js.get(key,'')
  63             if url == '' or url == None:
  64                 continue
  65             if not re.match(r'^https?://',url):
  66                 url = base_host + url
  67             ext = re.search(r'\.([^\.]+)$',url).group(1)
  68             subtitles['eng'] = [{
  69                 'ext': ext,
  70                 'url': url,
  71             }]
  72         for key in ('file', 'audio'):
  73             url = js.get(key,'')
  74             if url == '' or url == None:
  75                 continue
  76             if not re.match(r'^https?://',url):
  77                 url = base_host + url
  78             purl = re.search(r'/(?P<dir>[^/]+)/(?:dn)?(?P<fn>[^/]+?)\.(?P<ext>[^\.\?]+)(?P<hasparams>\?|$)',url)
  79             if video_id == None:
  80                 video_id = purl.group('fn')
  81             if js.get('start') != None:
  82                 url += '&' if purl.group('hasparams') == '?' else '?'
  83                 url = url + 'start='+str(js.get('start'))
  84             formats.append({
  85                 'format_id': purl.group('dir'),
  86                 'ext': purl.group('ext'),
  87                 'url': url,
  88             })
  89         self._sort_formats(formats)
  90         ret = {
  91             'id': video_id,
  92             'title': js.get('title'),
  93             'description': description,
  94             'uploader': 'Democracy Now',
  95 #            'thumbnails': thumbnails,
  96             'subtitles': subtitles,
  97             'formats': formats,
  98         }
  99         return ret
 100 #