Merge branch 'patch/enhance-tagesschau-regex' of https://github.com/rohieb/youtube...
authorSergey M․ <dstftw@gmail.com>
Wed, 22 Jul 2015 18:12:46 +0000 (00:12 +0600)
committerSergey M․ <dstftw@gmail.com>
Wed, 22 Jul 2015 18:12:46 +0000 (00:12 +0600)
1  2 
youtube_dl/extractor/tagesschau.py

index cf1b37a7533f3af05022cd2fa2a7f908e8edb9a0,4a755c65789acee4b985aee3142189622838792d..636607db5a21658e3e98e6dabf09cc4b7fa94459
@@@ -4,20 -4,20 +4,20 @@@ from __future__ import unicode_literal
  import re
  
  from .common import InfoExtractor
- from ..utils import parse_filesize
+ from ..utils import parse_filesize, ExtractorError
  
  
  class TagesschauIE(InfoExtractor):
-     _VALID_URL = r'https?://(?:www\.)?tagesschau\.de/multimedia/(?:sendung/ts|video/video)(?P<id>-?[0-9]+)\.html'
+     _VALID_URL = r'https?://(?:www\.)?tagesschau\.de/multimedia/(?:sendung/(ts|tsg|tt|nm|bab/bab)|video/video|tsvorzwanzig)(?P<id>-?[0-9]+)(?:~[-_a-zA-Z0-9]*)?\.html'
  
      _TESTS = [{
 -        'url': 'http://www.tagesschau.de/multimedia/video/video1399128.html',
 -        'md5': 'bcdeac2194fb296d599ce7929dfa4009',
 +        'url': 'http://www.tagesschau.de/multimedia/video/video-102143.html',
 +        'md5': '917a228bc7df7850783bc47979673a09',
          'info_dict': {
 -            'id': '1399128',
 +            'id': '102143',
              'ext': 'mp4',
 -            'title': 'Harald Range, Generalbundesanwalt, zu den Ermittlungen',
 -            'description': 'md5:69da3c61275b426426d711bde96463ab',
 +            'title': 'Regierungsumbildung in Athen: Neue Minister in Griechenland vereidigt',
 +            'description': 'md5:171feccd9d9b3dd54d05d501568f6359',
              'thumbnail': 're:^http:.*\.jpg$',
          },
      }, {
              'title': 'Sendung: tagesschau \t04.12.2014 20:00 Uhr',
              'thumbnail': 're:^http:.*\.jpg$',
          }
+     }, {
+         'url': 'http://www.tagesschau.de/multimedia/sendung/tsg-3771.html',
+         'md5': '90757268b49ef56deae90c7b48928d58',
+         'info_dict': {
+             'id': '3771',
+             'ext': 'mp4',
+             'description': None,
+             'title': 'Sendung: tagesschau (mit Gebärdensprache) \t14.07.2015 20:00 Uhr',
+             'thumbnail': 're:^http:.*\.jpg$',
+         }
+     }, {
+         'url': 'http://www.tagesschau.de/multimedia/sendung/tt-3827.html',
+         'md5': '6e3ebdc75e8d67da966a8d06721eda71',
+         'info_dict': {
+             'id': '3827',
+             'ext': 'mp4',
+             'description': 'md5:d511d0e278b0ad341a95ad9ab992ce66',
+             'title': 'Sendung: tagesthemen \t14.07.2015 22:15 Uhr',
+             'thumbnail': 're:^http:.*\.jpg$',
+         }
+     }, {
+         'url': 'http://www.tagesschau.de/multimedia/sendung/nm-3475.html',
+         'md5': '8a8875a568f0a5ae5ceef93c501a225f',
+         'info_dict': {
+             'id': '3475',
+             'ext': 'mp4',
+             'description': 'md5:ed149f5649cda3dac86813a9d777e131',
+             'title': 'Sendung: nachtmagazin \t15.07.2015 00:15 Uhr',
+             'thumbnail': 're:^http:.*\.jpg$',
+         }
+     }, {
+         'url': 'http://www.tagesschau.de/multimedia/tsvorzwanzig-959.html',
+         'md5': 'be4d6f0421f2acd8abe25ea29f6f015b',
+         'info_dict': {
+             'id': '959',
+             'ext': 'mp4',
+             'description': None,
+             'title': 'Sendung: tagesschau vor 20 Jahren \t14.07.2015 22:45 Uhr',
+             'thumbnail': 're:^http:.*\.jpg$',
+         }
+     }, {
+         'url': 'http://www.tagesschau.de/multimedia/sendung/bab/bab-3299~_bab-sendung-209.html',
+         'md5': '42e3757018d9908581481a80cc1806da',
+         'info_dict': {
+             'id': '3299',
+             'ext': 'mp4',
+             'description': None,
+             'title': 'Nach dem Referendum: Schaltgespräch nach Athen',
+             'thumbnail': 're:^http:.*\.jpg$',
+         }
      }]
  
      _FORMATS = {
              thumbnail_fn = self._search_regex(
                  r'(?s)<img alt="Sendungsbild".*?src="([^"]+)"',
                  webpage, 'thumbnail', fatal=False)
+             # there are some videos without description
+             description = ""
              description = self._html_search_regex(
                  r'(?s)<p class="teasertext">(.*?)</p>',
-                 webpage, 'description', fatal=False)
+                 webpage, 'description', fatal=False, default=None)
              title = self._html_search_regex(
                  r'<span class="headline".*?>(.*?)</span>', webpage, 'title')