[utils,franceinter] Add french months' names and fix extraction
authorrenalid <renaud.euvrard@MAC-1636.local>
Fri, 2 Sep 2016 16:31:52 +0000 (18:31 +0200)
committerSergey M․ <dstftw@gmail.com>
Wed, 14 Sep 2016 16:59:38 +0000 (23:59 +0700)
Update of the "FranceInter" radio extractor : webpages HTML structure
had changed, the extractor didn't work. So I updated this extractor to
get the mp3 URL and all details.

youtube_dl/extractor/franceinter.py
youtube_dl/utils.py

index 2369f868da4a39b1cf84c7cee6a5830859484082..6dad8d712289bc55799dbaac9a649e2b9abbe3ff 100644 (file)
@@ -2,20 +2,24 @@
 from __future__ import unicode_literals
 
 from .common import InfoExtractor
-from ..utils import int_or_none
+from ..utils import (
+    unified_timestamp,
+    month_by_name,
+)
 
 
 class FranceInterIE(InfoExtractor):
-    _VALID_URL = r'https?://(?:www\.)?franceinter\.fr/player/reecouter\?play=(?P<id>[0-9]+)'
+    _VALID_URL = r'https?://(?:www\.)?franceinter\.fr/emissions/(?P<id>[^?#]+)'
+
     _TEST = {
-        'url': 'http://www.franceinter.fr/player/reecouter?play=793962',
+        'url': 'https://www.franceinter.fr/emissions/la-marche-de-l-histoire/la-marche-de-l-histoire-18-decembre-2013',
         'md5': '4764932e466e6f6c79c317d2e74f6884',
         'info_dict': {
-            'id': '793962',
+            'id': 'la-marche-de-l-histoire/la-marche-de-l-histoire-18-decembre-2013',
             'ext': 'mp3',
-            'title': 'L’Histoire dans les jeux vidéo',
-            'description': 'md5:7e93ddb4451e7530022792240a3049c7',
-            'timestamp': 1387369800,
+            'title': 'L’Histoire dans les jeux vidéo du 18 décembre 2013 - France Inter',
+            'description': 'L’Histoire dans les jeux vidéo du 18 décembre 2013  par Jean Lebrun en replay sur France Inter. Retrouvez l\'émission en réécoute gratuite et abonnez-vous au podcast !',
+            'timestamp': 1387324800,
             'upload_date': '20131218',
         },
     }
@@ -25,17 +29,17 @@ class FranceInterIE(InfoExtractor):
 
         webpage = self._download_webpage(url, video_id)
 
-        path = self._search_regex(
-            r'<a id="player".+?href="([^"]+)"', webpage, 'video url')
-        video_url = 'http://www.franceinter.fr/' + path
-
-        title = self._html_search_regex(
-            r'<span class="title-diffusion">(.+?)</span>', webpage, 'title')
-        description = self._html_search_regex(
-            r'<span class="description">(.*?)</span>',
-            webpage, 'description', fatal=False)
-        timestamp = int_or_none(self._search_regex(
-            r'data-date="(\d+)"', webpage, 'upload date', fatal=False))
+        video_url = self._search_regex(
+            r'<button class="replay-button playable" data-is-aod="1" data-url="([^"]+)"', webpage, 'video url')
+
+        title = self._og_search_title(webpage)
+        description = self._og_search_description(webpage)
+
+        extractdate = self._search_regex('(\d{2}-([a-zA-Z\s]+)-\d{4}$)', url, 'extractdate', fatal=False)
+        extractdate = extractdate.split('-')
+        extractdate = extractdate[2] + "," + str(month_by_name(extractdate[1], 'fr')) + "," + extractdate[0]
+
+        timestamp = unified_timestamp(extractdate)
 
         return {
             'id': video_id,
index ed199c4ad37aa5a94a30c99e458fd061f44e665d..623ced625baf9eb9ac7c98328f8fa745a8d8deec 100644 (file)
@@ -91,6 +91,10 @@ ENGLISH_MONTH_NAMES = [
     'January', 'February', 'March', 'April', 'May', 'June',
     'July', 'August', 'September', 'October', 'November', 'December']
 
+FRENCH_MONTH_NAMES = [
+    'janvier', 'fevrier', 'mars', 'avril', 'mai', 'juin',
+    'juillet', 'aout', 'septembre', 'octobre', 'novembre', 'decembre']
+
 KNOWN_EXTENSIONS = (
     'mp4', 'm4a', 'm4p', 'm4b', 'm4r', 'm4v', 'aac',
     'flv', 'f4v', 'f4a', 'f4b',
@@ -1587,11 +1591,16 @@ def parse_count(s):
     return lookup_unit_table(_UNIT_TABLE, s)
 
 
-def month_by_name(name):
+def month_by_name(name, lang='en'):
     """ Return the number of a month by (locale-independently) English name """
 
+    name_list = ENGLISH_MONTH_NAMES
+
+    if lang == 'fr':
+        name_list = FRENCH_MONTH_NAMES
+
     try:
-        return ENGLISH_MONTH_NAMES.index(name) + 1
+        return name_list.index(name) + 1
     except ValueError:
         return None