[youtube] Fix extraction.
[youtube-dl] / youtube_dl / extractor / audiomack.py
index b6f3039c72b0eb2747862703a2e9bc2b34efddc1..cc7771354c10b39778f0b2dcad55052db42066b3 100644 (file)
@@ -1,54 +1,48 @@
 # coding: utf-8
 from __future__ import unicode_literals
 
+import itertools
+import time
+
 from .common import InfoExtractor
 from .soundcloud import SoundcloudIE
-from ..utils import ExtractorError
-
-import time
+from ..compat import compat_str
+from ..utils import (
+    ExtractorError,
+    url_basename,
+)
 
 
 class AudiomackIE(InfoExtractor):
-    _VALID_URL = r'https?://(?:www\.)?audiomack\.com/(song)/(?P<id>[\w/-]+)'
+    _VALID_URL = r'https?://(?:www\.)?audiomack\.com/song/(?P<id>[\w/-]+)'
     IE_NAME = 'audiomack'
     _TESTS = [
-        # audiomack
+        # hosted on audiomack
         {
             'url': 'http://www.audiomack.com/song/roosh-williams/extraordinary',
             'info_dict':
             {
                 'id': '310086',
-                "ext": "mp3",
-                "artist": "Roosh Williams",
+                'ext': 'mp3',
+                'uploader': 'Roosh Williams',
                 'title': 'Extraordinary'
             }
         },
-        # audiomack through soundcloud
+        # audiomack wrapper around soundcloud song
         {
             'add_ie': ['Soundcloud'],
-            'url': 'http://www.audiomack.com/song/xclusiveszone/take-kare',
+            'url': 'http://www.audiomack.com/song/hip-hop-daily/black-mamba-freestyle',
             'info_dict': {
-                'id': '172419696',
+                'id': '258901379',
                 'ext': 'mp3',
-                'description': 'md5:1fc3272ed7a635cce5be1568c2822997',
-                'title': 'Young Thug ft Lil Wayne - Take Kare',
-                'uploader': 'Young Thug World',
-                'upload_date': '20141016',
+                'description': 'mamba day freestyle for the legend Kobe Bryant ',
+                'title': 'Black Mamba Freestyle [Prod. By Danny Wolf]',
+                'uploader': 'ILOVEMAKONNEN',
+                'upload_date': '20160414',
             }
         },
     ]
 
-    @staticmethod
-    def create_song_dictionary(api_response, album_url_tag, track_no=0):
-        # All keys are the same in audiomack api and InfoExtractor format
-        entry = {key: api_response[key] for key in ["title", "artist", "id", "url"] if key in api_response}
-        # Fudge values in the face of missing metadata
-        if "id" not in entry:
-            entry["id"] = track_no
-        if "title" not in entry:
-            entry["title"] = album_url_tag
-        return entry
-
     def _real_extract(self, url):
         # URLs end with [uploader name]/[uploader title]
         # this title is whatever the user types in, and is rarely
@@ -57,20 +51,25 @@ class AudiomackIE(InfoExtractor):
 
         # Request the extended version of the api for extra fields like artist and title
         api_response = self._download_json(
-            "http://www.audiomack.com/api/music/url/song/%s?extended=1&_=%d" % (
+            'http://www.audiomack.com/api/music/url/song/%s?extended=1&_=%d' % (
                 album_url_tag, time.time()),
             album_url_tag)
 
         # API is inconsistent with errors
-        if "url" not in api_response or not api_response["url"] or "error" in api_response:
-            raise ExtractorError("Invalid url %s", url)
+        if 'url' not in api_response or not api_response['url'] or 'error' in api_response:
+            raise ExtractorError('Invalid url %s' % url)
 
         # Audiomack wraps a lot of soundcloud tracks in their branded wrapper
         # if so, pass the work off to the soundcloud extractor
-        if SoundcloudIE.suitable(api_response["url"]):
-            return {'_type': 'url', 'url': api_response["url"], 'ie_key': 'Soundcloud'}
+        if SoundcloudIE.suitable(api_response['url']):
+            return self.url_result(api_response['url'], SoundcloudIE.ie_key())
 
-        return self.create_song_dictionary(api_response, album_url_tag)
+        return {
+            'id': compat_str(api_response.get('id', album_url_tag)),
+            'uploader': api_response.get('artist'),
+            'title': api_response.get('title'),
+            'url': api_response['url'],
+        }
 
 
 class AudiomackAlbumIE(InfoExtractor):
@@ -80,17 +79,32 @@ class AudiomackAlbumIE(InfoExtractor):
         # Standard album playlist
         {
             'url': 'http://www.audiomack.com/album/flytunezcom/tha-tour-part-2-mixtape',
-            "playlist_count": 15,
+            'playlist_count': 15,
             'info_dict':
             {
-                'id': "812251",
-                'title': "Tha Tour: Part 2 (Official Mixtape)"
+                'id': '812251',
+                'title': 'Tha Tour: Part 2 (Official Mixtape)'
             }
         },
         # Album playlist ripped from fakeshoredrive with no metadata
         {
-            "url": "http://www.audiomack.com/album/fakeshoredrive/ppp-pistol-p-project",
-            "playlist_count": 10
+            'url': 'http://www.audiomack.com/album/fakeshoredrive/ppp-pistol-p-project',
+            'info_dict': {
+                'title': 'PPP (Pistol P Project)',
+                'id': '837572',
+            },
+            'playlist': [{
+                'info_dict': {
+                    'title': 'PPP (Pistol P Project) - 9. Heaven or Hell (CHIMACA) ft Zuse (prod by DJ FU)',
+                    'id': '837577',
+                    'ext': 'mp3',
+                    'uploader': 'Lil Herb a.k.a. G Herbo',
+                }
+            }],
+            'params': {
+                'playliststart': 9,
+                'playlistend': 9,
+            }
         }
     ]
 
@@ -99,27 +113,33 @@ class AudiomackAlbumIE(InfoExtractor):
         # this title is whatever the user types in, and is rarely
         # the proper song title.  Real metadata is in the api response
         album_url_tag = self._match_id(url)
-        result = {"_type": "playlist", "entries": []}
+        result = {'_type': 'playlist', 'entries': []}
         # There is no one endpoint for album metadata - instead it is included/repeated in each song's metadata
         # Therefore we don't know how many songs the album has and must infi-loop until failure
-        track_no = 0
-        while True:
+        for track_no in itertools.count():
             # Get song's metadata
-            api_response = self._download_json("http://www.audiomack.com/api/music/url/album/%s/%d?extended=1&_=%d"
-                                               % (album_url_tag, track_no, time.time()), album_url_tag)
+            api_response = self._download_json(
+                'http://www.audiomack.com/api/music/url/album/%s/%d?extended=1&_=%d'
+                % (album_url_tag, track_no, time.time()), album_url_tag,
+                note='Querying song information (%d)' % (track_no + 1))
 
             # Total failure, only occurs when url is totally wrong
             # Won't happen in middle of valid playlist (next case)
-            if "url" not in api_response or "error" in api_response:
-                raise ExtractorError("Invalid url for track %d of album url %s" % (track_no, url))
+            if 'url' not in api_response or 'error' in api_response:
+                raise ExtractorError('Invalid url for track %d of album url %s' % (track_no, url))
             # URL is good but song id doesn't exist - usually means end of playlist
-            elif not api_response["url"]:
+            elif not api_response['url']:
                 break
             else:
                 # Pull out the album metadata and add to result (if it exists)
-                for resultkey, apikey in [("id", "album_id"), ("title", "album_title")]:
+                for resultkey, apikey in [('id', 'album_id'), ('title', 'album_title')]:
                     if apikey in api_response and resultkey not in result:
                         result[resultkey] = api_response[apikey]
-                result["entries"].append(AudiomackIE.create_song_dictionary(api_response, album_url_tag, track_no))
-            track_no += 1
+                song_id = url_basename(api_response['url']).rpartition('.')[0]
+                result['entries'].append({
+                    'id': compat_str(api_response.get('id', song_id)),
+                    'uploader': api_response.get('artist'),
+                    'title': api_response.get('title', song_id),
+                    'url': api_response['url'],
+                })
         return result