Merge branch 'master' of https://github.com/aurium/youtube-dl into aurium-master
authorSergey M․ <dstftw@gmail.com>
Sat, 11 Jul 2015 15:58:12 +0000 (21:58 +0600)
committerSergey M․ <dstftw@gmail.com>
Sat, 11 Jul 2015 15:58:12 +0000 (21:58 +0600)
1  2 
README.md
youtube_dl/YoutubeDL.py
youtube_dl/__init__.py
youtube_dl/options.py
youtube_dl/postprocessor/ffmpeg.py

diff --combined README.md
index 93e7fb06f30123c1902586803ccd94067e6d74df,7eb17a16348a51777fee017697b1134915f5ae69..d8926d2b72075ba353f618874c95dc122c564453
+++ b/README.md
@@@ -52,9 -52,8 +52,9 @@@ which means you can modify it, redistri
      -i, --ignore-errors              Continue on download errors, for example to skip unavailable videos in a playlist
      --abort-on-error                 Abort downloading of further videos (in the playlist or the command line) if an error occurs
      --dump-user-agent                Display the current browser identification
 -    --list-extractors                List all supported extractors and the URLs they would handle
 +    --list-extractors                List all supported extractors
      --extractor-descriptions         Output descriptions of all supported extractors
 +    --force-generic-extractor        Force extraction to use the generic extractor
      --default-search PREFIX          Use this prefix for unqualified URLs. For example "gvsearch2:" downloads two videos from google videos for youtube-dl "large apple".
                                       Use the value "auto" to let youtube-dl guess ("auto_warning" to emit a warning when guessing). "error" just throws an error. The
                                       default value "fixup_error" repairs broken URLs, but emits an error if this is not possible instead of searching.
      --playlist-reverse               Download playlist videos in reverse order
      --xattr-set-filesize             Set file xattribute ytdl.filesize with expected filesize (experimental)
      --hls-prefer-native              Use the native HLS downloader instead of ffmpeg (experimental)
 -    --external-downloader COMMAND    Use the specified external downloader. Currently supports aria2c,curl,wget
 +    --external-downloader COMMAND    Use the specified external downloader. Currently supports aria2c,curl,httpie,wget
      --external-downloader-args ARGS  Give these arguments to the external downloader
  
  ## Filesystem Options:
      --all-formats                    Download all available video formats
      --prefer-free-formats            Prefer free video formats unless a specific one is requested
      -F, --list-formats               List all available formats
 -    --youtube-skip-dash-manifest     Do not download the DASH manifest on YouTube videos
 -    --merge-output-format FORMAT     If a merge is required (e.g. bestvideo+bestaudio), output to given container format. One of mkv, mp4, ogg, webm, flv.Ignored if no
 +    --youtube-skip-dash-manifest     Do not download the DASH manifests and related data on YouTube videos
 +    --merge-output-format FORMAT     If a merge is required (e.g. bestvideo+bestaudio), output to given container format. One of mkv, mp4, ogg, webm, flv. Ignored if no
                                       merge is required
  
  ## Subtitle Options:
      --audio-format FORMAT            Specify audio format: "best", "aac", "vorbis", "mp3", "m4a", "opus", or "wav"; "best" by default
      --audio-quality QUALITY          Specify ffmpeg/avconv audio quality, insert a value between 0 (better) and 9 (worse) for VBR or a specific bitrate like 128K (default
                                       5)
-     --recode-video FORMAT            Encode the video to another format if necessary (currently supported: mp4|flv|ogg|webm|mkv)
+     --recode-video FORMAT            Encode the video to another format if necessary (currently supported: mp4|flv|ogg|webm|mkv|xvid)
+     --postprocessor-args             Extra parameters for video post-processor.
      -k, --keep-video                 Keep the video file on disk after the post-processing; the video is erased by default
      --no-post-overwrites             Do not overwrite post-processed files; the post-processed files are overwritten by default
      --embed-subs                     Embed subtitles in the video (only for mkv and mp4 videos)
                                       parameters replace existing values. Additional templates: %(album)s, %(artist)s. Example: --metadata-from-title "%(artist)s -
                                       %(title)s" matches a title like "Coldplay - Paradise"
      --xattrs                         Write metadata to the video file's xattrs (using dublin core and xdg standards)
 -    --fixup POLICY                   Automatically correct known faults of the file. One of never (do nothing), warn (only emit a warning), detect_or_warn(the default;
 +    --fixup POLICY                   Automatically correct known faults of the file. One of never (do nothing), warn (only emit a warning), detect_or_warn (the default;
                                       fix file if we can, warn otherwise)
      --prefer-avconv                  Prefer avconv over ffmpeg for running the postprocessors (default)
      --prefer-ffmpeg                  Prefer ffmpeg over avconv for running the postprocessors
@@@ -380,7 -380,7 +381,7 @@@ In February 2015, the new YouTube playe
  
  ### HTTP Error 429: Too Many Requests or 402: Payment Required
  
 -These two error codes indicate that the service is blocking your IP address because of overuse. Contact the service and ask them to unblock your IP address, or - if you have acquired a whitelisted IP address already - use the [`--proxy` or `--network-address` options](#network-options) to select another IP address.
 +These two error codes indicate that the service is blocking your IP address because of overuse. Contact the service and ask them to unblock your IP address, or - if you have acquired a whitelisted IP address already - use the [`--proxy` or `--source-address` options](#network-options) to select another IP address.
  
  ### SyntaxError: Non-ASCII character ###
  
diff --combined youtube_dl/YoutubeDL.py
index 411de9ac9399d2ec565a6dc344e4175372099d2b,ff95add786cf73df0795e6c2d0353dc0ed569cce..8580f99a7c46bb9d5542e2abefea6eae36b8a1ff
@@@ -119,7 -119,7 +119,7 @@@ class YoutubeDL(object)
  
      username:          Username for authentication purposes.
      password:          Password for authentication purposes.
 -    videopassword:     Password for acces a video.
 +    videopassword:     Password for accessing a video.
      usenetrc:          Use netrc for authentication instead.
      verbose:           Print additional info to stdout.
      quiet:             Do not print messages to stdout.
      outtmpl:           Template for output names.
      restrictfilenames: Do not allow "&" and spaces in file names
      ignoreerrors:      Do not stop on download errors.
 +    force_generic_extractor: Force downloader to use the generic extractor
      nooverwrites:      Prevent overwriting files.
      playliststart:     Playlist item to start at.
      playlistend:       Playlist item to end at.
      The following options are used by the post processors:
      prefer_ffmpeg:     If True, use ffmpeg instead of avconv if both are available,
                         otherwise prefer avconv.
+     postprocessor_args: Extra parameters for external apps, like avconv.
      """
  
      params = None
              info_dict.setdefault(key, value)
  
      def extract_info(self, url, download=True, ie_key=None, extra_info={},
 -                     process=True):
 +                     process=True, force_generic_extractor=False):
          '''
          Returns a list with a dictionary for each video we find.
          If 'download', also downloads the videos.
          extra_info is a dict containing the extra values to add to each result
          '''
  
 +        if not ie_key and force_generic_extractor:
 +            ie_key = 'Generic'
 +
          if ie_key:
              ies = [self.get_info_extractor(ie_key)]
          else:
                  t.get('preference'), t.get('width'), t.get('height'),
                  t.get('id'), t.get('url')))
              for i, t in enumerate(thumbnails):
 -                if 'width' in t and 'height' in t:
 +                if t.get('width') and t.get('height'):
                      t['resolution'] = '%dx%d' % (t['width'], t['height'])
                  if t.get('id') is None:
                      t['id'] = '%d' % i
              info_dict['id'], info_dict.get('subtitles'),
              info_dict.get('automatic_captions'))
  
 -        # This extractors handle format selection themselves
 -        if info_dict['extractor'] in ['Youku']:
 -            if download:
 -                self.process_info(info_dict)
 -            return info_dict
 -
          # We now pick which formats have to be downloaded
          if info_dict.get('formats') is None:
              # There's only one format available
          for url in url_list:
              try:
                  # It also downloads the videos
 -                res = self.extract_info(url)
 +                res = self.extract_info(
 +                    url, force_generic_extractor=self.params.get('force_generic_extractor', False))
              except UnavailableVideoError:
                  self.report_error('unable to download video')
              except MaxDownloadsReached:
diff --combined youtube_dl/__init__.py
index 215b616de710705d3df73d0cb7dbf14d5dc08848,249f7636503cee65e02d428f2965d1c0619cc36d..fb31d1569d0e9c9c12fa70ac99fa4b425c8fc9e3
@@@ -169,7 -169,7 +169,7 @@@ def _real_main(argv=None)
          if not opts.audioquality.isdigit():
              parser.error('invalid audio quality specified')
      if opts.recodevideo is not None:
-         if opts.recodevideo not in ['mp4', 'flv', 'webm', 'ogg', 'mkv']:
+         if opts.recodevideo not in ['mp4', 'flv', 'webm', 'ogg', 'mkv', 'xvid']:
              parser.error('invalid video recode format specified')
      if opts.convertsubtitles is not None:
          if opts.convertsubtitles not in ['srt', 'vtt', 'ass']:
          'autonumber_size': opts.autonumber_size,
          'restrictfilenames': opts.restrictfilenames,
          'ignoreerrors': opts.ignoreerrors,
 +        'force_generic_extractor': opts.force_generic_extractor,
          'ratelimit': opts.ratelimit,
          'nooverwrites': opts.nooverwrites,
          'retries': opts_retries,
          'extract_flat': opts.extract_flat,
          'merge_output_format': opts.merge_output_format,
          'postprocessors': postprocessors,
+         'postprocessor_args': shlex.split(opts.postprocessor_args or ''),
          'fixup': opts.fixup,
          'source_address': opts.source_address,
          'call_home': opts.call_home,
diff --combined youtube_dl/options.py
index 4762e1e3c7bf1234dfa468f6f0371c781f1e5281,3d88428c4654b2ed540aa42b49dd2f022bd609de..c15dadb216bdd9226878b71b3af3abfa0ea5bcc5
@@@ -150,10 -150,6 +150,10 @@@ def parseOpts(overrideArguments=None)
          '--extractor-descriptions',
          action='store_true', dest='list_extractor_descriptions', default=False,
          help='Output descriptions of all supported extractors')
 +    general.add_option(
 +        '--force-generic-extractor',
 +        action='store_true', dest='force_generic_extractor', default=False,
 +        help='Force extraction to use the generic extractor')
      general.add_option(
          '--default-search',
          dest='default_search', metavar='PREFIX',
      video_format.add_option(
          '--youtube-skip-dash-manifest',
          action='store_false', dest='youtube_include_dash_manifest',
 -        help='Do not download the DASH manifest on YouTube videos')
 +        help='Do not download the DASH manifests and related data on YouTube videos')
      video_format.add_option(
          '--merge-output-format',
          action='store', dest='merge_output_format', metavar='FORMAT', default=None,
          help=(
 -            'If a merge is required (e.g. bestvideo+bestaudio), output to given container format. One of mkv, mp4, ogg, webm, flv.'
 +            'If a merge is required (e.g. bestvideo+bestaudio), '
 +            'output to given container format. One of mkv, mp4, ogg, webm, flv. '
              'Ignored if no merge is required'))
  
      subtitles = optparse.OptionGroup(parser, 'Subtitle Options')
      postproc.add_option(
          '--recode-video',
          metavar='FORMAT', dest='recodevideo', default=None,
-         help='Encode the video to another format if necessary (currently supported: mp4|flv|ogg|webm|mkv)')
+         help='Encode the video to another format if necessary (currently supported: mp4|flv|ogg|webm|mkv|xvid)')
+     postproc.add_option(
+         '--postprocessor-args',
+         dest='postprocessor_args', default=None, metavar='ARGS',
+         help='Extra parameters for video post-processor.')
      postproc.add_option(
          '-k', '--keep-video',
          action='store_true', dest='keepvideo', default=False,
          metavar='POLICY', dest='fixup', default='detect_or_warn',
          help='Automatically correct known faults of the file. '
               'One of never (do nothing), warn (only emit a warning), '
 -             'detect_or_warn(the default; fix file if we can, warn otherwise)')
 +             'detect_or_warn (the default; fix file if we can, warn otherwise)')
      postproc.add_option(
          '--prefer-avconv',
          action='store_false', dest='prefer_ffmpeg',
index fe7e0a8eea6ad81c8700f0a1d5415f7cccf1d756,de8c225da3f2fdf31c7534290fde0d0ca04d3b45..d4ba3572b58d4ab5af286393d662478bea025641
@@@ -21,7 -21,6 +21,7 @@@ from ..utils import 
      shell_quote,
      subtitles_filename,
      dfxp2srt,
 +    ISO639Utils,
  )
  
  
@@@ -295,19 -294,217 +295,24 @@@ class FFmpegVideoConvertorPP(FFmpegPost
      def run(self, information):
          path = information['filepath']
          prefix, sep, ext = path.rpartition('.')
-         outpath = prefix + sep + self._preferedformat
+         ext = self._preferedformat
+         options = self._extra_cmd_args
+         if self._preferedformat == 'xvid':
+             ext = 'avi'
+             options.extend(['-c:v', 'libxvid', '-vtag', 'XVID'])
+         outpath = prefix + sep + ext
          if information['ext'] == self._preferedformat:
              self._downloader.to_screen('[ffmpeg] Not converting video file %s - already is in target format %s' % (path, self._preferedformat))
              return [], information
          self._downloader.to_screen('[' + 'ffmpeg' + '] Converting video from %s to %s, Destination: ' % (information['ext'], self._preferedformat) + outpath)
-         self.run_ffmpeg(path, outpath, [])
+         self.run_ffmpeg(path, outpath, options)
          information['filepath'] = outpath
          information['format'] = self._preferedformat
-         information['ext'] = self._preferedformat
+         information['ext'] = ext
          return [path], information
  
  
  class FFmpegEmbedSubtitlePP(FFmpegPostProcessor):
 -    # See http://www.loc.gov/standards/iso639-2/ISO-639-2_utf-8.txt
 -    _lang_map = {
 -        'aa': 'aar',
 -        'ab': 'abk',
 -        'ae': 'ave',
 -        'af': 'afr',
 -        'ak': 'aka',
 -        'am': 'amh',
 -        'an': 'arg',
 -        'ar': 'ara',
 -        'as': 'asm',
 -        'av': 'ava',
 -        'ay': 'aym',
 -        'az': 'aze',
 -        'ba': 'bak',
 -        'be': 'bel',
 -        'bg': 'bul',
 -        'bh': 'bih',
 -        'bi': 'bis',
 -        'bm': 'bam',
 -        'bn': 'ben',
 -        'bo': 'bod',
 -        'br': 'bre',
 -        'bs': 'bos',
 -        'ca': 'cat',
 -        'ce': 'che',
 -        'ch': 'cha',
 -        'co': 'cos',
 -        'cr': 'cre',
 -        'cs': 'ces',
 -        'cu': 'chu',
 -        'cv': 'chv',
 -        'cy': 'cym',
 -        'da': 'dan',
 -        'de': 'deu',
 -        'dv': 'div',
 -        'dz': 'dzo',
 -        'ee': 'ewe',
 -        'el': 'ell',
 -        'en': 'eng',
 -        'eo': 'epo',
 -        'es': 'spa',
 -        'et': 'est',
 -        'eu': 'eus',
 -        'fa': 'fas',
 -        'ff': 'ful',
 -        'fi': 'fin',
 -        'fj': 'fij',
 -        'fo': 'fao',
 -        'fr': 'fra',
 -        'fy': 'fry',
 -        'ga': 'gle',
 -        'gd': 'gla',
 -        'gl': 'glg',
 -        'gn': 'grn',
 -        'gu': 'guj',
 -        'gv': 'glv',
 -        'ha': 'hau',
 -        'he': 'heb',
 -        'hi': 'hin',
 -        'ho': 'hmo',
 -        'hr': 'hrv',
 -        'ht': 'hat',
 -        'hu': 'hun',
 -        'hy': 'hye',
 -        'hz': 'her',
 -        'ia': 'ina',
 -        'id': 'ind',
 -        'ie': 'ile',
 -        'ig': 'ibo',
 -        'ii': 'iii',
 -        'ik': 'ipk',
 -        'io': 'ido',
 -        'is': 'isl',
 -        'it': 'ita',
 -        'iu': 'iku',
 -        'ja': 'jpn',
 -        'jv': 'jav',
 -        'ka': 'kat',
 -        'kg': 'kon',
 -        'ki': 'kik',
 -        'kj': 'kua',
 -        'kk': 'kaz',
 -        'kl': 'kal',
 -        'km': 'khm',
 -        'kn': 'kan',
 -        'ko': 'kor',
 -        'kr': 'kau',
 -        'ks': 'kas',
 -        'ku': 'kur',
 -        'kv': 'kom',
 -        'kw': 'cor',
 -        'ky': 'kir',
 -        'la': 'lat',
 -        'lb': 'ltz',
 -        'lg': 'lug',
 -        'li': 'lim',
 -        'ln': 'lin',
 -        'lo': 'lao',
 -        'lt': 'lit',
 -        'lu': 'lub',
 -        'lv': 'lav',
 -        'mg': 'mlg',
 -        'mh': 'mah',
 -        'mi': 'mri',
 -        'mk': 'mkd',
 -        'ml': 'mal',
 -        'mn': 'mon',
 -        'mr': 'mar',
 -        'ms': 'msa',
 -        'mt': 'mlt',
 -        'my': 'mya',
 -        'na': 'nau',
 -        'nb': 'nob',
 -        'nd': 'nde',
 -        'ne': 'nep',
 -        'ng': 'ndo',
 -        'nl': 'nld',
 -        'nn': 'nno',
 -        'no': 'nor',
 -        'nr': 'nbl',
 -        'nv': 'nav',
 -        'ny': 'nya',
 -        'oc': 'oci',
 -        'oj': 'oji',
 -        'om': 'orm',
 -        'or': 'ori',
 -        'os': 'oss',
 -        'pa': 'pan',
 -        'pi': 'pli',
 -        'pl': 'pol',
 -        'ps': 'pus',
 -        'pt': 'por',
 -        'qu': 'que',
 -        'rm': 'roh',
 -        'rn': 'run',
 -        'ro': 'ron',
 -        'ru': 'rus',
 -        'rw': 'kin',
 -        'sa': 'san',
 -        'sc': 'srd',
 -        'sd': 'snd',
 -        'se': 'sme',
 -        'sg': 'sag',
 -        'si': 'sin',
 -        'sk': 'slk',
 -        'sl': 'slv',
 -        'sm': 'smo',
 -        'sn': 'sna',
 -        'so': 'som',
 -        'sq': 'sqi',
 -        'sr': 'srp',
 -        'ss': 'ssw',
 -        'st': 'sot',
 -        'su': 'sun',
 -        'sv': 'swe',
 -        'sw': 'swa',
 -        'ta': 'tam',
 -        'te': 'tel',
 -        'tg': 'tgk',
 -        'th': 'tha',
 -        'ti': 'tir',
 -        'tk': 'tuk',
 -        'tl': 'tgl',
 -        'tn': 'tsn',
 -        'to': 'ton',
 -        'tr': 'tur',
 -        'ts': 'tso',
 -        'tt': 'tat',
 -        'tw': 'twi',
 -        'ty': 'tah',
 -        'ug': 'uig',
 -        'uk': 'ukr',
 -        'ur': 'urd',
 -        'uz': 'uzb',
 -        've': 'ven',
 -        'vi': 'vie',
 -        'vo': 'vol',
 -        'wa': 'wln',
 -        'wo': 'wol',
 -        'xh': 'xho',
 -        'yi': 'yid',
 -        'yo': 'yor',
 -        'za': 'zha',
 -        'zh': 'zho',
 -        'zu': 'zul',
 -    }
 -
 -    @classmethod
 -    def _conver_lang_code(cls, code):
 -        """Convert language code from ISO 639-1 to ISO 639-2/T"""
 -        return cls._lang_map.get(code[:2])
 -
      def run(self, information):
          if information['ext'] not in ['mp4', 'mkv']:
              self._downloader.to_screen('[ffmpeg] Subtitles can only be embedded in mp4 or mkv files')
              opts += ['-c:s', 'mov_text']
          for (i, lang) in enumerate(sub_langs):
              opts.extend(['-map', '%d:0' % (i + 1)])
 -            lang_code = self._conver_lang_code(lang)
 +            lang_code = ISO639Utils.short2long(lang)
              if lang_code is not None:
                  opts.extend(['-metadata:s:s:%d' % i, 'language=%s' % lang_code])