_ Git - youtube-dl/blob - youtube_dl/__init__.py

   1 #!/usr/bin/env python
   2 # -*- coding: utf-8 -*-
   3
   4 __authors__  = (
   5     'Ricardo Garcia Gonzalez',
   6     'Danny Colligan',
   7     'Benjamin Johnson',
   8     'Vasyl\' Vavrychuk',
   9     'Witold Baryluk',
  10     'Paweł Paprota',
  11     'Gergely Imreh',
  12     'Rogério Brito',
  13     'Philipp Hagemeister',
  14     'Sören Schulze',
  15     'Kevin Ngo',
  16     'Ori Avtalion',
  17     'shizeeg',
  18     'Filippo Valsorda',
  19     'Christian Albrecht',
  20     'Dave Vasilevsky',
  21     'Jaime Marquínez Ferrándiz',
  22     'Jeff Crouse',
  23     'Osama Khalid',
  24     'Michael Walter',
  25     'M. Yasoob Ullah Khalid',
  26     'Julien Fraichard',
  27     'Johny Mo Swag',
  28     'Axel Noack',
  29     'Albert Kim',
  30     'Pierre Rudloff',
  31     'Huarong Huo',
  32     'Ismael Mejía',
  33     'Steffan \'Ruirize\' James',
  34     'Andras Elso',
  35     'Jelle van der Waa',
  36     'Marcin Cieślak',
  37     'Anton Larionov',
  38     'Takuya Tsuchida',
  39     'Sergey M.',
  40 )
  41
  42 __license__ = 'Public Domain'
  43
  44 import codecs
  45 import getpass
  46 import optparse
  47 import os
  48 import random
  49 import re
  50 import shlex
  51 import subprocess
  52 import sys
  53
  54
  55 from .utils import (
  56     compat_print,
  57     DateRange,
  58     decodeOption,
  59     determine_ext,
  60     DownloadError,
  61     get_cachedir,
  62     MaxDownloadsReached,
  63     preferredencoding,
  64     SameFileError,
  65     std_headers,
  66     write_string,
  67 )
  68 from .update import update_self
  69 from .FileDownloader import (
  70     FileDownloader,
  71 )
  72 from .extractor import gen_extractors
  73 from .version import __version__
  74 from .YoutubeDL import YoutubeDL
  75 from .PostProcessor import (
  76     FFmpegMetadataPP,
  77     FFmpegVideoConvertor,
  78     FFmpegExtractAudioPP,
  79     FFmpegEmbedSubtitlePP,
  80 )
  81
  82
  83 def parseOpts(overrideArguments=None):
  84     def _readOptions(filename_bytes):
  85         try:
  86             optionf = open(filename_bytes)
  87         except IOError:
  88             return [] # silently skip if file is not present
  89         try:
  90             res = []
  91             for l in optionf:
  92                 res += shlex.split(l, comments=True)
  93         finally:
  94             optionf.close()
  95         return res
  96
  97     def _format_option_string(option):
  98         ''' ('-o', '--option') -> -o, --format METAVAR'''
  99
 100         opts = []
 101
 102         if option._short_opts:
 103             opts.append(option._short_opts[0])
 104         if option._long_opts:
 105             opts.append(option._long_opts[0])
 106         if len(opts) > 1:
 107             opts.insert(1, ', ')
 108
 109         if option.takes_value(): opts.append(' %s' % option.metavar)
 110
 111         return "".join(opts)
 112
 113     def _comma_separated_values_options_callback(option, opt_str, value, parser):
 114         setattr(parser.values, option.dest, value.split(','))
 115
 116     def _find_term_columns():
 117         columns = os.environ.get('COLUMNS', None)
 118         if columns:
 119             return int(columns)
 120
 121         try:
 122             sp = subprocess.Popen(['stty', 'size'], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
 123             out,err = sp.communicate()
 124             return int(out.split()[1])
 125         except:
 126             pass
 127         return None
 128
 129     def _hide_login_info(opts):
 130         opts = list(opts)
 131         for private_opt in ['-p', '--password', '-u', '--username', '--video-password']:
 132             try:
 133                 i = opts.index(private_opt)
 134                 opts[i+1] = '<PRIVATE>'
 135             except ValueError:
 136                 pass
 137         return opts
 138
 139     max_width = 80
 140     max_help_position = 80
 141
 142     # No need to wrap help messages if we're on a wide console
 143     columns = _find_term_columns()
 144     if columns: max_width = columns
 145
 146     fmt = optparse.IndentedHelpFormatter(width=max_width, max_help_position=max_help_position)
 147     fmt.format_option_strings = _format_option_string
 148
 149     kw = {
 150         'version'   : __version__,
 151         'formatter' : fmt,
 152         'usage' : '%prog [options] url [url...]',
 153         'conflict_handler' : 'resolve',
 154     }
 155
 156     parser = optparse.OptionParser(**kw)
 157
 158     # option groups
 159     general        = optparse.OptionGroup(parser, 'General Options')
 160     selection      = optparse.OptionGroup(parser, 'Video Selection')
 161     authentication = optparse.OptionGroup(parser, 'Authentication Options')
 162     video_format   = optparse.OptionGroup(parser, 'Video Format Options')
 163     subtitles      = optparse.OptionGroup(parser, 'Subtitle Options')
 164     downloader     = optparse.OptionGroup(parser, 'Download Options')
 165     postproc       = optparse.OptionGroup(parser, 'Post-processing Options')
 166     filesystem     = optparse.OptionGroup(parser, 'Filesystem Options')
 167     verbosity      = optparse.OptionGroup(parser, 'Verbosity / Simulation Options')
 168
 169     general.add_option('-h', '--help',
 170             action='help', help='print this help text and exit')
 171     general.add_option('-v', '--version',
 172             action='version', help='print program version and exit')
 173     general.add_option('-U', '--update',
 174             action='store_true', dest='update_self', help='update this program to latest version. Make sure that you have sufficient permissions (run with sudo if needed)')
 175     general.add_option('-i', '--ignore-errors',
 176             action='store_true', dest='ignoreerrors', help='continue on download errors, for example to to skip unavailable videos in a playlist', default=False)
 177     general.add_option('--abort-on-error',
 178             action='store_false', dest='ignoreerrors',
 179             help='Abort downloading of further videos (in the playlist or the command line) if an error occurs')
 180     general.add_option('--dump-user-agent',
 181             action='store_true', dest='dump_user_agent',
 182             help='display the current browser identification', default=False)
 183     general.add_option('--user-agent',
 184             dest='user_agent', help='specify a custom user agent', metavar='UA')
 185     general.add_option('--referer',
 186             dest='referer', help='specify a custom referer, use if the video access is restricted to one domain',
 187             metavar='REF', default=None)
 188     general.add_option('--list-extractors',
 189             action='store_true', dest='list_extractors',
 190             help='List all supported extractors and the URLs they would handle', default=False)
 191     general.add_option('--extractor-descriptions',
 192             action='store_true', dest='list_extractor_descriptions',
 193             help='Output descriptions of all supported extractors', default=False)
 194     general.add_option('--proxy', dest='proxy', default=None, help='Use the specified HTTP/HTTPS proxy', metavar='URL')
 195     general.add_option('--no-check-certificate', action='store_true', dest='no_check_certificate', default=False, help='Suppress HTTPS certificate validation.')
 196     general.add_option(
 197         '--cache-dir', dest='cachedir', default=get_cachedir(), metavar='DIR',
 198         help='Location in the filesystem where youtube-dl can store downloaded information permanently. By default $XDG_CACHE_HOME/youtube-dl or ~/.cache/youtube-dl .')
 199     general.add_option(
 200         '--no-cache-dir', action='store_const', const=None, dest='cachedir',
 201         help='Disable filesystem caching')
 202     general.add_option(
 203         '--socket-timeout', dest='socket_timeout',
 204         type=float, default=None, help=optparse.SUPPRESS_HELP)
 205
 206
 207     selection.add_option('--playlist-start',
 208             dest='playliststart', metavar='NUMBER', help='playlist video to start at (default is %default)', default=1)
 209     selection.add_option('--playlist-end',
 210             dest='playlistend', metavar='NUMBER', help='playlist video to end at (default is last)', default=-1)
 211     selection.add_option('--match-title', dest='matchtitle', metavar='REGEX',help='download only matching titles (regex or caseless sub-string)')
 212     selection.add_option('--reject-title', dest='rejecttitle', metavar='REGEX',help='skip download for matching titles (regex or caseless sub-string)')
 213     selection.add_option('--max-downloads', metavar='NUMBER',
 214                          dest='max_downloads', type=int, default=None,
 215                          help='Abort after downloading NUMBER files')
 216     selection.add_option('--min-filesize', metavar='SIZE', dest='min_filesize', help="Do not download any videos smaller than SIZE (e.g. 50k or 44.6m)", default=None)
 217     selection.add_option('--max-filesize', metavar='SIZE', dest='max_filesize', help="Do not download any videos larger than SIZE (e.g. 50k or 44.6m)", default=None)
 218     selection.add_option('--date', metavar='DATE', dest='date', help='download only videos uploaded in this date', default=None)
 219     selection.add_option('--datebefore', metavar='DATE', dest='datebefore', help='download only videos uploaded before this date', default=None)
 220     selection.add_option('--dateafter', metavar='DATE', dest='dateafter', help='download only videos uploaded after this date', default=None)
 221     selection.add_option('--no-playlist', action='store_true', dest='noplaylist', help='download only the currently playing video', default=False)
 222     selection.add_option('--age-limit', metavar='YEARS', dest='age_limit',
 223                          help='download only videos suitable for the given age',
 224                          default=None, type=int)
 225     selection.add_option('--download-archive', metavar='FILE',
 226                          dest='download_archive',
 227                          help='Download only videos not listed in the archive file. Record the IDs of all downloaded videos in it.')
 228
 229
 230     authentication.add_option('-u', '--username',
 231             dest='username', metavar='USERNAME', help='account username')
 232     authentication.add_option('-p', '--password',
 233             dest='password', metavar='PASSWORD', help='account password')
 234     authentication.add_option('-n', '--netrc',
 235             action='store_true', dest='usenetrc', help='use .netrc authentication data', default=False)
 236     authentication.add_option('--video-password',
 237             dest='videopassword', metavar='PASSWORD', help='video password (vimeo only)')
 238
 239
 240     video_format.add_option('-f', '--format',
 241             action='store', dest='format', metavar='FORMAT', default='best',
 242             help='video format code, specify the order of preference using slashes: "-f 22/17/18". "-f mp4" and "-f flv" are also supported')
 243     video_format.add_option('--all-formats',
 244             action='store_const', dest='format', help='download all available video formats', const='all')
 245     video_format.add_option('--prefer-free-formats',
 246             action='store_true', dest='prefer_free_formats', default=False, help='prefer free video formats unless a specific one is requested')
 247     video_format.add_option('--max-quality',
 248             action='store', dest='format_limit', metavar='FORMAT', help='highest quality format to download')
 249     video_format.add_option('-F', '--list-formats',
 250             action='store_true', dest='listformats', help='list all available formats (currently youtube only)')
 251
 252     subtitles.add_option('--write-sub', '--write-srt',
 253             action='store_true', dest='writesubtitles',
 254             help='write subtitle file', default=False)
 255     subtitles.add_option('--write-auto-sub', '--write-automatic-sub',
 256             action='store_true', dest='writeautomaticsub',
 257             help='write automatic subtitle file (youtube only)', default=False)
 258     subtitles.add_option('--all-subs',
 259             action='store_true', dest='allsubtitles',
 260             help='downloads all the available subtitles of the video', default=False)
 261     subtitles.add_option('--list-subs',
 262             action='store_true', dest='listsubtitles',
 263             help='lists all available subtitles for the video', default=False)
 264     subtitles.add_option('--sub-format',
 265             action='store', dest='subtitlesformat', metavar='FORMAT',
 266             help='subtitle format (default=srt) ([sbv/vtt] youtube only)', default='srt')
 267     subtitles.add_option('--sub-lang', '--sub-langs', '--srt-lang',
 268             action='callback', dest='subtitleslangs', metavar='LANGS', type='str',
 269             default=[], callback=_comma_separated_values_options_callback,
 270             help='languages of the subtitles to download (optional) separated by commas, use IETF language tags like \'en,pt\'')
 271
 272     downloader.add_option('-r', '--rate-limit',
 273             dest='ratelimit', metavar='LIMIT', help='maximum download rate in bytes per second (e.g. 50K or 4.2M)')
 274     downloader.add_option('-R', '--retries',
 275             dest='retries', metavar='RETRIES', help='number of retries (default is %default)', default=10)
 276     downloader.add_option('--buffer-size',
 277             dest='buffersize', metavar='SIZE', help='size of download buffer (e.g. 1024 or 16K) (default is %default)', default="1024")
 278     downloader.add_option('--no-resize-buffer',
 279             action='store_true', dest='noresizebuffer',
 280             help='do not automatically adjust the buffer size. By default, the buffer size is automatically resized from an initial value of SIZE.', default=False)
 281     downloader.add_option('--test', action='store_true', dest='test', default=False, help=optparse.SUPPRESS_HELP)
 282
 283     verbosity.add_option('-q', '--quiet',
 284             action='store_true', dest='quiet', help='activates quiet mode', default=False)
 285     verbosity.add_option('-s', '--simulate',
 286             action='store_true', dest='simulate', help='do not download the video and do not write anything to disk', default=False)
 287     verbosity.add_option('--skip-download',
 288             action='store_true', dest='skip_download', help='do not download the video', default=False)
 289     verbosity.add_option('-g', '--get-url',
 290             action='store_true', dest='geturl', help='simulate, quiet but print URL', default=False)
 291     verbosity.add_option('-e', '--get-title',
 292             action='store_true', dest='gettitle', help='simulate, quiet but print title', default=False)
 293     verbosity.add_option('--get-id',
 294             action='store_true', dest='getid', help='simulate, quiet but print id', default=False)
 295     verbosity.add_option('--get-thumbnail',
 296             action='store_true', dest='getthumbnail',
 297             help='simulate, quiet but print thumbnail URL', default=False)
 298     verbosity.add_option('--get-description',
 299             action='store_true', dest='getdescription',
 300             help='simulate, quiet but print video description', default=False)
 301     verbosity.add_option('--get-filename',
 302             action='store_true', dest='getfilename',
 303             help='simulate, quiet but print output filename', default=False)
 304     verbosity.add_option('--get-format',
 305             action='store_true', dest='getformat',
 306             help='simulate, quiet but print output format', default=False)
 307     verbosity.add_option('-j', '--dump-json',
 308             action='store_true', dest='dumpjson',
 309             help='simulate, quiet but print JSON information', default=False)
 310     verbosity.add_option('--newline',
 311             action='store_true', dest='progress_with_newline', help='output progress bar as new lines', default=False)
 312     verbosity.add_option('--no-progress',
 313             action='store_true', dest='noprogress', help='do not print progress bar', default=False)
 314     verbosity.add_option('--console-title',
 315             action='store_true', dest='consoletitle',
 316             help='display progress in console titlebar', default=False)
 317     verbosity.add_option('-v', '--verbose',
 318             action='store_true', dest='verbose', help='print various debugging information', default=False)
 319     verbosity.add_option('--dump-intermediate-pages',
 320             action='store_true', dest='dump_intermediate_pages', default=False,
 321             help='print downloaded pages to debug problems(very verbose)')
 322     verbosity.add_option('--write-pages',
 323             action='store_true', dest='write_pages', default=False,
 324             help='Write downloaded intermediary pages to files in the current directory to debug problems')
 325     verbosity.add_option('--youtube-print-sig-code',
 326             action='store_true', dest='youtube_print_sig_code', default=False,
 327             help=optparse.SUPPRESS_HELP)
 328
 329
 330     filesystem.add_option('-t', '--title',
 331             action='store_true', dest='usetitle', help='use title in file name (default)', default=False)
 332     filesystem.add_option('--id',
 333             action='store_true', dest='useid', help='use only video ID in file name', default=False)
 334     filesystem.add_option('-l', '--literal',
 335             action='store_true', dest='usetitle', help='[deprecated] alias of --title', default=False)
 336     filesystem.add_option('-A', '--auto-number',
 337             action='store_true', dest='autonumber',
 338             help='number downloaded files starting from 00000', default=False)
 339     filesystem.add_option('-o', '--output',
 340             dest='outtmpl', metavar='TEMPLATE',
 341             help=('output filename template. Use %(title)s to get the title, '
 342                   '%(uploader)s for the uploader name, %(uploader_id)s for the uploader nickname if different, '
 343                   '%(autonumber)s to get an automatically incremented number, '
 344                   '%(ext)s for the filename extension, '
 345                   '%(format)s for the format description (like "22 - 1280x720" or "HD"),'
 346                   '%(format_id)s for the unique id of the format (like Youtube\'s itags: "137"),'
 347                   '%(upload_date)s for the upload date (YYYYMMDD), '
 348                   '%(extractor)s for the provider (youtube, metacafe, etc), '
 349                   '%(id)s for the video id , %(playlist)s for the playlist the video is in, '
 350                   '%(playlist_index)s for the position in the playlist and %% for a literal percent. '
 351                   'Use - to output to stdout. Can also be used to download to a different directory, '
 352                   'for example with -o \'/my/downloads/%(uploader)s/%(title)s-%(id)s.%(ext)s\' .'))
 353     filesystem.add_option('--autonumber-size',
 354             dest='autonumber_size', metavar='NUMBER',
 355             help='Specifies the number of digits in %(autonumber)s when it is present in output filename template or --auto-number option is given')
 356     filesystem.add_option('--restrict-filenames',
 357             action='store_true', dest='restrictfilenames',
 358             help='Restrict filenames to only ASCII characters, and avoid "&" and spaces in filenames', default=False)
 359     filesystem.add_option('-a', '--batch-file',
 360             dest='batchfile', metavar='FILE', help='file containing URLs to download (\'-\' for stdin)')
 361     filesystem.add_option('-w', '--no-overwrites',
 362             action='store_true', dest='nooverwrites', help='do not overwrite files', default=False)
 363     filesystem.add_option('-c', '--continue',
 364             action='store_true', dest='continue_dl', help='force resume of partially downloaded files. By default, youtube-dl will resume downloads if possible.', default=True)
 365     filesystem.add_option('--no-continue',
 366             action='store_false', dest='continue_dl',
 367             help='do not resume partially downloaded files (restart from beginning)')
 368     filesystem.add_option('--cookies',
 369             dest='cookiefile', metavar='FILE', help='file to read cookies from and dump cookie jar in')
 370     filesystem.add_option('--no-part',
 371             action='store_true', dest='nopart', help='do not use .part files', default=False)
 372     filesystem.add_option('--no-mtime',
 373             action='store_false', dest='updatetime',
 374             help='do not use the Last-modified header to set the file modification time', default=True)
 375     filesystem.add_option('--write-description',
 376             action='store_true', dest='writedescription',
 377             help='write video description to a .description file', default=False)
 378     filesystem.add_option('--write-info-json',
 379             action='store_true', dest='writeinfojson',
 380             help='write video metadata to a .info.json file', default=False)
 381     filesystem.add_option('--write-annotations',
 382             action='store_true', dest='writeannotations',
 383             help='write video annotations to a .annotation file', default=False)
 384     filesystem.add_option('--write-thumbnail',
 385             action='store_true', dest='writethumbnail',
 386             help='write thumbnail image to disk', default=False)
 387
 388
 389     postproc.add_option('-x', '--extract-audio', action='store_true', dest='extractaudio', default=False,
 390             help='convert video files to audio-only files (requires ffmpeg or avconv and ffprobe or avprobe)')
 391     postproc.add_option('--audio-format', metavar='FORMAT', dest='audioformat', default='best',
 392             help='"best", "aac", "vorbis", "mp3", "m4a", "opus", or "wav"; best by default')
 393     postproc.add_option('--audio-quality', metavar='QUALITY', dest='audioquality', default='5',
 394             help='ffmpeg/avconv audio quality specification, insert a value between 0 (better) and 9 (worse) for VBR or a specific bitrate like 128K (default 5)')
 395     postproc.add_option('--recode-video', metavar='FORMAT', dest='recodevideo', default=None,
 396             help='Encode the video to another format if necessary (currently supported: mp4|flv|ogg|webm)')
 397     postproc.add_option('-k', '--keep-video', action='store_true', dest='keepvideo', default=False,
 398             help='keeps the video file on disk after the post-processing; the video is erased by default')
 399     postproc.add_option('--no-post-overwrites', action='store_true', dest='nopostoverwrites', default=False,
 400             help='do not overwrite post-processed files; the post-processed files are overwritten by default')
 401     postproc.add_option('--embed-subs', action='store_true', dest='embedsubtitles', default=False,
 402             help='embed subtitles in the video (only for mp4 videos)')
 403     postproc.add_option('--add-metadata', action='store_true', dest='addmetadata', default=False,
 404             help='add metadata to the files')
 405
 406
 407     parser.add_option_group(general)
 408     parser.add_option_group(selection)
 409     parser.add_option_group(downloader)
 410     parser.add_option_group(filesystem)
 411     parser.add_option_group(verbosity)
 412     parser.add_option_group(video_format)
 413     parser.add_option_group(subtitles)
 414     parser.add_option_group(authentication)
 415     parser.add_option_group(postproc)
 416
 417     if overrideArguments is not None:
 418         opts, args = parser.parse_args(overrideArguments)
 419         if opts.verbose:
 420             write_string(u'[debug] Override config: ' + repr(overrideArguments) + '\n')
 421     else:
 422         xdg_config_home = os.environ.get('XDG_CONFIG_HOME')
 423         if xdg_config_home:
 424             userConfFile = os.path.join(xdg_config_home, 'youtube-dl', 'config')
 425             if not os.path.isfile(userConfFile):
 426                 userConfFile = os.path.join(xdg_config_home, 'youtube-dl.conf')
 427         else:
 428             userConfFile = os.path.join(os.path.expanduser('~'), '.config', 'youtube-dl', 'config')
 429             if not os.path.isfile(userConfFile):
 430                 userConfFile = os.path.join(os.path.expanduser('~'), '.config', 'youtube-dl.conf')
 431         systemConf = _readOptions('/etc/youtube-dl.conf')
 432         userConf = _readOptions(userConfFile)
 433         commandLineConf = sys.argv[1:]
 434         argv = systemConf + userConf + commandLineConf
 435         opts, args = parser.parse_args(argv)
 436         if opts.verbose:
 437             write_string(u'[debug] System config: ' + repr(_hide_login_info(systemConf)) + '\n')
 438             write_string(u'[debug] User config: ' + repr(_hide_login_info(userConf)) + '\n')
 439             write_string(u'[debug] Command-line args: ' + repr(_hide_login_info(commandLineConf)) + '\n')
 440
 441     return parser, opts, args
 442
 443 def _real_main(argv=None):
 444     # Compatibility fixes for Windows
 445     if sys.platform == 'win32':
 446         # https://github.com/rg3/youtube-dl/issues/820
 447         codecs.register(lambda name: codecs.lookup('utf-8') if name == 'cp65001' else None)
 448
 449     parser, opts, args = parseOpts(argv)
 450
 451     # Set user agent
 452     if opts.user_agent is not None:
 453         std_headers['User-Agent'] = opts.user_agent
 454
 455     # Set referer
 456     if opts.referer is not None:
 457         std_headers['Referer'] = opts.referer
 458
 459     # Dump user agent
 460     if opts.dump_user_agent:
 461         compat_print(std_headers['User-Agent'])
 462         sys.exit(0)
 463
 464     # Batch file verification
 465     batchurls = []
 466     if opts.batchfile is not None:
 467         try:
 468             if opts.batchfile == '-':
 469                 batchfd = sys.stdin
 470             else:
 471                 batchfd = open(opts.batchfile, 'r')
 472             batchurls = batchfd.readlines()
 473             batchurls = [x.strip() for x in batchurls]
 474             batchurls = [x for x in batchurls if len(x) > 0 and not re.search(r'^[#/;]', x)]
 475             if opts.verbose:
 476                 write_string(u'[debug] Batch file urls: ' + repr(batchurls) + u'\n')
 477         except IOError:
 478             sys.exit(u'ERROR: batch file could not be read')
 479     all_urls = batchurls + args
 480     all_urls = [url.strip() for url in all_urls]
 481
 482     extractors = gen_extractors()
 483
 484     if opts.list_extractors:
 485         for ie in sorted(extractors, key=lambda ie: ie.IE_NAME.lower()):
 486             compat_print(ie.IE_NAME + (' (CURRENTLY BROKEN)' if not ie._WORKING else ''))
 487             matchedUrls = [url for url in all_urls if ie.suitable(url)]
 488             all_urls = [url for url in all_urls if url not in matchedUrls]
 489             for mu in matchedUrls:
 490                 compat_print(u'  ' + mu)
 491         sys.exit(0)
 492     if opts.list_extractor_descriptions:
 493         for ie in sorted(extractors, key=lambda ie: ie.IE_NAME.lower()):
 494             if not ie._WORKING:
 495                 continue
 496             desc = getattr(ie, 'IE_DESC', ie.IE_NAME)
 497             if desc is False:
 498                 continue
 499             if hasattr(ie, 'SEARCH_KEY'):
 500                 _SEARCHES = (u'cute kittens', u'slithering pythons', u'falling cat', u'angry poodle', u'purple fish', u'running tortoise')
 501                 _COUNTS = (u'', u'5', u'10', u'all')
 502                 desc += u' (Example: "%s%s:%s" )' % (ie.SEARCH_KEY, random.choice(_COUNTS), random.choice(_SEARCHES))
 503             compat_print(desc)
 504         sys.exit(0)
 505
 506
 507     # Conflicting, missing and erroneous options
 508     if opts.usenetrc and (opts.username is not None or opts.password is not None):
 509         parser.error(u'using .netrc conflicts with giving username/password')
 510     if opts.password is not None and opts.username is None:
 511         parser.error(u' account username missing\n')
 512     if opts.outtmpl is not None and (opts.usetitle or opts.autonumber or opts.useid):
 513         parser.error(u'using output template conflicts with using title, video ID or auto number')
 514     if opts.usetitle and opts.useid:
 515         parser.error(u'using title conflicts with using video ID')
 516     if opts.username is not None and opts.password is None:
 517         opts.password = getpass.getpass(u'Type account password and press return:')
 518     if opts.ratelimit is not None:
 519         numeric_limit = FileDownloader.parse_bytes(opts.ratelimit)
 520         if numeric_limit is None:
 521             parser.error(u'invalid rate limit specified')
 522         opts.ratelimit = numeric_limit
 523     if opts.min_filesize is not None:
 524         numeric_limit = FileDownloader.parse_bytes(opts.min_filesize)
 525         if numeric_limit is None:
 526             parser.error(u'invalid min_filesize specified')
 527         opts.min_filesize = numeric_limit
 528     if opts.max_filesize is not None:
 529         numeric_limit = FileDownloader.parse_bytes(opts.max_filesize)
 530         if numeric_limit is None:
 531             parser.error(u'invalid max_filesize specified')
 532         opts.max_filesize = numeric_limit
 533     if opts.retries is not None:
 534         try:
 535             opts.retries = int(opts.retries)
 536         except (TypeError, ValueError):
 537             parser.error(u'invalid retry count specified')
 538     if opts.buffersize is not None:
 539         numeric_buffersize = FileDownloader.parse_bytes(opts.buffersize)
 540         if numeric_buffersize is None:
 541             parser.error(u'invalid buffer size specified')
 542         opts.buffersize = numeric_buffersize
 543     try:
 544         opts.playliststart = int(opts.playliststart)
 545         if opts.playliststart <= 0:
 546             raise ValueError(u'Playlist start must be positive')
 547     except (TypeError, ValueError):
 548         parser.error(u'invalid playlist start number specified')
 549     try:
 550         opts.playlistend = int(opts.playlistend)
 551         if opts.playlistend != -1 and (opts.playlistend <= 0 or opts.playlistend < opts.playliststart):
 552             raise ValueError(u'Playlist end must be greater than playlist start')
 553     except (TypeError, ValueError):
 554         parser.error(u'invalid playlist end number specified')
 555     if opts.extractaudio:
 556         if opts.audioformat not in ['best', 'aac', 'mp3', 'm4a', 'opus', 'vorbis', 'wav']:
 557             parser.error(u'invalid audio format specified')
 558     if opts.audioquality:
 559         opts.audioquality = opts.audioquality.strip('k').strip('K')
 560         if not opts.audioquality.isdigit():
 561             parser.error(u'invalid audio quality specified')
 562     if opts.recodevideo is not None:
 563         if opts.recodevideo not in ['mp4', 'flv', 'webm', 'ogg']:
 564             parser.error(u'invalid video recode format specified')
 565     if opts.date is not None:
 566         date = DateRange.day(opts.date)
 567     else:
 568         date = DateRange(opts.dateafter, opts.datebefore)
 569
 570     # --all-sub automatically sets --write-sub if --write-auto-sub is not given
 571     # this was the old behaviour if only --all-sub was given.
 572     if opts.allsubtitles and (opts.writeautomaticsub == False):
 573         opts.writesubtitles = True
 574
 575     if sys.version_info < (3,):
 576         # In Python 2, sys.argv is a bytestring (also note http://bugs.python.org/issue2128 for Windows systems)
 577         if opts.outtmpl is not None:
 578             opts.outtmpl = opts.outtmpl.decode(preferredencoding())
 579     outtmpl =((opts.outtmpl is not None and opts.outtmpl)
 580             or (opts.format == '-1' and opts.usetitle and u'%(title)s-%(id)s-%(format)s.%(ext)s')
 581             or (opts.format == '-1' and u'%(id)s-%(format)s.%(ext)s')
 582             or (opts.usetitle and opts.autonumber and u'%(autonumber)s-%(title)s-%(id)s.%(ext)s')
 583             or (opts.usetitle and u'%(title)s-%(id)s.%(ext)s')
 584             or (opts.useid and u'%(id)s.%(ext)s')
 585             or (opts.autonumber and u'%(autonumber)s-%(id)s.%(ext)s')
 586             or u'%(title)s-%(id)s.%(ext)s')
 587     if '%(ext)s' not in outtmpl and opts.extractaudio:
 588         parser.error(u'Cannot download a video and extract audio into the same'
 589                      u' file! Use "%%(ext)s" instead of %r' %
 590                      determine_ext(outtmpl, u''))
 591
 592     ydl_opts = {
 593         'usenetrc': opts.usenetrc,
 594         'username': opts.username,
 595         'password': opts.password,
 596         'videopassword': opts.videopassword,
 597         'quiet': (opts.quiet or opts.geturl or opts.gettitle or opts.getid or opts.getthumbnail or opts.getdescription or opts.getfilename or opts.getformat or opts.dumpjson),
 598         'forceurl': opts.geturl,
 599         'forcetitle': opts.gettitle,
 600         'forceid': opts.getid,
 601         'forcethumbnail': opts.getthumbnail,
 602         'forcedescription': opts.getdescription,
 603         'forcefilename': opts.getfilename,
 604         'forceformat': opts.getformat,
 605         'forcejson': opts.dumpjson,
 606         'simulate': opts.simulate,
 607         'skip_download': (opts.skip_download or opts.simulate or opts.geturl or opts.gettitle or opts.getid or opts.getthumbnail or opts.getdescription or opts.getfilename or opts.getformat or opts.dumpjson),
 608         'format': opts.format,
 609         'format_limit': opts.format_limit,
 610         'listformats': opts.listformats,
 611         'outtmpl': outtmpl,
 612         'autonumber_size': opts.autonumber_size,
 613         'restrictfilenames': opts.restrictfilenames,
 614         'ignoreerrors': opts.ignoreerrors,
 615         'ratelimit': opts.ratelimit,
 616         'nooverwrites': opts.nooverwrites,
 617         'retries': opts.retries,
 618         'buffersize': opts.buffersize,
 619         'noresizebuffer': opts.noresizebuffer,
 620         'continuedl': opts.continue_dl,
 621         'noprogress': opts.noprogress,
 622         'progress_with_newline': opts.progress_with_newline,
 623         'playliststart': opts.playliststart,
 624         'playlistend': opts.playlistend,
 625         'noplaylist': opts.noplaylist,
 626         'logtostderr': opts.outtmpl == '-',
 627         'consoletitle': opts.consoletitle,
 628         'nopart': opts.nopart,
 629         'updatetime': opts.updatetime,
 630         'writedescription': opts.writedescription,
 631         'writeannotations': opts.writeannotations,
 632         'writeinfojson': opts.writeinfojson,
 633         'writethumbnail': opts.writethumbnail,
 634         'writesubtitles': opts.writesubtitles,
 635         'writeautomaticsub': opts.writeautomaticsub,
 636         'allsubtitles': opts.allsubtitles,
 637         'listsubtitles': opts.listsubtitles,
 638         'subtitlesformat': opts.subtitlesformat,
 639         'subtitleslangs': opts.subtitleslangs,
 640         'matchtitle': decodeOption(opts.matchtitle),
 641         'rejecttitle': decodeOption(opts.rejecttitle),
 642         'max_downloads': opts.max_downloads,
 643         'prefer_free_formats': opts.prefer_free_formats,
 644         'verbose': opts.verbose,
 645         'dump_intermediate_pages': opts.dump_intermediate_pages,
 646         'write_pages': opts.write_pages,
 647         'test': opts.test,
 648         'keepvideo': opts.keepvideo,
 649         'min_filesize': opts.min_filesize,
 650         'max_filesize': opts.max_filesize,
 651         'daterange': date,
 652         'cachedir': opts.cachedir,
 653         'youtube_print_sig_code': opts.youtube_print_sig_code,
 654         'age_limit': opts.age_limit,
 655         'download_archive': opts.download_archive,
 656         'cookiefile': opts.cookiefile,
 657         'nocheckcertificate': opts.no_check_certificate,
 658         'proxy': opts.proxy,
 659         'socket_timeout': opts.socket_timeout,
 660     }
 661
 662     with YoutubeDL(ydl_opts) as ydl:
 663         ydl.print_debug_header()
 664         ydl.add_default_info_extractors()
 665
 666         # PostProcessors
 667         # Add the metadata pp first, the other pps will copy it
 668         if opts.addmetadata:
 669             ydl.add_post_processor(FFmpegMetadataPP())
 670         if opts.extractaudio:
 671             ydl.add_post_processor(FFmpegExtractAudioPP(preferredcodec=opts.audioformat, preferredquality=opts.audioquality, nopostoverwrites=opts.nopostoverwrites))
 672         if opts.recodevideo:
 673             ydl.add_post_processor(FFmpegVideoConvertor(preferedformat=opts.recodevideo))
 674         if opts.embedsubtitles:
 675             ydl.add_post_processor(FFmpegEmbedSubtitlePP(subtitlesformat=opts.subtitlesformat))
 676
 677         # Update version
 678         if opts.update_self:
 679             update_self(ydl.to_screen, opts.verbose)
 680
 681         # Maybe do nothing
 682         if len(all_urls) < 1:
 683             if not opts.update_self:
 684                 parser.error(u'you must provide at least one URL')
 685             else:
 686                 sys.exit()
 687
 688         try:
 689             retcode = ydl.download(all_urls)
 690         except MaxDownloadsReached:
 691             ydl.to_screen(u'--max-download limit reached, aborting.')
 692             retcode = 101
 693
 694     sys.exit(retcode)
 695
 696
 697 def main(argv=None):
 698     try:
 699         _real_main(argv)
 700     except DownloadError:
 701         sys.exit(1)
 702     except SameFileError:
 703         sys.exit(u'ERROR: fixed output name but more than one file to download')
 704     except KeyboardInterrupt:
 705         sys.exit(u'\nERROR: Interrupted by user')