Added "min-filesize" and "max-filesize" options
[youtube-dl] / youtube_dl / __init__.py
1 #!/usr/bin/env python
2 # -*- coding: utf-8 -*-
3
4 from __future__ import with_statement
5 from __future__ import absolute_import
6
7 __authors__  = (
8     'Ricardo Garcia Gonzalez',
9     'Danny Colligan',
10     'Benjamin Johnson',
11     'Vasyl\' Vavrychuk',
12     'Witold Baryluk',
13     'Paweł Paprota',
14     'Gergely Imreh',
15     'Rogério Brito',
16     'Philipp Hagemeister',
17     'Sören Schulze',
18     'Kevin Ngo',
19     'Ori Avtalion',
20     'shizeeg',
21     'Filippo Valsorda',
22     'Christian Albrecht',
23     'Dave Vasilevsky',
24     'Jaime Marquínez Ferrándiz',
25     'Jeff Crouse',
26     )
27
28 __license__ = 'Public Domain'
29
30 import getpass
31 import optparse
32 import os
33 import re
34 import shlex
35 import socket
36 import subprocess
37 import sys
38 import warnings
39 import platform
40
41 from .utils import *
42 from .update import update_self
43 from .version import __version__
44 from .FileDownloader import *
45 from .InfoExtractors import gen_extractors
46 from .PostProcessor import *
47
48 def parseOpts():
49     def _readOptions(filename_bytes):
50         try:
51             optionf = open(filename_bytes)
52         except IOError:
53             return [] # silently skip if file is not present
54         try:
55             res = []
56             for l in optionf:
57                 res += shlex.split(l, comments=True)
58         finally:
59             optionf.close()
60         return res
61
62     def _format_option_string(option):
63         ''' ('-o', '--option') -> -o, --format METAVAR'''
64
65         opts = []
66
67         if option._short_opts:
68             opts.append(option._short_opts[0])
69         if option._long_opts:
70             opts.append(option._long_opts[0])
71         if len(opts) > 1:
72             opts.insert(1, ', ')
73
74         if option.takes_value(): opts.append(' %s' % option.metavar)
75
76         return "".join(opts)
77
78     def _find_term_columns():
79         columns = os.environ.get('COLUMNS', None)
80         if columns:
81             return int(columns)
82
83         try:
84             sp = subprocess.Popen(['stty', 'size'], stdout=subprocess.PIPE, stderr=subprocess.PIPE)
85             out,err = sp.communicate()
86             return int(out.split()[1])
87         except:
88             pass
89         return None
90
91     max_width = 80
92     max_help_position = 80
93
94     # No need to wrap help messages if we're on a wide console
95     columns = _find_term_columns()
96     if columns: max_width = columns
97
98     fmt = optparse.IndentedHelpFormatter(width=max_width, max_help_position=max_help_position)
99     fmt.format_option_strings = _format_option_string
100
101     kw = {
102         'version'   : __version__,
103         'formatter' : fmt,
104         'usage' : '%prog [options] url [url...]',
105         'conflict_handler' : 'resolve',
106     }
107
108     parser = optparse.OptionParser(**kw)
109
110     # option groups
111     general        = optparse.OptionGroup(parser, 'General Options')
112     selection      = optparse.OptionGroup(parser, 'Video Selection')
113     authentication = optparse.OptionGroup(parser, 'Authentication Options')
114     video_format   = optparse.OptionGroup(parser, 'Video Format Options')
115     postproc       = optparse.OptionGroup(parser, 'Post-processing Options')
116     filesystem     = optparse.OptionGroup(parser, 'Filesystem Options')
117     verbosity      = optparse.OptionGroup(parser, 'Verbosity / Simulation Options')
118
119     general.add_option('-h', '--help',
120             action='help', help='print this help text and exit')
121     general.add_option('-v', '--version',
122             action='version', help='print program version and exit')
123     general.add_option('-U', '--update',
124             action='store_true', dest='update_self', help='update this program to latest version')
125     general.add_option('-i', '--ignore-errors',
126             action='store_true', dest='ignoreerrors', help='continue on download errors', default=False)
127     general.add_option('-r', '--rate-limit',
128             dest='ratelimit', metavar='LIMIT', help='download rate limit (e.g. 50k or 44.6m)')
129     general.add_option('-R', '--retries',
130             dest='retries', metavar='RETRIES', help='number of retries (default is %default)', default=10)
131     general.add_option('--buffer-size',
132             dest='buffersize', metavar='SIZE', help='size of download buffer (e.g. 1024 or 16k) (default is %default)', default="1024")
133     general.add_option('--no-resize-buffer',
134             action='store_true', dest='noresizebuffer',
135             help='do not automatically adjust the buffer size. By default, the buffer size is automatically resized from an initial value of SIZE.', default=False)
136     general.add_option('--dump-user-agent',
137             action='store_true', dest='dump_user_agent',
138             help='display the current browser identification', default=False)
139     general.add_option('--user-agent',
140             dest='user_agent', help='specify a custom user agent', metavar='UA')
141     general.add_option('--list-extractors',
142             action='store_true', dest='list_extractors',
143             help='List all supported extractors and the URLs they would handle', default=False)
144     general.add_option('--test', action='store_true', dest='test', default=False, help=optparse.SUPPRESS_HELP)
145
146     selection.add_option('--playlist-start',
147             dest='playliststart', metavar='NUMBER', help='playlist video to start at (default is %default)', default=1)
148     selection.add_option('--playlist-end',
149             dest='playlistend', metavar='NUMBER', help='playlist video to end at (default is last)', default=-1)
150     selection.add_option('--match-title', dest='matchtitle', metavar='REGEX',help='download only matching titles (regex or caseless sub-string)')
151     selection.add_option('--reject-title', dest='rejecttitle', metavar='REGEX',help='skip download for matching titles (regex or caseless sub-string)')
152     selection.add_option('--max-downloads', metavar='NUMBER', dest='max_downloads', help='Abort after downloading NUMBER files', default=None)
153
154     selection.add_option('--min-filesize', metavar='SIZE', dest='min_filesize', help="Skip files smaller than this size", default=None)
155     selection.add_option('--max-filesize', metavar='SIZE', dest='max_filesize', help="Skip files larger than this size", default=None)
156
157
158     authentication.add_option('-u', '--username',
159             dest='username', metavar='USERNAME', help='account username')
160     authentication.add_option('-p', '--password',
161             dest='password', metavar='PASSWORD', help='account password')
162     authentication.add_option('-n', '--netrc',
163             action='store_true', dest='usenetrc', help='use .netrc authentication data', default=False)
164
165
166     video_format.add_option('-f', '--format',
167             action='store', dest='format', metavar='FORMAT', help='video format code')
168     video_format.add_option('--all-formats',
169             action='store_const', dest='format', help='download all available video formats', const='all')
170     video_format.add_option('--prefer-free-formats',
171             action='store_true', dest='prefer_free_formats', default=False, help='prefer free video formats unless a specific one is requested')
172     video_format.add_option('--max-quality',
173             action='store', dest='format_limit', metavar='FORMAT', help='highest quality format to download')
174     video_format.add_option('-F', '--list-formats',
175             action='store_true', dest='listformats', help='list all available formats (currently youtube only)')
176     video_format.add_option('--write-srt',
177             action='store_true', dest='writesubtitles',
178             help='write video closed captions to a .srt file (currently youtube only)', default=False)
179     video_format.add_option('--srt-lang',
180             action='store', dest='subtitleslang', metavar='LANG',
181             help='language of the closed captions to download (optional) use IETF language tags like \'en\'')
182
183     verbosity.add_option('-q', '--quiet',
184             action='store_true', dest='quiet', help='activates quiet mode', default=False)
185     verbosity.add_option('-s', '--simulate',
186             action='store_true', dest='simulate', help='do not download the video and do not write anything to disk', default=False)
187     verbosity.add_option('--skip-download',
188             action='store_true', dest='skip_download', help='do not download the video', default=False)
189     verbosity.add_option('-g', '--get-url',
190             action='store_true', dest='geturl', help='simulate, quiet but print URL', default=False)
191     verbosity.add_option('-e', '--get-title',
192             action='store_true', dest='gettitle', help='simulate, quiet but print title', default=False)
193     verbosity.add_option('--get-thumbnail',
194             action='store_true', dest='getthumbnail',
195             help='simulate, quiet but print thumbnail URL', default=False)
196     verbosity.add_option('--get-description',
197             action='store_true', dest='getdescription',
198             help='simulate, quiet but print video description', default=False)
199     verbosity.add_option('--get-filename',
200             action='store_true', dest='getfilename',
201             help='simulate, quiet but print output filename', default=False)
202     verbosity.add_option('--get-format',
203             action='store_true', dest='getformat',
204             help='simulate, quiet but print output format', default=False)
205     verbosity.add_option('--no-progress',
206             action='store_true', dest='noprogress', help='do not print progress bar', default=False)
207     verbosity.add_option('--console-title',
208             action='store_true', dest='consoletitle',
209             help='display progress in console titlebar', default=False)
210     verbosity.add_option('-v', '--verbose',
211             action='store_true', dest='verbose', help='print various debugging information', default=False)
212
213
214     filesystem.add_option('-t', '--title',
215             action='store_true', dest='usetitle', help='use title in file name', default=False)
216     filesystem.add_option('--id',
217             action='store_true', dest='useid', help='use video ID in file name', default=False)
218     filesystem.add_option('-l', '--literal',
219             action='store_true', dest='usetitle', help='[deprecated] alias of --title', default=False)
220     filesystem.add_option('-A', '--auto-number',
221             action='store_true', dest='autonumber',
222             help='number downloaded files starting from 00000', default=False)
223     filesystem.add_option('-o', '--output',
224             dest='outtmpl', metavar='TEMPLATE', help='output filename template. Use %(title)s to get the title, %(uploader)s for the uploader name, %(uploader_id)s for the uploader nickname if different, %(autonumber)s to get an automatically incremented number, %(ext)s for the filename extension, %(upload_date)s for the upload date (YYYYMMDD), %(extractor)s for the provider (youtube, metacafe, etc), %(id)s for the video id and %% for a literal percent. Use - to output to stdout. Can also be used to download to a different directory, for example with -o \'/my/downloads/%(uploader)s/%(title)s-%(id)s.%(ext)s\' .')
225     filesystem.add_option('--restrict-filenames',
226             action='store_true', dest='restrictfilenames',
227             help='Restrict filenames to only ASCII characters, and avoid "&" and spaces in filenames', default=False)
228     filesystem.add_option('-a', '--batch-file',
229             dest='batchfile', metavar='FILE', help='file containing URLs to download (\'-\' for stdin)')
230     filesystem.add_option('-w', '--no-overwrites',
231             action='store_true', dest='nooverwrites', help='do not overwrite files', default=False)
232     filesystem.add_option('-c', '--continue',
233             action='store_true', dest='continue_dl', help='resume partially downloaded files', default=True)
234     filesystem.add_option('--no-continue',
235             action='store_false', dest='continue_dl',
236             help='do not resume partially downloaded files (restart from beginning)')
237     filesystem.add_option('--cookies',
238             dest='cookiefile', metavar='FILE', help='file to read cookies from and dump cookie jar in')
239     filesystem.add_option('--no-part',
240             action='store_true', dest='nopart', help='do not use .part files', default=False)
241     filesystem.add_option('--no-mtime',
242             action='store_false', dest='updatetime',
243             help='do not use the Last-modified header to set the file modification time', default=True)
244     filesystem.add_option('--write-description',
245             action='store_true', dest='writedescription',
246             help='write video description to a .description file', default=False)
247     filesystem.add_option('--write-info-json',
248             action='store_true', dest='writeinfojson',
249             help='write video metadata to a .info.json file', default=False)
250
251
252     postproc.add_option('-x', '--extract-audio', action='store_true', dest='extractaudio', default=False,
253             help='convert video files to audio-only files (requires ffmpeg or avconv and ffprobe or avprobe)')
254     postproc.add_option('--audio-format', metavar='FORMAT', dest='audioformat', default='best',
255             help='"best", "aac", "vorbis", "mp3", "m4a", "opus", or "wav"; best by default')
256     postproc.add_option('--audio-quality', metavar='QUALITY', dest='audioquality', default='5',
257             help='ffmpeg/avconv audio quality specification, insert a value between 0 (better) and 9 (worse) for VBR or a specific bitrate like 128K (default 5)')
258     postproc.add_option('--recode-video', metavar='FORMAT', dest='recodevideo', default=None,
259             help='Encode the video to another format if necessary (currently supported: mp4|flv|ogg|webm)')
260     postproc.add_option('-k', '--keep-video', action='store_true', dest='keepvideo', default=False,
261             help='keeps the video file on disk after the post-processing; the video is erased by default')
262     postproc.add_option('--no-post-overwrites', action='store_true', dest='nopostoverwrites', default=False,
263             help='do not overwrite post-processed files; the post-processed files are overwritten by default')
264
265
266     parser.add_option_group(general)
267     parser.add_option_group(selection)
268     parser.add_option_group(filesystem)
269     parser.add_option_group(verbosity)
270     parser.add_option_group(video_format)
271     parser.add_option_group(authentication)
272     parser.add_option_group(postproc)
273
274     xdg_config_home = os.environ.get('XDG_CONFIG_HOME')
275     if xdg_config_home:
276         userConf = os.path.join(xdg_config_home, 'youtube-dl.conf')
277     else:
278         userConf = os.path.join(os.path.expanduser('~'), '.config', 'youtube-dl.conf')
279     argv = _readOptions('/etc/youtube-dl.conf') + _readOptions(userConf) + sys.argv[1:]
280     opts, args = parser.parse_args(argv)
281
282     return parser, opts, args
283
284 def _real_main():
285     parser, opts, args = parseOpts()
286
287     # Open appropriate CookieJar
288     if opts.cookiefile is None:
289         jar = compat_cookiejar.CookieJar()
290     else:
291         try:
292             jar = compat_cookiejar.MozillaCookieJar(opts.cookiefile)
293             if os.path.isfile(opts.cookiefile) and os.access(opts.cookiefile, os.R_OK):
294                 jar.load()
295         except (IOError, OSError) as err:
296             sys.exit(u'ERROR: unable to open cookie file')
297     # Set user agent
298     if opts.user_agent is not None:
299         std_headers['User-Agent'] = opts.user_agent
300
301     # Dump user agent
302     if opts.dump_user_agent:
303         print(std_headers['User-Agent'])
304         sys.exit(0)
305
306     # Batch file verification
307     batchurls = []
308     if opts.batchfile is not None:
309         try:
310             if opts.batchfile == '-':
311                 batchfd = sys.stdin
312             else:
313                 batchfd = open(opts.batchfile, 'r')
314             batchurls = batchfd.readlines()
315             batchurls = [x.strip() for x in batchurls]
316             batchurls = [x for x in batchurls if len(x) > 0 and not re.search(r'^[#/;]', x)]
317         except IOError:
318             sys.exit(u'ERROR: batch file could not be read')
319     all_urls = batchurls + args
320     all_urls = [url.strip() for url in all_urls]
321
322     # General configuration
323     cookie_processor = compat_urllib_request.HTTPCookieProcessor(jar)
324     proxy_handler = compat_urllib_request.ProxyHandler()
325     opener = compat_urllib_request.build_opener(proxy_handler, cookie_processor, YoutubeDLHandler())
326     compat_urllib_request.install_opener(opener)
327     socket.setdefaulttimeout(300) # 5 minutes should be enough (famous last words)
328
329     extractors = gen_extractors()
330
331     if opts.list_extractors:
332         for ie in extractors:
333             print(ie.IE_NAME + (' (CURRENTLY BROKEN)' if not ie._WORKING else ''))
334             matchedUrls = [url for url in all_urls if ie.suitable(url)]
335             all_urls = [url for url in all_urls if url not in matchedUrls]
336             for mu in matchedUrls:
337                 print(u'  ' + mu)
338         sys.exit(0)
339
340     # Conflicting, missing and erroneous options
341     if opts.usenetrc and (opts.username is not None or opts.password is not None):
342         parser.error(u'using .netrc conflicts with giving username/password')
343     if opts.password is not None and opts.username is None:
344         parser.error(u'account username missing')
345     if opts.outtmpl is not None and (opts.usetitle or opts.autonumber or opts.useid):
346         parser.error(u'using output template conflicts with using title, video ID or auto number')
347     if opts.usetitle and opts.useid:
348         parser.error(u'using title conflicts with using video ID')
349     if opts.username is not None and opts.password is None:
350         opts.password = getpass.getpass(u'Type account password and press return:')
351     if opts.ratelimit is not None:
352         numeric_limit = FileDownloader.parse_bytes(opts.ratelimit)
353         if numeric_limit is None:
354             parser.error(u'invalid rate limit specified')
355         opts.ratelimit = numeric_limit
356     if opts.min_filesize is not None:
357         numeric_limit = FileDownloader.parse_bytes(opts.min_filesize)
358         if numeric_limit is None:
359             parser.error(u'invalid min_filesize specified')
360         opts.min_filesize = numeric_limit
361     if opts.max_filesize is not None:
362         numeric_limit = FileDownloader.parse_bytes(opts.max_filesize)
363         if numeric_limit is None:
364             parser.error(u'invalid max_filesize specified')
365         opts.max_filesize = numeric_limit
366     if opts.retries is not None:
367         try:
368             opts.retries = int(opts.retries)
369         except (TypeError, ValueError) as err:
370             parser.error(u'invalid retry count specified')
371     if opts.buffersize is not None:
372         numeric_buffersize = FileDownloader.parse_bytes(opts.buffersize)
373         if numeric_buffersize is None:
374             parser.error(u'invalid buffer size specified')
375         opts.buffersize = numeric_buffersize
376     try:
377         opts.playliststart = int(opts.playliststart)
378         if opts.playliststart <= 0:
379             raise ValueError(u'Playlist start must be positive')
380     except (TypeError, ValueError) as err:
381         parser.error(u'invalid playlist start number specified')
382     try:
383         opts.playlistend = int(opts.playlistend)
384         if opts.playlistend != -1 and (opts.playlistend <= 0 or opts.playlistend < opts.playliststart):
385             raise ValueError(u'Playlist end must be greater than playlist start')
386     except (TypeError, ValueError) as err:
387         parser.error(u'invalid playlist end number specified')
388     if opts.extractaudio:
389         if opts.audioformat not in ['best', 'aac', 'mp3', 'm4a', 'opus', 'vorbis', 'wav']:
390             parser.error(u'invalid audio format specified')
391     if opts.audioquality:
392         opts.audioquality = opts.audioquality.strip('k').strip('K')
393         if not opts.audioquality.isdigit():
394             parser.error(u'invalid audio quality specified')
395     if opts.recodevideo is not None:
396         if opts.recodevideo not in ['mp4', 'flv', 'webm', 'ogg']:
397             parser.error(u'invalid video recode format specified')
398
399     if sys.version_info < (3,):
400         # In Python 2, sys.argv is a bytestring (also note http://bugs.python.org/issue2128 for Windows systems)
401         if opts.outtmpl is not None:
402             opts.outtmpl = opts.outtmpl.decode(preferredencoding())
403     outtmpl =((opts.outtmpl is not None and opts.outtmpl)
404             or (opts.format == '-1' and opts.usetitle and u'%(title)s-%(id)s-%(format)s.%(ext)s')
405             or (opts.format == '-1' and u'%(id)s-%(format)s.%(ext)s')
406             or (opts.usetitle and opts.autonumber and u'%(autonumber)s-%(title)s-%(id)s.%(ext)s')
407             or (opts.usetitle and u'%(title)s-%(id)s.%(ext)s')
408             or (opts.useid and u'%(id)s.%(ext)s')
409             or (opts.autonumber and u'%(autonumber)s-%(id)s.%(ext)s')
410             or u'%(id)s.%(ext)s')
411     # File downloader
412     fd = FileDownloader({
413         'usenetrc': opts.usenetrc,
414         'username': opts.username,
415         'password': opts.password,
416         'quiet': (opts.quiet or opts.geturl or opts.gettitle or opts.getthumbnail or opts.getdescription or opts.getfilename or opts.getformat),
417         'forceurl': opts.geturl,
418         'forcetitle': opts.gettitle,
419         'forcethumbnail': opts.getthumbnail,
420         'forcedescription': opts.getdescription,
421         'forcefilename': opts.getfilename,
422         'forceformat': opts.getformat,
423         'simulate': opts.simulate,
424         'skip_download': (opts.skip_download or opts.simulate or opts.geturl or opts.gettitle or opts.getthumbnail or opts.getdescription or opts.getfilename or opts.getformat),
425         'format': opts.format,
426         'format_limit': opts.format_limit,
427         'listformats': opts.listformats,
428         'outtmpl': outtmpl,
429         'restrictfilenames': opts.restrictfilenames,
430         'ignoreerrors': opts.ignoreerrors,
431         'ratelimit': opts.ratelimit,
432         'nooverwrites': opts.nooverwrites,
433         'retries': opts.retries,
434         'buffersize': opts.buffersize,
435         'noresizebuffer': opts.noresizebuffer,
436         'continuedl': opts.continue_dl,
437         'noprogress': opts.noprogress,
438         'playliststart': opts.playliststart,
439         'playlistend': opts.playlistend,
440         'logtostderr': opts.outtmpl == '-',
441         'consoletitle': opts.consoletitle,
442         'nopart': opts.nopart,
443         'updatetime': opts.updatetime,
444         'writedescription': opts.writedescription,
445         'writeinfojson': opts.writeinfojson,
446         'writesubtitles': opts.writesubtitles,
447         'subtitleslang': opts.subtitleslang,
448         'matchtitle': opts.matchtitle,
449         'rejecttitle': opts.rejecttitle,
450         'max_downloads': opts.max_downloads,
451         'prefer_free_formats': opts.prefer_free_formats,
452         'verbose': opts.verbose,
453         'test': opts.test,
454         'keepvideo': opts.keepvideo,
455         'min_filesize': opts.min_filesize,
456         'max_filesize': opts.max_filesize
457         })
458
459     if opts.verbose:
460         fd.to_screen(u'[debug] youtube-dl version ' + __version__)
461         try:
462             sp = subprocess.Popen(['git', 'rev-parse', '--short', 'HEAD'], stdout=subprocess.PIPE, stderr=subprocess.PIPE,
463                                   cwd=os.path.dirname(os.path.abspath(__file__)))
464             out, err = sp.communicate()
465             out = out.decode().strip()
466             if re.match('[0-9a-f]+', out):
467                 fd.to_screen(u'[debug] Git HEAD: ' + out)
468         except:
469             pass
470         fd.to_screen(u'[debug] Python version %s - %s' %(platform.python_version(), platform.platform()))
471         fd.to_screen(u'[debug] Proxy map: ' + str(proxy_handler.proxies))
472
473     for extractor in extractors:
474         fd.add_info_extractor(extractor)
475
476     # PostProcessors
477     if opts.extractaudio:
478         fd.add_post_processor(FFmpegExtractAudioPP(preferredcodec=opts.audioformat, preferredquality=opts.audioquality, nopostoverwrites=opts.nopostoverwrites))
479     if opts.recodevideo:
480         fd.add_post_processor(FFmpegVideoConvertor(preferedformat=opts.recodevideo))
481
482     # Update version
483     if opts.update_self:
484         update_self(fd.to_screen, opts.verbose, sys.argv[0])
485
486     # Maybe do nothing
487     if len(all_urls) < 1:
488         if not opts.update_self:
489             parser.error(u'you must provide at least one URL')
490         else:
491             sys.exit()
492
493     try:
494         retcode = fd.download(all_urls)
495     except MaxDownloadsReached:
496         fd.to_screen(u'--max-download limit reached, aborting.')
497         retcode = 101
498
499     # Dump cookie jar if requested
500     if opts.cookiefile is not None:
501         try:
502             jar.save()
503         except (IOError, OSError) as err:
504             sys.exit(u'ERROR: unable to save cookie jar')
505
506     sys.exit(retcode)
507
508 def main():
509     try:
510         _real_main()
511     except DownloadError:
512         sys.exit(1)
513     except SameFileError:
514         sys.exit(u'ERROR: fixed output name but more than one file to download')
515     except KeyboardInterrupt:
516         sys.exit(u'\nERROR: Interrupted by user')