Use self._download_webpage everywhere
[youtube-dl] / README.md
1 % YOUTUBE-DL(1)
2
3 # NAME
4 youtube-dl - download videos from youtube.com or other video platforms
5
6 # SYNOPSIS
7 **youtube-dl** [OPTIONS] URL [URL...]
8
9 # DESCRIPTION
10 **youtube-dl** is a small command-line program to download videos from
11 YouTube.com and a few more sites. It requires the Python interpreter, version
12 2.6, 2.7, or 3.3+, and it is not platform specific. It should work on
13 your Unix box, on Windows or on Mac OS X. It is released to the public domain,
14 which means you can modify it, redistribute it or use it however you like.
15
16 # OPTIONS
17     -h, --help                 print this help text and exit
18     --version                  print program version and exit
19     -U, --update               update this program to latest version. Make sure
20                                that you have sufficient permissions (run with
21                                sudo if needed)
22     -i, --ignore-errors        continue on download errors
23     --dump-user-agent          display the current browser identification
24     --user-agent UA            specify a custom user agent
25     --referer REF              specify a custom referer, use if the video access
26                                is restricted to one domain
27     --list-extractors          List all supported extractors and the URLs they
28                                would handle
29     --extractor-descriptions   Output descriptions of all supported extractors
30     --proxy URL                Use the specified HTTP/HTTPS proxy
31     --no-check-certificate     Suppress HTTPS certificate validation.
32
33 ## Video Selection:
34     --playlist-start NUMBER    playlist video to start at (default is 1)
35     --playlist-end NUMBER      playlist video to end at (default is last)
36     --match-title REGEX        download only matching titles (regex or caseless
37                                sub-string)
38     --reject-title REGEX       skip download for matching titles (regex or
39                                caseless sub-string)
40     --max-downloads NUMBER     Abort after downloading NUMBER files
41     --min-filesize SIZE        Do not download any videos smaller than SIZE
42                                (e.g. 50k or 44.6m)
43     --max-filesize SIZE        Do not download any videos larger than SIZE (e.g.
44                                50k or 44.6m)
45     --date DATE                download only videos uploaded in this date
46     --datebefore DATE          download only videos uploaded before this date
47     --dateafter DATE           download only videos uploaded after this date
48
49 ## Download Options:
50     -r, --rate-limit LIMIT     maximum download rate (e.g. 50k or 44.6m)
51     -R, --retries RETRIES      number of retries (default is 10)
52     --buffer-size SIZE         size of download buffer (e.g. 1024 or 16k)
53                                (default is 1024)
54     --no-resize-buffer         do not automatically adjust the buffer size. By
55                                default, the buffer size is automatically resized
56                                from an initial value of SIZE.
57
58 ## Filesystem Options:
59     -t, --title                use title in file name (default)
60     --id                       use only video ID in file name
61     -l, --literal              [deprecated] alias of --title
62     -A, --auto-number          number downloaded files starting from 00000
63     -o, --output TEMPLATE      output filename template. Use %(title)s to get
64                                the title, %(uploader)s for the uploader name,
65                                %(uploader_id)s for the uploader nickname if
66                                different, %(autonumber)s to get an automatically
67                                incremented number, %(ext)s for the filename
68                                extension, %(upload_date)s for the upload date
69                                (YYYYMMDD), %(extractor)s for the provider
70                                (youtube, metacafe, etc), %(id)s for the video id
71                                , %(playlist)s for the playlist the video is in,
72                                %(playlist_index)s for the position in the
73                                playlist and %% for a literal percent. Use - to
74                                output to stdout. Can also be used to download to
75                                a different directory, for example with -o '/my/d
76                                ownloads/%(uploader)s/%(title)s-%(id)s.%(ext)s' .
77     --autonumber-size NUMBER   Specifies the number of digits in %(autonumber)s
78                                when it is present in output filename template or
79                                --autonumber option is given
80     --restrict-filenames       Restrict filenames to only ASCII characters, and
81                                avoid "&" and spaces in filenames
82     -a, --batch-file FILE      file containing URLs to download ('-' for stdin)
83     -w, --no-overwrites        do not overwrite files
84     -c, --continue             resume partially downloaded files
85     --no-continue              do not resume partially downloaded files (restart
86                                from beginning)
87     --cookies FILE             file to read cookies from and dump cookie jar in
88     --no-part                  do not use .part files
89     --no-mtime                 do not use the Last-modified header to set the
90                                file modification time
91     --write-description        write video description to a .description file
92     --write-info-json          write video metadata to a .info.json file
93     --write-thumbnail          write thumbnail image to disk
94
95 ## Verbosity / Simulation Options:
96     -q, --quiet                activates quiet mode
97     -s, --simulate             do not download the video and do not write
98                                anything to disk
99     --skip-download            do not download the video
100     -g, --get-url              simulate, quiet but print URL
101     -e, --get-title            simulate, quiet but print title
102     --get-id                   simulate, quiet but print id
103     --get-thumbnail            simulate, quiet but print thumbnail URL
104     --get-description          simulate, quiet but print video description
105     --get-filename             simulate, quiet but print output filename
106     --get-format               simulate, quiet but print output format
107     --newline                  output progress bar as new lines
108     --no-progress              do not print progress bar
109     --console-title            display progress in console titlebar
110     -v, --verbose              print various debugging information
111     --dump-intermediate-pages  print downloaded pages to debug problems(very
112                                verbose)
113
114 ## Video Format Options:
115     -f, --format FORMAT        video format code, specifiy the order of
116                                preference using slashes: "-f 22/17/18". "-f mp4"
117                                and "-f flv" are also supported
118     --all-formats              download all available video formats
119     --prefer-free-formats      prefer free video formats unless a specific one
120                                is requested
121     --max-quality FORMAT       highest quality format to download
122     -F, --list-formats         list all available formats (currently youtube
123                                only)
124
125 ## Subtitle Options:
126     --write-sub                write subtitle file
127     --write-auto-sub           write automatic subtitle file (youtube only)
128     --all-subs                 downloads all the available subtitles of the
129                                video
130     --list-subs                lists all available subtitles for the video
131     --sub-format FORMAT        subtitle format (default=srt) ([sbv/vtt] youtube
132                                only)
133     --sub-lang LANGS           languages of the subtitles to download (optional)
134                                separated by commas, use IETF language tags like
135                                'en,pt'
136
137 ## Authentication Options:
138     -u, --username USERNAME    account username
139     -p, --password PASSWORD    account password
140     -n, --netrc                use .netrc authentication data
141     --video-password PASSWORD  video password (vimeo only)
142
143 ## Post-processing Options:
144     -x, --extract-audio        convert video files to audio-only files (requires
145                                ffmpeg or avconv and ffprobe or avprobe)
146     --audio-format FORMAT      "best", "aac", "vorbis", "mp3", "m4a", "opus", or
147                                "wav"; best by default
148     --audio-quality QUALITY    ffmpeg/avconv audio quality specification, insert
149                                a value between 0 (better) and 9 (worse) for VBR
150                                or a specific bitrate like 128K (default 5)
151     --recode-video FORMAT      Encode the video to another format if necessary
152                                (currently supported: mp4|flv|ogg|webm)
153     -k, --keep-video           keeps the video file on disk after the post-
154                                processing; the video is erased by default
155     --no-post-overwrites       do not overwrite post-processed files; the post-
156                                processed files are overwritten by default
157     --embed-subs               embed subtitles in the video (only for mp4
158                                videos)
159
160 # CONFIGURATION
161
162 You can configure youtube-dl by placing default arguments (such as `--extract-audio --no-mtime` to always extract the audio and not copy the mtime) into `/etc/youtube-dl.conf` and/or `~/.config/youtube-dl.conf`.
163
164 # OUTPUT TEMPLATE
165
166 The `-o` option allows users to indicate a template for the output file names. The basic usage is not to set any template arguments when downloading a single file, like in `youtube-dl -o funny_video.flv "http://some/video"`. However, it may contain special sequences that will be replaced when downloading each video. The special sequences have the format `%(NAME)s`. To clarify, that is a percent symbol followed by a name in parenthesis, followed by a lowercase S. Allowed names are:
167
168  - `id`: The sequence will be replaced by the video identifier.
169  - `url`: The sequence will be replaced by the video URL.
170  - `uploader`: The sequence will be replaced by the nickname of the person who uploaded the video.
171  - `upload_date`: The sequence will be replaced by the upload date in YYYYMMDD format.
172  - `title`: The sequence will be replaced by the video title.
173  - `ext`: The sequence will be replaced by the appropriate extension (like flv or mp4).
174  - `epoch`: The sequence will be replaced by the Unix epoch when creating the file.
175  - `autonumber`: The sequence will be replaced by a five-digit number that will be increased with each download, starting at zero.
176  - `playlist`: The name or the id of the playlist that contains the video.
177  - `playlist_index`: The index of the video in the playlist, a five-digit number.
178
179 The current default template is `%(title)s-%(id)s.%(ext)s`.
180
181 In some cases, you don't want special characters such as 中, spaces, or &, such as when transferring the downloaded filename to a Windows system or the filename through an 8bit-unsafe channel. In these cases, add the `--restrict-filenames` flag to get a shorter title:
182
183     $ youtube-dl --get-filename -o "%(title)s.%(ext)s" BaW_jenozKc
184     youtube-dl test video ''_ä↭𝕐.mp4    # All kinds of weird characters
185     $ youtube-dl --get-filename -o "%(title)s.%(ext)s" BaW_jenozKc --restrict-filenames
186     youtube-dl_test_video_.mp4          # A simple file name
187
188 # VIDEO SELECTION
189
190 Videos can be filtered by their upload date using the options `--date`, `--datebefore` or `--dateafter`, they accept dates in two formats:
191
192  - Absolute dates: Dates in the format `YYYYMMDD`.
193  - Relative dates: Dates in the format `(now|today)[+-][0-9](day|week|month|year)(s)?`
194  
195 Examples:
196
197         $ youtube-dl --dateafter now-6months #will only download the videos uploaded in the last 6 months
198         $ youtube-dl --date 19700101 #will only download the videos uploaded in January 1, 1970
199         $ youtube-dl --dateafter 20000101 --datebefore 20100101 #will only download the videos uploaded between 2000 and 2010
200
201 # FAQ
202
203 ### Can you please put the -b option back?
204
205 Most people asking this question are not aware that youtube-dl now defaults to downloading the highest available quality as reported by YouTube, which will be 1080p or 720p in some cases, so you no longer need the `-b` option. For some specific videos, maybe YouTube does not report them to be available in a specific high quality format you're interested in. In that case, simply request it with the `-f` option and youtube-dl will try to download it.
206
207 ### I get HTTP error 402 when trying to download a video. What's this?
208
209 Apparently YouTube requires you to pass a CAPTCHA test if you download too much. We're [considering to provide a way to let you solve the CAPTCHA](https://github.com/rg3/youtube-dl/issues/154), but at the moment, your best course of action is pointing a webbrowser to the youtube URL, solving the CAPTCHA, and restart youtube-dl.
210
211 ### I have downloaded a video but how can I play it?
212
213 Once the video is fully downloaded, use any video player, such as [vlc](http://www.videolan.org) or [mplayer](http://www.mplayerhq.hu/).
214
215 ### The links provided by youtube-dl -g are not working anymore
216
217 The URLs youtube-dl outputs require the downloader to have the correct cookies. Use the `--cookies` option to write the required cookies into a file, and advise your downloader to read cookies from that file. Some sites also require a common user agent to be used, use `--dump-user-agent` to see the one in use by youtube-dl.
218
219 ### ERROR: no fmt_url_map or conn information found in video info
220
221 youtube has switched to a new video info format in July 2011 which is not supported by old versions of youtube-dl. You can update youtube-dl with `sudo youtube-dl --update`.
222
223 ### ERROR: unable to download video ###
224
225 youtube requires an additional signature since September 2012 which is not supported by old versions of youtube-dl. You can update youtube-dl with `sudo youtube-dl --update`.
226
227 ### SyntaxError: Non-ASCII character ###
228
229 The error
230
231     File "youtube-dl", line 2
232     SyntaxError: Non-ASCII character '\x93' ...
233
234 means you're using an outdated version of Python. Please update to Python 2.6 or 2.7.
235
236 ### What is this binary file? Where has the code gone?
237
238 Since June 2012 (#342) youtube-dl is packed as an executable zipfile, simply unzip it (might need renaming to `youtube-dl.zip` first on some systems) or clone the git repository, as laid out above. If you modify the code, you can run it by executing the `__main__.py` file. To recompile the executable, run `make youtube-dl`.
239
240 ### The exe throws a *Runtime error from Visual C++*
241
242 To run the exe you need to install first the [Microsoft Visual C++ 2008 Redistributable Package](http://www.microsoft.com/en-us/download/details.aspx?id=29).
243
244 # COPYRIGHT
245
246 youtube-dl is released into the public domain by the copyright holders.
247
248 This README file was originally written by Daniel Bolton (<https://github.com/dbbolton>) and is likewise released into the public domain.
249
250 # BUGS
251
252 Bugs and suggestions should be reported at: <https://github.com/rg3/youtube-dl/issues>
253
254 Please include:
255
256 * Your exact command line, like `youtube-dl -t "http://www.youtube.com/watch?v=uHlDtZ6Oc3s&feature=channel_video_title"`. A common mistake is not to escape the `&`. Putting URLs in quotes should solve this problem.
257 * If possible re-run the command with `--verbose`, and include the full output, it is really helpful to us.
258 * The output of `youtube-dl --version`
259 * The output of `python --version`
260 * The name and version of your Operating System ("Ubuntu 11.04 x64" or "Windows 7 x64" is usually enough).
261
262 For discussions, join us in the irc channel #youtube-dl on freenode.