Merge pull request #1677 from rzhxeo/xtube

Add support for http://www.xtube.com

Merge pull request #1676 from rzhxeo/extremetube

Add support for http://www.extremetube.com

Set the 'extractor_key' field in the info_dict

It's the string returned by the class method 'ie_key', which allows to retrieve the extractor with 'get_info_extractor'

Add the 'webpage_url' field to info_dict

The url for the video page, it must allow to reproduce the result.
It's automatically set by YoutubeDL if it's missing.

Set the extra_info inside YoutubeDL.process_ie_result and set only if the keys are missing

[XTubeIE] Add description to TEST

[ExtremeTubeIE] Set age_limit to 18 and fix uploader extraction

Merge pull request #1678 from rzhxeo/keezmovies

[KeezMoviesIE] Detect URLs with numbers in the SEO part correct

[brightcove] Don't set the extension

If the video only has the 'FLVFullLengthURL' key, it can still be an mp4 file.

[exfm] skip tests

The site is down too often.

[youtube] Remove vevo test

The video is no longer available and it seems that vevo video don't use encrypted signatures anymore.

[bambuser] Add an extractor for channels (closes #1702)

Add an extractor for bambuser.com (#1702)

release 2013.11.02

[youtube] Encode subtitle track name in request (Fixes #1700)

Add an extractor for vk.com (closes #1635)

[metacafe] Fix support for age-restricted videos (fixes #1696)

The 'Content-Type' header must be set for disabling the family filter.
The 'flashversion' cookie  is only needed for AnyClip videos.
Added tests for standard metacafe videos and for age-restricted videos.
Also set the 'age_limit' field.

[livestream] fix the extraction of events

It now uses a json dictionary from the webpage.

Fix the test for dailymotion subtitles

The extractor returns a single info_dict now.

[dailymotion] Fix support for age-restricted videos (Fixes #1688)

release 2013.10.30

Use index in formt string (Fixes vevo test on Python 2.6)

[vevo] Readd support for SMIL (Fixes #1683)

Remove superfluous space

Fix output indenting for --list-formats

Update the Vimeo test vector md5

confirmed that this is indeed the first 10241 (we went off by one with
byte range 0-10240) of the full, playing mp4, so they probably
reencoded or something

[arte] Download the 'Originalversion' version if it's the only one available (fixes #1682)

[vevo] Add more format details

Nicer --list-formats output

[vevo] Fix timestamp handling

( / 1000 is implicit float division )

release 2013.10.29

Merge remote-tracking branch 'origin/master'

[youtube] Fix login (Fixes #1681)

[tests] a HTTP 503 is a transient issue

[mtv] Remove the templates from the mediagen url

Fix YouTubeDL test

[tests] don't fail on network errors

This is suboptimal, but at least this way we will need to look at the logs
only to check for network errors that happen too often, instead of
parsing a ton of lines each time to see if there is some true test failing

Add an extractor for MySpace (closes #1666)

tests: build the filename from the info_dict if the 'file' key is missing

It will need to have the 'id' and 'ext' keys to work.

Add support for http://www.xtube.com

[KeezMoviesIE] Detect URLs with numbers in the SEO part correct

Add support for http://www.extremetube.com

setup.py: Make sure the setuptools_available variable is set

Otherwise it would crash if it can't import setuptools.

Merge pull request #1675 from rzhxeo/fix

Check if description and thumbnail are None to prevent crash

Check if description and thumbnail are None to prevent crash

Make "requested format not available" expected (#1655)

mixcloud does not do any format selection

release 2013.10.28

[vimeo] Support hash in URL (Fixes #1669)

Nicer --list-formats output

Let extractors omit ext in formats

[addanime] Use new formats system

Merge remote-tracking branch 'origin/master'

New debug option --write-pages

[Instagram] get the non-https link, as they are serving Akamai cert from a instagram.com domain

Merge pull request #1620 from jaimeMF/console_script

Use the console_scripts entry point if setuptools is available

Add the missing age_limit tags; added a devscript to do a superficial check for porn sites without the age_limit tag in the test

Merge pull request #1657 by @rzhxeo

[YouPornIE] Extract all encrypted links and remove doubles at the end

Merge pull request #1659 by @rzhxeo

Add support for http://www.tube8.com

Merge pull request #1663 by @rzhxeo

Add support for http://www.spankwire.com

Merge pull request #1664 by @rzhxeo

Add support for http://www.keezmovies.com

Merge pull request #1661 by @rzhxeo

Add support for http://www.pornhub.com

[Exfm] replace the failing Soundcloud test vector (broken also in browser)

Merge pull request #1660 from pyed/master

[addanime] try to download HQ before normal

Merge pull request #1656 from rzhxeo/xhamster

[XHamsterIE] Extract SD and HD video

[addanime] better regex.

[generic] Detect bandcamp pages that use custom domains (closes #1662)

They embed the original url in the 'og:url' property.

[rtlnow] Change the test for rtlnitronow

[generic] Fix test video's checksum

[faz] Use a regex for getting the description

The page cannot be parsed in python2.6 with the html parser.

[KeezMoviesIE] Correct return value for embedded videos

[facebook] Don't recommend to report the issue if the video is private.

[facebook] Report a more meaningful message if the video cannot be accessed (closes #1658)

[facebook] Fix the login process (fixes #1244)

[addanime] fix md5sum

[addanime] catch 'RegexNotFoundError'

Add support for http://www.keezmovies.com

Add support for http://www.spankwire.com

[Tube8IE] Fix regex for uploader extraction

Add support for http://www.pornhub.com

[Tube8IE] Escape dot in regex

[addanime] try to download HQ before normal

[YouPornIE] Make webpage download more robust

Add support for http://www.tube8.com

[YouPornIE] Extract all encrypted links and remove doubles at the end

[XHamsterIE] Extract SD and HD video

[8tracks] Use track count instead of looking at at_last_track property

This fixes the error:

$ youtube-dl http://8tracks.com/vladmc/counting-stars
[8tracks] counting-stars: Downloading webpage
[8tracks] counting-stars: Downloading song information 1/4
[8tracks] counting-stars: Downloading song information 2/4
[8tracks] counting-stars: Downloading song information 3/4
[8tracks] counting-stars: Downloading song information 4/4
[8tracks] counting-stars: Downloading song information 5/4
Traceback (most recent call last):
  File "/usr/lib/python2.7/runpy.py", line 162, in _run_module_as_main
    "__main__", fname, loader, pkg_name)
  File "/usr/lib/python2.7/runpy.py", line 72, in _run_code
    exec code in run_globals
  File "/home/phihag/projects/youtube-dl/youtube_dl/__main__.py", line 18, in <module>
    youtube_dl.main()
  File "/home/phihag/projects/youtube-dl/youtube_dl/__init__.py", line 761, in main
    _real_main(argv)
  File "/home/phihag/projects/youtube-dl/youtube_dl/__init__.py", line 714, in _real_main
    retcode = ydl.download(all_urls)
  File "/home/phihag/projects/youtube-dl/youtube_dl/YoutubeDL.py", line 701, in download
    videos = self.extract_info(url)
  File "/home/phihag/projects/youtube-dl/youtube_dl/YoutubeDL.py", line 342, in extract_info
    ie_result = ie.extract(url)
  File "/home/phihag/projects/youtube-dl/youtube_dl/extractor/common.py", line 121, in extract
    return self._real_extract(url)
  File "/home/phihag/projects/youtube-dl/youtube_dl/extractor/eighttracks.py", line 111, in _real_extract
    'id': track_data['id'],
KeyError: 'id'

Document the %(format_id)s field for the output template

[youtube] Set the format_id field to the itag of the format (closes #1624)

Fix the extensions of two tests with youtube videos

The best quality is now a mp4 video.

[youtube] Also use the 'adaptative_fmts' field from the /get_video_info page (fixes #1649)

The 'adaptative_fmts' field from the video page is not added to the 'url_encoded_fmt_stream_map'

[cinemassacre] Simplify

* Remove some rtmp parameters that are not needed.
* Remove the md5 checksums, the video is not downloaded.
* Remove the code used before the current format system.

Merge pull request #1632 from rzhxeo/cinemassacre

[Cinemassacre] Download video that is shown in flash player

release 2013.10.23.2

[dailymotion] Extract all the available formats (closes #1028)

[nowvideo] Fix key extraction

Extract it from the embed page

Hide the video password on verbose mode

[vimeo] fix the extraction for videos protected with password

Added a test video.

release 2013.10.23.1

[vimeo] Fix pro videos and player.vimeo.com urls

The old process can still be used for those videos.
Added RegexNotFoundError, which is raised by _search_regex if it can't extract the info.