Merge branch 'master' into rtmpdump

Conflicts:
youtube_dl/FileDownloader.py

Merge

release 2013.11.17

[MTVIE] Try with RTMP URL if download fails

This fixes youtube-dl http://www.southpark.de/clips/155251/cartman-vs-the-dog-whisperer

Merge pull request #1784 from rzhxeo/southpark

Add support for southpark.de

Allow --console-title when --quiet is given (Fixes #1783)

Save and restore console title (Fixes #1782)

Add support for southpark.de

[SouthParkStudiosIE] Move from _TEST to _TESTS

[SouthParkStudiosIE] Also detect urls without  or www

Remove * imports

Move console_title to YoutubeDL

[youtube] Add view_count (Fixes #1781)

[arte] remove two typos

[redtube] Do not test md5, seems to vary

[gamekings] Do not test md5 sum, precise file changes regularly

[gamekings] remove unnecessary import

[tvp] Skip tests

[bambuser] Do not test for MD5, seems to be flaky

[dailymotion] Fix playlists

Fix indentation of (best) and (worst) in --list-formats

[spiegel] Implement format selection

Add automatic generation of format note based on bitrate and codecs

release 2013.11.15.1

[ted] Fix playlists (Fixes #1770)

[ted] simplify

[rtlnow] Remove the test for nitro

The videos expire.

Don't accept '>' inside the content attribute in OpenGraph regexes

Improve the OpenGraph regex

* Do not accept '>' between the property and content attributes.
* Recognize the properties if the content attribute is before the property attribute using two regexes (fixes the extraction of the description for SlideshareIE).

[tvp] Update the title and the description of the test video

[youtube:channel] Fix the extraction of autogenerated channels

The ajax pages are empty, now it looks directly in the channel's /videos page

Pass the 'download' argument to 'process_video_result' (fixes #1769)

release 2013.11.15

Merge branch 'master' of github.com:rg3/youtube-dl

[youtube] Fix protocol-independent URLs (Fixes #1768)

[soundlcoud] Set the correct extension for the tracks (fixes #1766)

Some tracks are not in mp3 format, they can be wav files.

[livestream] Add an extractor for the original version of livestream (closes #1764)

The two versions use different systems.

Don't assume the 'subtitlesformat' is set in the params dict (fixes #1750)

[gamekings] Fix the test video checksum

release 2013.11.13

Credit @saper for tvp IE (#1730)

[tvp] Minor improvements (#1730)

Merge remote-tracking branch 'saper/tvp'

Credit @jelly for gamekings extractor (#1759)

[gamekings] Minor fixes (#1759)

Add extractor for gamekings.tv

[vine] Fix uploader extraction

FFmpegMetadataPP: don't enclose the values with " (fixes #1756)

[common] Simplify og_search_property

release 2013.11.11

Clarify -c. Do not pass it in if you don't know what you're doing

Suggested in #1743

Use avconv for downloading with m3u8 manifests if it's available (fixes #1735)

 Use the 'rtmp_live'  field for the live parameter of rtmpdump

Merge remote-tracking branch 'rzhxeo/rtmpdump_live'

Merge all the subtitles test into a single file

They reuse a base class

[ted] Return a single info_dict for talks urls

It failed with the --list-subs option

Merge pull request #1705 from iemejia/master

[ted] support for subtitles

Merge pull request #1726 from saper/escaped

Fix AssertionError when og property not found

Fix the documentation of '--autonumber-size' (#1743)

it's '--auto-number' not '--autonumber'

Improve format listing for long format ids

Now arte.tv videos have quite long ids.

[arte] Improve the format sorting

Also use the bitrate.
Prefer normal version and sourds/mal version over original version with subtitles.

[arte] Make sure the format_id is unique (closes #1739)

Include the bitrate and use the height instead of the quality field.

[cnn] Accept www.cnn.com urls (fixes #1740)

[brightcove] the format function requires to specify the index in python2.6

[soundcloud] Allow to download tracks marked as not 'streamable'

They use the rtmp protocol but if the are marked as 'downloadable' it can use the direct download link.

[kankan] Fix the video url

It now requires two additional parameters, one is a timestamp we get from the getCdnresource_flv page and the other is a key we have to build.

Don't recode the video with m3u8 downloads (fixes #1741)

Report download progress of rtmpdump

[brightcove] Set the 'Referer' header if the url has the 'linkBaseUrl' parameter (fixes #1553)

release 2013.11.07

Fix the report progress when file_size is unknown (#1731)

The report_progress function will accept eta and percent with None value and will set the message to 'Unknow ETA' or 'Unknown %'.
Otherwise the values must be numbers.

[xnxx] Accept urls that start with 'www' (fixes #1734)

release 2013.11.06.1

[brightcove] Support redirected urls from bcove.me (fixes #1732)

'bctid' needs to be changed to '@videoPlayer', and 'bckey' to 'playerKey'.

[youtube:channel] Fix the extraction

The page don't include the 'load more' button anymore, now we directly get the 'c4_browse_ajax' pages.

Add an extractor for eitb.tv (fixes #1608)

The BrighcoveExperience object doesn't contain the video id, the extractor adds it and passes the url to BrightcoveIE.

[brightcove] Extract all the available formats

Add an extractor for space.com (fixes #1718)

It uses Brightcove, but requires some special process for getting a url with the playerKey field in some videos

[brightcove] Change the 'videoId' or 'videoID' field to '@videoPlayer' (fixes #1697)

It seems to be needed when using the htmlFederated page

[brightcove] Add the extraction of the url from generic

tests: don't run the test if any of the extractors listed in the 'add_ie' field is marked as not working

release 2013.11.06

Fix reporting when file size is unkown (Fixes #1731)

Clean up imports

[tvp] Telewizja Polska: new extractor for tvp.pl, fixes #1719

Thanks-To: mplonski
https://github.com/mplonski/linux/blob/master/tvp-dl.py

Fix AssertionError when og property not found

On tvp.pl some webpages contain OpenGraph
metadata and some don't.

If og property is not found, _og_search_description
fails with

WARNING: unable to extract OpenGraph description; please report this issue on http://yt-dl.org/bug
Traceback (most recent call last):
  File "/usr/home/saper/bin/youtube-dl", line 18, in <module>
    youtube_dl.main()
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/__init__.py", line 766, in main
    _real_main(argv)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/__init__.py", line 719, in _real_main
    retcode = ydl.download(all_urls)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/YoutubeDL.py", line 715, in download
    videos = self.extract_info(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/YoutubeDL.py", line 348, in extract_info
    ie_result = ie.extract(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 125, in extract
    return self._real_extract(url)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/tvp.py", line 56, in _real_extract
    info['description'] = self._og_search_description(webpage)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 331, in _og_search_description
    return self._og_search_property('description', html, fatal=False, **kargs)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/extractor/common.py", line 325, in _og_search_property
    return unescapeHTML(escaped)
  File "/usr/home/saper/sw/youtube-dl/youtube_dl/utils.py", line 494, in unescapeHTML
    assert type(s) == type(u'')
AssertionError

The patch allows me to use:

  try:
    info['description'] = self._og_search_description(webpage)
    info['thumbnail'] = self._og_search_thumbnail(webpage)
  except RegexNotFoundError:
    pass

[ted] fixed error in case of no subtitles present

I created a test, but I leave it commented since TED videos get
new subtitles frequently.

Merge pull request #1724 from rzhxeo/generic_youtube

[GenericIE] Also detect youtube if src url of iframe is embedded in ' instead of "

[GenericIE] Also detect youtube if src url of iframe is embedded in ' instaed of "

[canal2c] Accept more urls (fixes #1723)

The url only needs to have the 'idVideo' field in the query, in any position.
We have to set the 'void=oui' in the webpage url, so that we get the file name.

[teamcoco] Parse the xml file and extract all the formats

Merge pull request #1693 from alexvh/teamcoco_fix

[teamcoco] Fix video url extraction for some videos

[youtube] Add description for YoutubeSearchDateIE (#1710)

Merge remote-tracking branch 'CBGoodBuddy/ytsearchtime'

release 2013.11.03

[viddler] Support non-digit IDs (Fixes #1714)

Merge pull request #1698 from rzhxeo/cinemassacre

[CinemassacreIE] Support more embed urls

Style fixes for extractors: remove spaces around (,),{ and }

Merge pull request #1679 from rzhxeo/mofosex

Add support for http://www.mofosex.com

Merge pull request #1677 from rzhxeo/xtube

Add support for http://www.xtube.com

Merge pull request #1676 from rzhxeo/extremetube

Add support for http://www.extremetube.com