Merge pull request #8898 from dstftw/fragment-retries

Add --fragment-retries option (Fixes #8466)

[tunein] Fix stream data extraction (Closes #8899, closes #8924)

[utils] Encode hostnames before passing to urllib

With IDN (Internationalized Domain Name) and a proxy, non-ascii URLs
are passed down to urllib/urllib2, causing UnicodeEncodeError

Fixes #8890

Add extractor for thescene.com (closes #8929)

[once] Prevent ads from embedding into m3u8 playlists (Closes #8893)

[laola1tv] Add support for livestreams (Closes #8934)

[ceskatelevize] Make m3u8 formats extraction non fatal (Closes #8933)

[animeondemand] Skip dash for now

[animeondemand] Extract teaser when no full episode available (#8923)

[animeondemand] Respect startvideo (Closes #8923)

[motherless] Detect friends only videos

[xhamster:embed] Extract vars (Closes #8912)

[rutv] Improve flash version pattern (Closes #8911)

Add support for https for all extractors as preventive and future-proof measure

Add missing r prefix for _VALID_URLs

[mailru] Add support for https (Closes #8920)

[YoutubeDL] Improve _format_note

[animeondemand] Extract all formats (Closes #8906)

[animeondemand] Detect geo restriction

[kwuo] Fix KuwoChartIE and KuwoSingerIE and accept new URL forms

Credit @vitstradal for the key algorithm in OpenloadIE (#8489)

[ci skip]

[vlive] Fix creator extraction (closes #8814)

README: document that BSD make is also supported (#8902)

[openload] Misc improvements

* Add thumbnail
* Detect errors (#6469)
* Match more (#6469, #8489)

[openload] Add new extractor (closes #8489)

[tudou] Use InAdvancePagedList (closes #8884)

[francetv] Improve formats extraction

[francetvinfo] Add support for france3-regions and strip title (Closes #7673)

Merge pull request #8902 from jaimeMF/bmake

Makefile: make it compatible with bmake

[discovery] Relax _VALID_URL (Closes #8903)

[postprocessort/ffmpeg] Allow embedding webvtt into webm (Closes #8874)

Makefile: make it compatible with bmake

It's the portable version of BSD make: http://crufty.net/help/sjg/bmake.html
The syntax for conditionals is different in GNU make and BSD make, so we use the shell

tox.ini: Exclude test_iqiyi_sdk_interpreter.py

[91porn] Use common messages' wording

[91porn] Unquote final URL (Closes #8881)

Credit @jjatria for biobiochiletv (#7314)

[biobiochiletv] Fix extraction, extract m3u8 formats and overall improve (Closes #7314)

[biobiotv] Add extractor

Credit @kasper93 for cda (#8805)

[cda] Improve and simplify (Closes #8805)

[cda] Add new extractor for cda.pl

Fixes #8760

[safari:api] Separate extractor (Closes #8871)

[downloader/fragment] Document fragment_retries

[downloader/{common,fragment}] Fix total retries reporting on python 2.6

[downloader/dash] Add fragment retry capability

YouTube may often return 404 HTTP error for a fragment causing the
whole download to fail. However if the same fragment is immediately
retried with the same request data this usually succeeds (1-2 attemps
is usually enough) thus allowing to download the whole file successfully.
So, we will retry all fragments that fail with 404 HTTP error for now.

[downloader/fragment] Add report_retry_fragment

[options] Add --fragment-retries option

[utils] lookup_unit_table: Match word boundary instead of end of string

[extractor/generic] Fix missing byte literal prefix

[hbo] Add new extractor

utils: lookup_unit_table: Use a stricter regex

In parse_count multiple units start with the same letter, so it would match different units depending on the order they were sorted when iterating over them.

[test_YoutubeDL] Add test for format_id format selection

Added format_id to the filers on -f.

[commonprotocols] Add generic support for rtmp URLs (Closes #8488)

[extractor/generic] Add a test for m3u playlist served without proper Content-Type

[extractor/generic] Detect m3u playlists served without proper Content-Type

[extractor/generic] Fix direct link semantics

[extractor/generic] Simplify upload_date extraction

[extractor/generic] Add another test for generic m3u8

[extractor/generic] Force Content-Type to lowecase

[extractor/generic] Properly extract format id from Content-Type

Fixes extraction for cases like: audio/x-mpegURL; charset=utf-8

[theplatform] Improve geo restriction detection

[once] check http formats availability

release 2016.03.18

[theplatform] remove unnecessary import

[theplatform] always force theplatform to return a smil for _extract_theplatform_smil

[noz] Fix extraction on python 2.6 by means of using compat_xpath

[utils] Use compat_xpath

[compat] Add compat_xpath

[animeondemand] Fix typo and improve

[animeondemand] Improve extraction

[animeondemand] Add test

[animeondemand] Expand episode title regex (Closes #8875)

[crunchyroll] Fix custom _download_webpage (Closes #8883)

[wistia] extract more metadata

[nbc:nbcnews] improve extraction(fixes #6922)

- extract more metadata and formats
- relax regex

[theplatform] extract brightcove once formats

[once] Add new format extractor

[youtube] Added itag 91

Seen in https://www.youtube.com/watch?v=jMN4cxyhJjk

[sbs] improve extraction(fixes #3811)

- extract error messages
- force the platform smil url(previously the manifest param
in the query is not respected which make theplatform return non working
mp4 files for some videos)

[bravotv] Add new extractor(#4657)

[utils] PEP 8

[brightcover] Remove unused import

[udemy] Improve course id v4 regex

[udemy] Update course id regex to cover v4 layout (Closes #8753, closes #8868, closes #8870)

Merge pull request #8092 from bpfoley/twitter-thumbnail

[utils] Add extract_attributes for extracting html tag attributes

[brightcove:new] extract protocol-less embed URLs(closes #2914)

[tv3] Add new extractor(closes #8059)

[brightcove] some improvements and fixes

- use FFmpeg downloader to download m3u8 formats extracted
from BrightcoveNew(some of the m3u8 media playlists use AES-128)
- update comment and update_url_query to handle url query

[thestar] Add new extractor(closes #5955)

[brightcove:new] update embed_in_page embeds regex to match non numeric ref id

[noz] fix extraction in python 2.6

[kuwo:mv] Fix the test and extraction of georestricted MVs

[aljazeera] update the extractor to use BrightcoveNewIE

[svt] extract dashhbbtv formats(#8867)

[brightcove] extract dash formats and detect audio formats

Merge pull request #8513 from remitamine/dash-sort

[extractor/common] fix dash formats sorting

[twitch:playlistbase] Clarify pagination bug

Pagination bug has been fixed by twitch on 15.03.2016.

[noz] extract f4m and m3u8 formats

[brightcove:new] detect m3u8 manifests by M2TS container