Merge branch 'srgssr' of https://github.com/remitamine/youtube-dl into remitamine-srgssr

Merge branch 'daum' of https://github.com/remitamine/youtube-dl into remitamine-daum

[franceculture] Add extractor for '/emission-*' urls (closes #3777, closes #8022)

[franceculture] Fix test

Simplify formats accumulation for f4m/m3u8/smil formats

Now all _extract_*_formats routines return a list

Merge pull request #7769 from remitamine/sort

[common] lower (m3u8,rtmp,rtsp) format preference only if required program is not available

[common] use specific variable for protocol preference in _sort_formats

Merge pull request #8023 from remitamine/extract-formats

[common] simplify the use of _extract_m3u8_formats and _extract_f4m_formats

Merge branch 'zdf'(fixes #8024)

[zdf] fix formats extraction

[facebook] Fix authentication

[facebook] Extract login error

[cspan] Fix extraction (fixes #8032)

[cspan] Initialize 'video_type' to avoid 'UnboundLocalError' exceptions (#8032)

Merge branch 'dcn' of github.com:remitamine/youtube-dl into remitamine-dcn

[dcn] make m3u8 formats extraction non fatal

[tunein] add support for tunein topic,clip and program(fixes #7348)

[utils] Remove Content-encoding from headers after decompression

With cn_verification_proxy, our http_response() is called twice, one from
PerRequestProxyHandler.proxy_open() and another from normal
YoutubeDL.urlopen(). As a result, for proxies honoring Accept-Encoding, the
following bug occurs:

$ youtube-dl -vs --cn-verification-proxy https://secure.uku.im:993 "test:letv"
[debug] System config: []
[debug] User config: []
[debug] Command-line args: ['-vs', '--cn-verification-proxy', 'https://secure.uku.im:993', 'test:letv']
[debug] Encodings: locale UTF-8, fs utf-8, out UTF-8, pref UTF-8
[debug] youtube-dl version 2015.12.23
[debug] Git HEAD: 97f18fa
[debug] Python version 3.5.1 - Linux-4.3.3-1-ARCH-x86_64-with-arch-Arch-Linux
[debug] exe versions: ffmpeg 2.8.4, ffprobe 2.8.4, rtmpdump 2.4
[debug] Proxy map: {}
[TestURL] Test URL: http://www.letv.com/ptv/vplay/22005890.html
[Letv] 22005890: Downloading webpage
[Letv] 22005890: Downloading playJson data
ERROR: Unable to download JSON metadata: Not a gzipped file (b'{"') (caused by OSError('Not a gzipped file (b\'{"\')',)); please report this issue on https://yt-dl.org/bug . Make sure you are using the latest version; see  https://yt-dl.org/update  on how to update. Be sure to call youtube-dl with the --verbose flag and include its complete output.
  File "/home/yen/Executables/Multimedia/youtube-dl/youtube_dl/extractor/common.py", line 330, in _request_webpage
    return self._downloader.urlopen(url_or_request)
  File "/home/yen/Executables/Multimedia/youtube-dl/youtube_dl/YoutubeDL.py", line 1886, in urlopen
    return self._opener.open(req, timeout=self._socket_timeout)
  File "/usr/lib/python3.5/urllib/request.py", line 471, in open
    response = meth(req, response)
  File "/home/yen/Executables/Multimedia/youtube-dl/youtube_dl/utils.py", line 773, in http_response
    raise original_ioerror
  File "/home/yen/Executables/Multimedia/youtube-dl/youtube_dl/utils.py", line 761, in http_response
    uncompressed = io.BytesIO(gz.read())
  File "/usr/lib/python3.5/gzip.py", line 274, in read
    return self._buffer.read(size)
  File "/usr/lib/python3.5/gzip.py", line 461, in read
    if not self._read_gzip_header():
  File "/usr/lib/python3.5/gzip.py", line 409, in _read_gzip_header
    raise OSError('Not a gzipped file (%r)' % magic)

[vgtv] fix f4m downloading(fixes #7843)

[livestream] change test url

[iqiyi] Add tests for #7894

[iqiyi]fix valid url

eg:
http://yule.iqiyi.com/zbj.html

Update iqiyi.py

Fix part of the address can not be resolved.
eg:http://www.iqiyi.com/w_19rt6o8t9p.html

[jwplatform] Carry long line

[viki] Fix typo

[rai] Fix typos

[jwplatform] Fix typo

[esri] Fix typo

[abc7news] Remove redundant formats sorting

[common] simplify the use of _extract_m3u8_formats and _extract_f4m_formats

Merge branch 'master' of github.com:rg3/youtube-dl

[livestream] skip m3u8 manifest in progressive_urls

Merge branch 'master' of github.com:rg3/youtube-dl

[sportdeutschland] Do not abort if meta info is missing

This fixes http://sportdeutschland.tv/badminton/yonex-copenhagen-masters-2015 . No testcase though since the event will be over by 2016.

Merge pull request #7892 from remitamine/livestream

[livestream] improve extraction(fixes #2133)(fixes #2838)(fixes #4152)(fixes #6988)

[livestream] improve extraction

- split long lines
- use m3u8 entry protocol for live streams
- extend _VALID_URL regex for livestream original
- extract livestream original live streams

Merge pull request #7851 from remitamine/kaltura

[kaltura] extract more formats

[kaltura] add referrer to m3u8 url

[dcn] improve extraction

[lrt] Extract counters

[lrt] Improve

[lrt] fix the rest of extractor

Closes #7690.

[lrt] fix duration parsing

[ign] flake8

Merge pull request #7045 from remitamine/ign

[ign] add support for pcmag and extract all formats and more metadata(fixes #5335)(fixes #7006)

[srmediathek] improve extraction

[rutv] Fix extraction (Closes #8004)

[rai] improve extraction

[hotstar] Add new extractor

[zdf:channel] Add more tests

[zdf:channel] Relax _VALID_URL

[zdf] expand valid-url pattern for channels

The webpage also creates URLs which include additional text that defines
the sorting order on the page like "aktuellste" (most current) and
"meist-gesehen" (most seen), e.g.:

http://www.zdf.de/ZDFmediathek/kanaluebersicht/aktuellste/332
http://www.zdf.de/ZDFmediathek/kanaluebersicht/meist-gesehen/332

[chaturbate] Improve error extraction (Closes #7989)

[theintercept] improve extraction

Merge branch 'theintercept' of https://github.com/bit/youtube-dl into bit-theintercept

Merge pull request #7969 from jwilk/spelling

Fix typos

Fix typos

[pbs] Extend PBS station regex (Closes #7964)

[arte] Prefer json URLs that contain the video id from the 'vid' parameter in the URL (fixes #7920)

[appletrailers] skip clips with empty url

[instagram:user] Improve _VALID_URL (Closes #7955)

[24video] Fix test

[24video] Fix extraction on python 2.6

[24video] Fix extraction (Closes #7956)

[appletrailers] Improve regex for fixing '<img>' tags (#7953)

release 2015.12.23

[appletrailers] Add support for AppleTrailers Section

[daum] Add test for #7949

[daum] Fix extraction (Closes #7949)

[periscope] Fix token based extraction (Closes #7943)

[comcarcoff] Extract duration

[comcarcoff] Improve json data regex and modernize

Merge pull request #7942 from ausbin/comcarcoff-json-fix

[comcarcoff] adjust for json updates

[imgur] Improve (Closes #7928)

Improve extraction (Closes #7918)

remove outer parentheses in if

Conflicts:
youtube_dl/extractor/imgur.py

checked code with flake8

not returning list in case of single images.

using the fact that id with length 5 are albums and more are single videos.
Also for single videos ie ImgurIE both urls - http://imgur.com/gallery/oWeAMW2 and http://imgur.com/oWeAMW2 are equally fine. Change regex to allow thuis.
For albums urls - http://imgur.com/gallery/Q95ko and http://imgur.com/Q95ko are ok. Change regex to allow this also.

update description in ImgurIE Tests.
Also move single video test 'https://imgur.com/gallery/YcAQlkx' from ImgurAlbumIE to ImgurIE.

Merge pull request #7322 from remitamine/vgtv

[vgtv] extract videos from FTV, Aftenposten, Aftonbladet using VGTVIE

[vgtv] update tests and correct format sorting

[theintercept] Add new extractor

[franceinter] use _match_id

[franceinter] fix title extraction

[bleacherreport] update test

[viki] detect errors and fix formats extraction

[soompi] remove extractor

http://tv.soompi.com now redirect to viki.com because Viki has acquired
Soompi
http://www.soompi.com/2015/08/19/we-got-married-soompi-joins-viki/

[comcarcoff] adjust for json updates

[audimedia] correct test case id

[flickr] fix format sorting

[br] add support for br-klassik.de and improve extraction

- extend _VALID_URL to match both br.de and br-klassik.de
- extract all formats(hls,hds and rtmp)
- use xpath_element and xpath_text for xml info extraction

[audiomack] Fix typo (Closes #7936)

[adultswim] update test

[test_subtitles] remove BlipTV test

[atresplayer] improve extraction

- select hashlib.md5 constructor as digestmod(in python 3.4+ MD5 as
implicit default digest for digestmod is deprecated.)
- extract hls formats
- update tests
- extract errors

[abc] detect expired state and update tests

release 2015.12.21

Merge branch 'bleacherreport' of github.com:remitamine/youtube-dl into remitamine-bleacherreport

[bleacherreport] fix style issues and simplify

Merge branch 'bliptv' of github.com:remitamine/youtube-dl into remitamine-bliptv

[makertv] improve extraction

Merge branch 'googledrive' of github.com:remitamine/youtube-dl into remitamine-googledrive

[googledrive] Modernize

Merge branch 'flickr' of github.com:remitamine/youtube-dl into remitamine-flickr