test: extend the reach of info_dict checking

* print the info_dict in a format suitable to easy adding to tests.json during tests if un-tested fields are detected
* make it possible to put the crc32 in tests.json if the field is too long
* complete the "info_dict" fields in existing tests
* fixed the bugs catched doing this

_html_search_regex with clean_html superpowers

do not ask the user to report network errors

print "please report this issue on GitHub" on every ExtractorError

XHamster: Can't see the description anywhere in the UI

use search_regex in new IEs

raise exceptions on warnings during tests - and solve a couple of them

print WARNINGs during test + minor fix to NBAIE

implement fallbacks and defaults in _search_regex

Implement search_regex from #847

style and error handling edits to HypemIE

added HypemIE

rebased, closes PR #871

Merge pull request #866 from yasoob/master

Added support for XHamster - closes #841

Merge pull request #863 from davidcl/master

Add some tests to match Justin.tv / Twitch.tv URLs

SpiegelE: the page layout has changed a bit

Merge pull request #864 from jacobian/vimeopro

Fixed an error downloading vimeo pro videos.

Added test for XHamster.com

Added support for xhamster in infoextractors

Fix the test_all_urls (Import issue)

Merge within test_all_urls

VimeoIE: support videos from vimeopro.com

Fixed an error downloading vimeo pro videos.

Add tests for justin.tv and twitch.tv

Merge pull request #854 from rg3/youtube_automatic_captions

YoutubeIE: fallback to automatic captions when subtitles aren't found

YoutubeIE: fallback to automatic captions when subtitles aren't found (closes #843)

Also modify test_youtube_subtitles to support running the tests in any order.

BlipTV: accept urls in the format http://a.blip.tv/api.swf#{id} (closes #857)

Tweak the regex so that BlipTV can be before BlipTVUser.

release 2013.05.23

Fix HowCast IE

small tweaks

Add TeamcocoIE (closes #212)

add support for Flickr videos - closes #261

Python 2 compat fixes for MyVideo.de rtmpdump downloads

make rtmpdump inherit the verbose option for debugging

Merge pull request #842 - myvideo, rtmp support

@dersphere code, from dersphere/plugin.video.myvideo_de.git
rewritten by @mc2avr
released in the Public Domain by the author
ref: https://github.com/rg3/youtube-dl/pull/842

HowcastIE: extract thumbnail

VineIE: extract more information and minor style changes

Add support for Vine - closes #845

Add support for Howcast.com - closes #835

UstreamIE: get thumbnail and uploader name

MyVideoIE: add rtmp support

Add extra_info argument to extract_info and process_ie_result

It allows to update the info_dicts with other values

(closes #840)

Throw a better error if the protocol is invalid

Simplify generic search IE (Closes #839)

Merge remote-tracking branch 'jaimeMF/SearchIE'

Add base class SearchInfoExtractor for search queries IEs

release 2013.05.14

Merge pull request #834 from chocolateboy/install_prefix_fix

only install to /etc if PREFIX is /usr or /usr/local

release 2013.05.13

Do not re-encode / to # if / is a platform separator, and correctly handle permission errors (Fixes #831)

Deprecate --only-sub

Remove a print call used for debugging

YoutubeSearchIE: return a playlist (related #838)

FFmpegPostProcessor: decode stderr first and then get the last line (closes #837)

GoogleSearchIE: change query urls to http://www.google.com/search

The old one was given HTTP 404 errors

Fix YahooSearchIE: (closes #300)

YahooIE: support more videos

YahooIE: remove old code and accept screen.yahoo.com videos (#300)

Videos require rtmpdump

only install to /etc if PREFIX is /usr or /usr/local

Merge remote-tracking branch 'origin/master'

Skip bandcamp tests for now - free limit has been exceeded

Import FileDownloader in test_youtube_subtitles

Fix last commit

test_youtube_subtitles: FakeDownloader inherits form FileDownloader

Merge pull request #826 from jakeogh/master

Added --get-id option to print video IDs

release 2013.05.10

Retry to disable YT ratelimit to unlock full bandwidth

This is the second attempt: a60b854d9099e5a286accf8065d1dc9e00a4bfe6
Sometimes the ratelimit=yes is already in the URL, and doubling it
leads to a 403. Now should work on all videos, at least works on all
I could test.

Closes #648

added --get-id option to print video IDs

GoogleSearchIE: rename _download_n_results to _get_n_results

Credit @JohnyMoSwag for WorldstarhiphopIE (#730)

Credit @julienfr112 for Ina IE (#823)

release 2013.05.07

release 2013.05.06

Clean up InaIE (Closes #823)

Add support to www.ina.fr

Merge remote-tracking branch 'origin/master'

Conflicts:
youtube_dl/InfoExtractors.py

Fix GoogleSearchIE (Fixes #822)

FileDownloader: Simplify and document

More callbacks changed to raise ExtractorError

PhotobucketIE: accept new format of urls and add a test

ArteTvIE: Fix format of upload date

More callbacks changed to raise ExtractorError

Merge pull request #802 from joeframbach/master

If path and new_path are the same, then dont delete the file

release 2013.05.05

Add --no-check-certificate (#814)

twitch.tv chapters (#810): print out start and end time

twitch.tv chapters: Include uploader (#810)

twitch.tv chapters: Use API for title and other metadata

Improve Twitch.tv chapter support (#810)

Work on twitch.tv chapters (#810)

Experimentally whitelist Escapist test

raise ExtractorError instead of calling back

Simplify WorldStarHipHop

Better fix for getting source url's

updated regular experssion for possible future updates to source url

Always use HTTPS for youtube (Fixes #691)

release 2013.05.04

Work around a Python bug on Windows with UTF-8 configuration (#820)

Fix comedycentral: newest

Credit @yasoob for IE

Simplify RedTube

Moved redtube info extractor to the end