[extractor/common] Improved support for HTML5 subtitles
[youtube-dl] / ChangeLog
1 vesion <unreleased>
2
3 Core
4 + Improved support for HTML5 subtitles
5
6
7 version 2016.09.24
8
9 Core
10 + Add support for watchTVeverywhere.com authentication provider based MSOs for
11   Adobe Pass authentication (#10709)
12
13 Extractors
14 + [soundcloud:playlist] Provide video id for early playlist entries (#10733)
15 + [prosiebensat1] Add support for kabeleinsdoku (#10732)
16 * [cbs] Extract info from thunder videoPlayerService (#10728)
17 * [openload] Fix extraction (#10408)
18 + [ustream] Support the new HLS streams (#10698)
19 + [ooyala] Extract all HLS formats
20 + [cartoonnetwork] Add support for Adobe Pass authentication
21 + [soundcloud] Extract license metadata
22 + [fox] Add support for Adobe Pass authentication (#8584)
23 + [tbs] Add support for Adobe Pass authentication (#10642, #10222)
24 + [trutv] Add support for Adobe Pass authentication (#10519)
25 + [turner] Add support for Adobe Pass authentication
26
27
28 version 2016.09.19
29
30 Extractors
31 + [crunchyroll] Check if already authenticated (#10700)
32 - [twitch:stream] Remove fallback to profile extraction when stream is offline
33 * [thisav] Improve title extraction (#10682)
34 * [vyborymos] Improve station info extraction
35
36
37 version 2016.09.18
38
39 Core
40 + Introduce manifest_url and fragments fields in formats dictionary for
41   fragmented media
42 + Provide manifest_url field for DASH segments, HLS and HDS
43 + Provide fragments field for DASH segments
44 * Rework DASH segments downloader to use fragments field
45 + Add helper method for Wowza Streaming Engine formats extraction
46
47 Extractors
48 + [vyborymos] Add extractor for vybory.mos.ru (#10692)
49 + [xfileshare] Add title regular expression for streamin.to (#10646)
50 + [globo:article] Add support for multiple videos (#10653)
51 + [thisav] Recognize HTML5 videos (#10447)
52 * [jwplatform] Improve JWPlayer detection
53 + [mangomolo] Add support for Mangomolo embeds
54 + [toutv] Add support for authentication (#10669)
55 * [franceinter] Fix upload date extraction
56 * [tv4] Fix HLS and HDS formats extraction (#10659)
57
58
59 version 2016.09.15
60
61 Core
62 * Improve _hidden_inputs
63 + Introduce improved explicit Adobe Pass support
64 + Add --ap-mso to provide multiple-system operator identifier
65 + Add --ap-username to provide MSO account username
66 + Add --ap-password to provide MSO account password
67 + Add --ap-list-mso to list all supported MSOs
68 + Add support for Rogers Cable multiple-system operator (#10606)
69
70 Extractors
71 * [crunchyroll] Fix authentication (#10655)
72 * [twitch] Fix API calls (#10654, #10660)
73 + [bellmedia] Add support for more Bell Media Television sites
74 * [franceinter] Fix extraction (#10538, #2105)
75 * [kuwo] Improve error detection (#10650)
76 + [go] Add support for free full episodes (#10439)
77 * [bilibili] Fix extraction for specific videos (#10647)
78 * [nhk] Fix extraction (#10633)
79 * [kaltura] Improve audio detection
80 * [kaltura] Skip chun format
81 + [vimeo:ondemand] Pass Referer along with embed URL (#10624)
82 + [nbc] Add support for NBC Olympics (#10361)
83
84
85 version 2016.09.11.1
86
87 Extractors
88 + [tube8] Extract categories and tags (#10579)
89 + [pornhub] Extract categories and tags (#10499)
90 * [openload] Temporary fix (#10408)
91 + [foxnews] Add support Fox News articles (#10598)
92 * [viafree] Improve video id extraction (#10615)
93 * [iwara] Fix extraction after relaunch (#10462, #3215)
94 + [tfo] Add extractor for tfo.org
95 * [lrt] Fix audio extraction (#10566)
96 * [9now] Fix extraction (#10561)
97 + [canalplus] Add support for c8.fr (#10577)
98 * [newgrounds] Fix uploader extraction (#10584)
99 + [polskieradio:category] Add support for category lists (#10576)
100 + [ketnet] Add extractor for ketnet.be (#10343)
101 + [canvas] Add support for een.be (#10605)
102 + [telequebec] Add extractor for telequebec.tv (#1999)
103 * [parliamentliveuk] Fix extraction (#9137)
104
105
106 version 2016.09.08
107
108 Extractors
109 + [jwplatform] Extract height from format label
110 + [yahoo] Extract Brightcove Legacy Studio embeds (#9345)
111 * [videomore] Fix extraction (#10592)
112 * [foxgay] Fix extraction (#10480)
113 + [rmcdecouverte] Add extractor for rmcdecouverte.bfmtv.com (#9709)
114 * [gamestar] Fix metadata extraction (#10479)
115 * [puls4] Fix extraction (#10583)
116 + [cctv] Add extractor for CCTV and CNTV (#8153)
117 + [lci] Add extractor for lci.fr (#10573)
118 + [wat] Extract DASH formats
119 + [viafree] Improve video id detection (#10569)
120 + [trutv] Add extractor for trutv.com (#10519)
121 + [nick] Add support for nickelodeon.nl (#10559)
122 + [abcotvs:clips] Add support for clips.abcotvs.com
123 + [abcotvs] Add support for ABC Owned Television Stations sites (#9551)
124 + [miaopai] Add extractor for miaopai.com (#10556)
125 * [gamestar] Fix metadata extraction (#10479)
126 + [bilibili] Add support for episodes (#10190)
127 + [tvnoe] Add extractor for tvnoe.cz (#10524)
128
129
130 version 2016.09.04.1
131
132 Core
133 * In DASH downloader if the first segment fails, abort the whole download
134   process to prevent throttling (#10497)
135 + Add support for --skip-unavailable-fragments and --fragment retries in
136   hlsnative downloader (#10165, #10448).
137 + Add support for --skip-unavailable-fragments in DASH downloader
138 + Introduce --skip-unavailable-fragments option for fragment based downloaders
139   that allows to skip fragments unavailable due to a HTTP error
140 * Fix extraction of video/audio entries with src attribute in
141   _parse_html5_media_entries (#10540)
142
143 Extractors
144 * [theplatform] Relax URL regular expression (#10546)
145 * [youtube:playlist] Extend URL regular expression
146 * [rottentomatoes] Delegate extraction to internetvideoarchive extractor
147 * [internetvideoarchive] Extract all formats
148 * [pornvoisines] Fix extraction (#10469)
149 * [rottentomatoes] Fix extraction (#10467)
150 * [espn] Extend URL regular expression (#10549)
151 * [vimple] Extend URL regular expression (#10547)
152 * [youtube:watchlater] Fix extraction (#10544)
153 * [youjizz] Fix extraction (#10437)
154 + [foxnews] Add support for FoxNews Insider (#10445)
155 + [fc2] Recognize Flash player URLs (#10512)
156
157
158 version 2016.09.03
159
160 Core
161 * Restore usage of NAME attribute from EXT-X-MEDIA tag for formats codes in
162   _extract_m3u8_formats (#10522)
163 * Handle semicolon in mimetype2ext
164
165 Extractors
166 + [youtube] Add support for rental videos' previews (#10532)
167 * [youtube:playlist] Fallback to video extraction for video/playlist URLs when
168   no playlist is actually served (#10537)
169 + [drtv] Add support for dr.dk/nyheder (#10536)
170 + [facebook:plugins:video] Add extractor (#10530)
171 + [go] Add extractor for *.go.com sites
172 * [adobepass] Check for authz_token expiration (#10527)
173 * [nytimes] improve extraction
174 * [thestar] Fix extraction (#10465)
175 * [glide] Fix extraction (#10478)
176 - [exfm] Remove extractor (#10482)
177 * [youporn] Fix categories and tags extraction (#10521)
178 + [curiositystream] Add extractor for app.curiositystream.com
179 - [thvideo] Remove extractor (#10464)
180 * [movingimage] Fix for the new site name (#10466)
181 + [cbs] Add support for once formats (#10515)
182 * [limelight] Skip ism snd duplicate manifests
183 + [porncom] Extract categories and tags (#10510)
184 + [facebook] Extract timestamp (#10508)
185 + [yahoo] Extract more formats
186
187
188 version 2016.08.31
189
190 Extractors
191 * [soundcloud] Fix URL regular expression to avoid clashes with sets (#10505)
192 * [bandcamp:album] Fix title extraction (#10455)
193 * [pyvideo] Fix extraction (#10468)
194 + [ctv] Add support for tsn.ca, bnn.ca and thecomedynetwork.ca (#10016)
195 * [9c9media] Extract more metadata
196 * [9c9media] Fix multiple stacks extraction (#10016)
197 * [adultswim] Improve video info extraction (#10492)
198 * [vodplatform] Improve embed regular expression
199 - [played] Remove extractor (#10470)
200 + [tbs] Add extractor for tbs.com and tntdrama.com (#10222)
201 + [cartoonnetwork] Add extractor for cartoonnetwork.com (#10110)
202 * [adultswim] Rework in terms of turner extractor
203 * [cnn] Rework in terms of turner extractor
204 * [nba] Rework in terms of turner extractor
205 + [turner] Add base extractor for Turner Broadcasting System based sites
206 * [bilibili] Fix extraction (#10375)
207 * [openload] Fix extraction (#10408)
208
209
210 version 2016.08.28
211
212 Core
213 + Add warning message that ffmpeg doesn't support SOCKS
214 * Improve thumbnail sorting
215 + Extract formats from #EXT-X-MEDIA tags in _extract_m3u8_formats
216 * Fill IV with leading zeros for IVs shorter than 16 octets in hlsnative
217 + Add ac-3 to the list of audio codecs in parse_codecs
218
219 Extractors
220 * [periscope:user] Fix extraction (#10453)
221 * [douyutv] Fix extraction (#10153, #10318, #10444)
222 + [nhk:vod] Add extractor for www3.nhk.or.jp on demand (#4437, #10424)
223 - [trutube] Remove extractor (#10438)
224 + [usanetwork] Add extractor for usanetwork.com
225 * [crackle] Fix extraction (#10333)
226 * [spankbang] Fix description and uploader extraction (#10339)
227 * [discoverygo] Detect cable provider restricted videos (#10425)
228 + [cbc] Add support for watch.cbc.ca
229 * [kickstarter] Silent the warning for og:description (#10415)
230 * [mtvservices:embedded] Fix extraction for the new 'edge' player (#10363)
231
232
233 version 2016.08.24.1
234
235 Extractors
236 + [pluralsight] Add support for subtitles (#9681)
237
238
239 version 2016.08.24
240
241 Extractors
242 * [youtube] Fix authentication (#10392)
243 * [openload] Fix extraction (#10408)
244 + [bravotv] Add support for Adobe Pass (#10407)
245 * [bravotv] Fix clip info extraction (#10407)
246 * [eagleplatform] Improve embedded videos detection (#10409)
247 * [awaan] Fix extraction
248 * [mtvservices:embedded] Update config URL
249 + [abc:iview] Add extractor (#6148)
250
251
252 version 2016.08.22
253
254 Core
255 * Improve formats and subtitles extension auto calculation
256 + Recognize full unit names in parse_filesize
257 + Add support for m3u8 manifests in HTML5 multimedia tags
258 * Fix octal/hexadecimal number detection in js_to_json
259
260 Extractors
261 + [ivi] Add support for 720p and 1080p
262 + [charlierose] Add new extractor (#10382)
263 * [1tv] Fix extraction (#9249)
264 * [twitch] Renew authentication
265 * [kaltura] Improve subtitles extension calculation
266 + [zingmp3] Add support for video clips
267 * [zingmp3] Fix extraction (#10041)
268 * [kaltura] Improve subtitles extraction (#10279)
269 * [cultureunplugged] Fix extraction (#10330)
270 + [cnn] Add support for money.cnn.com (#2797)
271 * [cbsnews] Fix extraction (#10362)
272 * [cbs] Fix extraction (#10393)
273 + [litv] Support 'promo' URLs (#10385)
274 * [snotr] Fix extraction (#10338)
275 * [n-tv.de] Fix extraction (#10331)
276 * [globo:article] Relax URL and video id regular expressions (#10379)
277
278
279 version 2016.08.19
280
281 Core
282 - Remove output template description from --help
283 * Recognize lowercase units in parse_filesize
284
285 Extractors
286 + [porncom] Add extractor for porn.com (#2251, #10251)
287 + [generic] Add support for DBTV embeds
288 * [vk:wallpost] Fix audio extraction for new site layout
289 * [vk] Fix authentication
290 + [hgtvcom:show] Add extractor for hgtv.com shows (#10365)
291 + [discoverygo] Add support for another GO network sites
292
293
294 version 2016.08.17
295
296 Core
297 + Add _get_netrc_login_info
298
299 Extractors
300 * [mofosex] Extract all formats (#10335)
301 + [generic] Add support for vbox7 embeds
302 + [vbox7] Add support for embed URLs
303 + [viafree] Add extractor (#10358)
304 + [mtg] Add support for viafree URLs (#10358)
305 * [theplatform] Extract all subtitles per language
306 + [xvideos] Fix HLS extraction (#10356)
307 + [amcnetworks] Add extractor
308 + [bbc:playlist] Add support for pagination (#10349)
309 + [fxnetworks] Add extractor (#9462)
310 * [cbslocal] Fix extraction for SendtoNews-based videos
311 * [sendtonews] Fix extraction
312 * [jwplatform] Extract video id from JWPlayer data
313 - [zippcast] Remove extractor (#10332)
314 + [viceland] Add extractor (#8799)
315 + [adobepass] Add base extractor for Adobe Pass Authentication
316 * [life:embed] Improve extraction
317 * [vgtv] Detect geo restricted videos (#10348)
318 + [uplynk] Add extractor
319 * [xiami] Fix extraction (#10342)
320
321
322 version 2016.08.13
323
324 Core
325 * Show progress for curl external downloader
326 * Forward more options to curl external downloader
327
328 Extractors
329 * [pbs] Fix description extraction
330 * [franceculture] Fix extraction (#10324)
331 * [pornotube] Fix extraction (#10322)
332 * [4tube] Fix metadata extraction (#10321)
333 * [imgur] Fix width and height extraction (#10325)
334 * [expotv] Improve extraction
335 + [vbox7] Fix extraction (#10309)
336 - [tapely] Remove extractor (#10323)
337 * [muenchentv] Fix extraction (#10313)
338 + [24video] Add support for .me and .xxx TLDs
339 * [24video] Fix comment count extraction
340 * [sunporno] Add support for embed URLs
341 * [sunporno] Fix metadata extraction (#10316)
342 + [hgtv] Add extractor for hgtv.ca (#3999)
343 - [pbs] Remove request to unavailable API
344 + [pbs] Add support for high quality HTTP formats
345 + [crunchyroll] Add support for HLS formats (#10301)
346
347
348 version 2016.08.12
349
350 Core
351 * Subtitles are now written as is. Newline conversions are disabled. (#10268)
352 + Recognize more formats in unified_timestamp
353
354 Extractors
355 - [goldenmoustache] Remove extractor (#10298)
356 * [drtuber] Improve title extraction
357 * [drtuber] Make dislike count optional (#10297)
358 * [chirbit] Fix extraction (#10296)
359 * [francetvinfo] Relax URL regular expression
360 * [rtlnl] Relax URL regular expression (#10282)
361 * [formula1] Relax URL regular expression (#10283)
362 * [wat] Improve extraction (#10281)
363 * [ctsnews] Fix extraction
364
365
366 version 2016.08.10
367
368 Core
369 * Make --metadata-from-title non fatal when title does not match the pattern
370 * Introduce options for randomized sleep before each download
371   --min-sleep-interval and --max-sleep-interval (#9930)
372 * Respect default in _search_json_ld
373
374 Extractors
375 + [uol] Add extractor for uol.com.br (#4263)
376 * [rbmaradio] Fix extraction and extract all formats (#10242)
377 + [sonyliv] Add extractor for sonyliv.com (#10258)
378 * [aparat] Fix extraction
379 * [cwtv] Extract HTTP formats
380 + [rozhlas] Add extractor for prehravac.rozhlas.cz (#10253)
381 * [kuwo:singer] Fix extraction
382
383
384 version 2016.08.07
385
386 Core
387 + Add support for TV Parental Guidelines ratings in parse_age_limit
388 + Add decode_png (#9706)
389 + Add support for partOfTVSeries in JSON-LD
390 * Lower master M3U8 manifest preference for better format sorting
391
392 Extractors
393 + [discoverygo] Add extractor (#10245)
394 * [flipagram] Make JSON-LD extraction non fatal
395 * [generic] Make JSON-LD extraction non fatal
396 + [bbc] Add support for morph embeds (#10239)
397 * [tnaflixnetworkbase] Improve title extraction
398 * [tnaflix] Fix metadata extraction (#10249)
399 * [fox] Fix theplatform release URL query
400 * [openload] Fix extraction (#9706)
401 * [bbc] Skip duplicate manifest URLs
402 * [bbc] Improve format code
403 + [bbc] Add support for DASH and F4M
404 * [bbc] Improve format sorting and listing
405 * [bbc] Improve playlist extraction
406 + [pokemon] Add extractor (#10093)
407 + [condenast] Add fallback scenario for video info extraction
408
409
410 version 2016.08.06
411
412 Core
413 * Add support for JSON-LD root list entries (#10203)
414 * Improve unified_timestamp
415 * Lower preference of RTSP formats in generic sorting
416 + Add support for multiple properties in _og_search_property
417 * Improve password hiding from verbose output
418
419 Extractors
420 + [adultswim] Add support for trailers (#10235)
421 * [archiveorg] Improve extraction (#10219)
422 + [jwplatform] Add support for playlists
423 + [jwplatform] Add support for relative URLs
424 * [jwplatform] Improve audio detection
425 + [tvplay] Capture and output native error message
426 + [tvplay] Extract series metadata
427 + [tvplay] Add support for subtitles (#10194)
428 * [tvp] Improve extraction (#7799)
429 * [cbslocal] Fix timestamp parsing (#10213)
430 + [naver] Add support for subtitles (#8096)
431 * [naver] Improve extraction
432 * [condenast] Improve extraction
433 * [engadget] Relax URL regular expression
434 * [5min] Fix extraction
435 + [nationalgeographic] Add support for Episode Guide
436 + [kaltura] Add support for subtitles
437 * [kaltura] Optimize network requests
438 + [vodplatform] Add extractor for vod-platform.net
439 - [gamekings] Remove extractor
440 * [limelight] Extract HTTP formats
441 * [ntvru] Fix extraction
442 + [comedycentral] Re-add :tds and :thedailyshow shortnames
443
444
445 version 2016.08.01
446
447 Fixed/improved extractors
448 - [yandexmusic:track] Adapt to changes in track location JSON (#10193)
449 - [bloomberg] Support another form of player (#10187)
450 - [limelight] Skip DRM protected videos
451 - [safari] Relax regular expressions for URL matching (#10202)
452 - [cwtv] Add support for cwtvpr.com (#10196)
453
454
455 version 2016.07.30
456
457 Fixed/improved extractors
458 - [twitch:clips] Sort formats
459 - [tv2] Use m3u8_native
460 - [tv2:article] Fix video detection (#10188)
461 - rtve (#10076)
462 - [dailymotion:playlist] Optimize download archive processing (#10180)
463
464
465 version 2016.07.28
466
467 Fixed/improved extractors
468 - shared (#10170)
469 - soundcloud (#10179)
470 - twitch (#9767)
471
472
473 version 2016.07.26.2
474
475 Fixed/improved extractors
476 - smotri
477 - camdemy
478 - mtv
479 - comedycentral
480 - cmt
481 - cbc
482 - mgtv
483 - orf
484
485
486 version 2016.07.24
487
488 New extractors
489 - arkena (#8682)
490 - lcp (#8682)
491
492 Fixed/improved extractors
493 - facebook (#10151)
494 - dailymail
495 - telegraaf
496 - dcn
497 - onet
498 - tvp
499
500 Miscellaneous
501 - Support $Time$ in DASH manifests
502
503
504 version 2016.07.22
505
506 New extractors
507 - odatv (#9285)
508
509 Fixed/improved extractors
510 - bbc
511 - youjizz (#10131)
512 - youtube (#10140)
513 - pornhub (#10138)
514 - eporner (#10139)
515
516
517 version 2016.07.17
518
519 New extractors
520 - nintendo (#9986)
521 - streamable (#9122)
522
523 Fixed/improved extractors
524 - ard (#10095)
525 - mtv
526 - comedycentral (#10101)
527 - viki (#10098)
528 - spike (#10106)
529
530 Miscellaneous
531 - Improved twitter player detection (#10090)
532
533
534 version 2016.07.16
535
536 New extractors
537 - ninenow (#5181)
538
539 Fixed/improved extractors
540 - rtve (#10076)
541 - brightcove
542 - 3qsdn
543 - syfy (#9087, #3820, #2388)
544 - youtube (#10083)
545
546 Miscellaneous
547 - Fix subtitle embedding for video-only and audio-only files (#10081)
548
549
550 version 2016.07.13
551
552 New extractors
553 - rudo
554
555 Fixed/improved extractors
556 - biobiochiletv
557 - tvplay
558 - dbtv
559 - brightcove
560 - tmz
561 - youtube (#10059)
562 - shahid (#10062)
563 - vk
564 - ellentv (#10067)
565
566
567 version 2016.07.11
568
569 New Extractors
570 - roosterteeth (#9864)
571
572 Fixed/improved extractors
573 - miomio (#9605)
574 - vuclip
575 - youtube
576 - vidzi (#10058)
577
578
579 version 2016.07.09.2
580
581 Fixed/improved extractors
582 - vimeo (#1638)
583 - facebook (#10048)
584 - lynda (#10047)
585 - animeondemand
586
587 Fixed/improved features
588 - Embedding subtitles no longer throws an error with problematic inputs (#9063)
589
590
591 version 2016.07.09.1
592
593 Fixed/improved extractors
594 - youtube
595 - ard
596 - srmediatek (#9373)
597
598
599 version 2016.07.09
600
601 New extractors
602 - Flipagram (#9898)
603
604 Fixed/improved extractors
605 - telecinco
606 - toutv
607 - radiocanada
608 - tweakers (#9516)
609 - lynda
610 - nick (#7542)
611 - polskieradio (#10028)
612 - le
613 - facebook (#9851)
614 - mgtv
615 - animeondemand (#10031)
616
617 Fixed/improved features
618 - `--postprocessor-args` and `--downloader-args` now accepts non-ASCII inputs
619   on non-Windows systems
620
621
622 version 2016.07.07
623
624 New extractors
625 - kamcord (#10001)
626
627 Fixed/improved extractors
628 - spiegel (#10018)
629 - metacafe (#8539, #3253)
630 - onet (#9950)
631 - francetv (#9955)
632 - brightcove (#9965)
633 - daum (#9972)
634
635
636 version 2016.07.06
637
638 Fixed/improved extractors
639 - youtube (#10007, #10009)
640 - xuite
641 - stitcher
642 - spiegel
643 - slideshare
644 - sandia
645 - rtvnh
646 - prosiebensat1
647 - onionstudios
648
649
650 version 2016.07.05
651
652 Fixed/improved extractors
653 - brightcove
654 - yahoo (#9995)
655 - pornhub (#9997)
656 - iqiyi
657 - kaltura (#5557)
658 - la7
659 - Changed features
660 - Rename --cn-verfication-proxy to --geo-verification-proxy
661 Miscellaneous
662 - Add script for displaying downloads statistics
663
664
665 version 2016.07.03.1
666
667 Fixed/improved extractors
668 - theplatform
669 - aenetworks
670 - nationalgeographic
671 - hrti (#9482)
672 - facebook (#5701)
673 - buzzfeed (#5701)
674 - rai (#8617, #9157, #9232, #8552, #8551)
675 - nationalgeographic (#9991)
676 - iqiyi
677
678
679 version 2016.07.03
680
681 New extractors
682 - hrti (#9482)
683
684 Fixed/improved extractors
685 - vk (#9981)
686 - facebook (#9938)
687 - xtube (#9953, #9961)
688
689
690 version 2016.07.02
691
692 New extractors
693 - fusion (#9958)
694
695 Fixed/improved extractors
696 - twitch (#9975)
697 - vine (#9970)
698 - periscope (#9967)
699 - pornhub (#8696)
700
701
702 version 2016.07.01
703
704 New extractors
705 - 9c9media
706 - ctvnews (#2156)
707 - ctv (#4077)
708
709 Fixed/Improved extractors
710 - rds
711 - meta (#8789)
712 - pornhub (#9964)
713 - sixplay (#2183)
714
715 New features
716 - Accept quoted strings across multiple lines (#9940)