Merge pull request #1376 from jurvis/jurvis/persist-networkgraph
[rust-lightning] / CHANGELOG.md
1 # 0.0.105 - 2022-02-28
2
3 ## API Updates
4  * `Phantom node` payments are now supported, allowing receipt of a payment on
5    any one of multiple nodes without any coordination across the nodes being
6    required. See the new `PhantomKeysManager`'s docs for more, as well as
7    requirements on `KeysInterface::get_inbound_payment_key_material` and
8    `lightning_invoice::utils::create_phantom_invoice` (#1199).
9  * In order to support phantom node payments, several `KeysInterface` methods
10    now accept a `Recipient` parameter to select between the local `node_id` and
11    a phantom-specific one.
12  * `ProbabilisticScorer`, a `Score` based on learning the current balances of
13    channels in the network, was added. It attempts to better capture payment
14    success probability than the existing `Scorer`, though may underperform on
15    nodes with low payment volume. We welcome feedback on performance (#1227).
16  * `Score::channel_penalty_msat` now always takes the channel value, instead of
17    an `Option` (#1227).
18  * `UserConfig::manually_accept_inbound_channels` was added which, when set,
19    generates a new `Event::OpenChannelRequest`, which allows manual acceptance
20    or rejection of incoming channels on a per-channel basis (#1281).
21  * `Payee` has been renamed to `PaymentParameters` (#1271).
22  * `PaymentParameters` now has a `max_total_cltv_expiry_delta` field. This
23    defaults to 1008 and limits the maximum amount of time an HTLC can be pending
24    before it will either fail or be claimed (#1234).
25  * The `lightning-invoice` crate now supports no-std environments. This required
26    numerous API changes around timestamp handling and std+no-std versions of
27    several methods that previously assumed knowledge of the time (#1223, #1230).
28  * `lightning-invoice` now supports parsing invoices with expiry times of more
29    than one year. This required changing the semantics of `ExpiryTime` (#1273).
30  * The `CounterpartyCommitmentSecrets` is now public, allowing external uses of
31    the `BOLT 3` secret storage scheme (#1299).
32  * Several `Sign` methods now receive HTLC preimages as proof of state
33    transition, see new documentation for more (#1251).
34  * `KeysInterface::sign_invoice` now provides the HRP and other invoice data
35    separately to make it simpler for external signers to parse (#1272).
36  * `Sign::sign_channel_announcement` now returns both the node's signature and
37    the per-channel signature. `InMemorySigner` now requires the node's secret
38    key in order to implement this (#1179).
39  * `ChannelManager` deserialization will now fail if the `KeysInterface` used
40    has a different `node_id` than the `ChannelManager` expects (#1250).
41  * A new `ErrorAction` variant was added to send `warning` messages (#1013).
42  * Several references to `chain::Listen` objects in `lightning-block-sync` no
43    longer require a mutable reference (#1304).
44
45 ## Bug Fixes
46  * Fixed a regression introduced in 0.0.104 where `ChannelManager`'s internal
47    locks could have an order violation leading to a deadlock (#1238).
48  * Fixed cases where slow code (including user I/O) could cause us to
49    disconnect peers with ping timeouts in `BackgroundProcessor` (#1269).
50  * Now persist the `ChannelManager` prior to `BackgroundProcessor` stopping,
51    preventing race conditions where channels are closed on startup even with a
52    clean shutdown. This requires that users stop network processing and
53    disconnect peers prior to `BackgroundProcessor` shutdown (#1253).
54  * Fields in `ChannelHandshakeLimits` provided via the `override_config` to
55    `create_channel` are now applied instead of the default config (#1292).
56  * Fixed the generation of documentation on docs.rs to include API surfaces
57    which are hidden behind feature flags (#1303).
58  * Added the `channel_type` field to `accept_channel` messages we send, which
59    may avoid some future compatibility issues with other nodes (#1314).
60  * Fixed a bug where, if a previous LDK run using `lightning-persister` crashed
61    while persisting updated data, we may have failed to initialize (#1332).
62  * Fixed a rare bug where having both pending inbound and outbound HTLCs on a
63    just-opened inbound channel could cause `ChannelDetails::balance_msat` to
64    underflow and be reported as large, or cause panics in debug mode (#1268).
65  * Moved more instances of verbose gossip logging from the `Trace` level to the
66    `Gossip` level (#1220).
67  * Delayed `announcement_signatures` until the channel has six confirmations,
68    slightly improving propagation of channel announcements (#1179).
69  * Several fixes in script and transaction weight calculations when anchor
70    outputs are enabled (#1229).
71
72 ## Serialization Compatibility
73  * Using `ChannelManager` data written by versions prior to 0.0.105 will result
74    in preimages for HTLCs that were pending at startup to be missing in calls
75    to `KeysInterface` methods (#1251).
76  * Any phantom invoice payments received on a node that is not upgraded to
77    0.0.105 will fail with an "unknown channel" error. Further, downgrading to
78    0.0.104 or before and then upgrading again will invalidate existing phantom
79    SCIDs which may be included in invoices (#1199).
80
81 ## Security
82 0.0.105 fixes two denial-of-service vulnerabilities which may be reachable from
83 untrusted input in certain application designs.
84
85  * Route calculation spuriously panics when a routing decision is made for a
86    path where the second-to-last hop is a private channel, included due to a
87    multi-hop route hint in an invoice.
88  * `ChannelMonitor::get_claimable_balances` spuriously panics in some scenarios
89    when the LDK application's local commitment transaction is confirmed while
90    HTLCs are still pending resolution.
91
92 In total, this release features 109 files changed, 7270 insertions, 2131
93 deletions in 108 commits from 15 authors, in alphabetical order:
94  * Conor Okus
95  * Devrandom
96  * Elias Rohrer
97  * Jeffrey Czyz
98  * Jurvis Tan
99  * Ken Sedgwick
100  * Matt Corallo
101  * Naveen
102  * Tibo-lg
103  * Valentine Wallace
104  * Viktor Tigerström
105  * dependabot[bot]
106  * hackerrdave
107  * naveen
108  * vss96
109
110
111 # 0.0.104 - 2021-12-17
112
113 ## API Updates
114  * A `PaymentFailed` event is now provided to indicate a payment has failed
115    fully. This event is generated either after
116    `ChannelManager::abandon_payment` is called for a given payment, or the
117    payment times out, and there are no further pending HTLCs for the payment.
118    This event should be used to detect payment failure instead of
119    `PaymentPathFailed::all_paths_failed`, unless no payment retries occur via
120    `ChannelManager::retry_payment` (#1202).
121  * Payment secrets are now generated deterministically using material from
122    the new `KeysInterface::get_inbound_payment_key_material` (#1177).
123  * A `PaymentPathSuccessful` event has been added to ease passing success info
124    to a scorer, along with a `Score::payment_path_successful` method to accept
125    such info (#1178, #1197).
126  * `Score::channel_penalty_msat` has additional arguments describing the
127    channel's capacity and the HTLC amount being sent over the channel (#1166).
128  * A new log level `Gossip` has been added, which is used for verbose
129    information generated during network graph sync. Enabling the
130    `max_level_trace` feature or ignoring `Gossip` log entries reduces log
131    growth during initial start up from many GiB to several MiB (#1145).
132  * The `allow_wallclock_use` feature has been removed in favor of only using
133    the `std` and `no-std` features (#1212).
134  * `NetworkGraph` can now remove channels that we haven't heard updates for in
135    two weeks with `NetworkGraph::remove_stale_channels{,with_time}`. The first
136    is called automatically if a `NetGraphMsgHandler` is passed to
137    `BackgroundProcessor::start` (#1212).
138  * `InvoicePayer::pay_pubkey` was added to enable sending "keysend" payments to
139    supported recipients, using the `InvoicePayer` to handle retires (#1160).
140  * `user_payment_id` has been removed from `PaymentPurpose`, and
141    `ChannelManager::create_inbound_payment{,_for_hash}` (#1180).
142  * Updated documentation for several `ChannelManager` functions to remove stale
143    references to panics which no longer occur (#1201).
144  * The `Score` and `LockableScore` objects have moved into the
145    `routing::scoring` module instead of being in the `routing` module (#1166).
146  * The `Time` parameter to `ScorerWithTime` is no longer longer exposed,
147    instead being fixed based on the `std`/`no-std` feature (#1184).
148  * `ChannelDetails::balance_msat` was added to fetch a channel's balance
149    without subtracting the reserve values, lining up with on-chain claim amounts
150    less on-chain fees (#1203).
151  * An explicit `UserConfig::accept_inbound_channels` flag is now provided,
152    removing the need to set `min_funding_satoshis` to > 21 million BTC (#1173).
153  * Inbound channels that fail to see the funding transaction confirm within
154    2016 blocks are automatically force-closed with
155    `ClosureReason::FundingTimedOut` (#1083).
156  * We now accept a channel_reserve value of 0 from counterparties, as it is
157    insecure for our counterparty but not us (#1163).
158  * `NetAddress::OnionV2` parsing was removed as version 2 onion services are no
159    longer supported in modern Tor (#1204).
160  * Generation and signing of anchor outputs is now supported in the
161    `KeysInterface`, though no support for them exists in the channel itself (#1176)
162
163 ## Bug Fixes
164  * Fixed a race condition in `InvoicePayer` where paths may be retried after
165    the retry count has been exceeded. In this case the
166    `Event::PaymentPathFailed::all_paths_failed` field is not a reliable payment
167    failure indicator. There was no acceptable alternative indicator,
168    `Event::PaymentFailed` as been added to provide one (#1202).
169  * Reduced the blocks-before-timeout we expect of outgoing HTLCs before
170    refusing to forward. This check was overly strict and resulted in refusing
171    to forward som HTLCs to a next hop that had a lower security threshold than
172    us (#1119).
173  * LDK no longer attempt to update the channel fee for outbound channels when
174    we cannot afford the new fee. This could have caused force-closure by our
175    channel counterparty (#1054).
176  * Fixed several bugs which may have prevented the reliable broadcast of our
177    own channel announcements and updates (#1169).
178  * Fixed a rare bug which may have resulted in spurious route finding failures
179    when using last-hop hints and MPP with large value payments (#1168).
180  * `KeysManager::spend_spendable_outputs` no longer adds a change output that
181    is below the dust threshold for non-standard change scripts (#1131).
182  * Fixed a minor memory leak when attempting to send a payment that fails due
183    to an error when updating the `ChannelMonitor` (#1143).
184  * Fixed a bug where a `FeeEstimator` that returns values rounded to the next
185    sat/vbyte may result in force-closures (#1208).
186  * Handle MPP timeout HTLC error codes, instead of considering the recipient to
187    have sent an invalid error, removing them from the network graph (#1148)
188
189 ## Serialization Compatibility
190  * All above new events/fields are ignored by prior clients. All above new
191    events/fields are not present when reading objects serialized by prior
192    versions of the library.
193  * Payment secrets are now generated deterministically. This reduces the memory
194    footprint for inbound payments, however, newly-generated inbound payments
195    using `ChannelManager::create_inbound_payment{,_for_hash}` will not be
196    receivable using versions prior to 0.0.104.
197    `ChannelManager::create_inbound_payment{,_for_hash}_legacy` are provided for
198    backwards compatibility (#1177).
199  * `PaymentPurpose::InvoicePayment::user_payment_id` will be 0 when reading
200    objects written with 0.0.104 when read by 0.0.103 and previous (#1180).
201
202 In total, this release features 51 files changed, 5356 insertions, 2238
203 deletions in 107 commits from 9 authors, in alphabetical order:
204  * Antoine Riard
205  * Conor Okus
206  * Devrandom
207  * Duncan Dean
208  * Elias Rohrer
209  * Jeffrey Czyz
210  * Ken Sedgwick
211  * Matt Corallo
212  * Valentine Wallace
213
214
215 # 0.0.103 - 2021-11-02
216
217 ## API Updates
218  * This release is almost entirely focused on a new API in the
219    `lightning-invoice` crate - the `InvoicePayer`. `InvoicePayer` is a
220    struct which takes a reference to a `ChannelManager` and a `Router`
221    and retries payments as paths fail. It limits retries to a configurable
222    number, but is not serialized to disk and may retry additional times across
223    a serialization/load. In order to learn about failed payments, it must
224    receive `Event`s directly from the `ChannelManager`, wrapping a
225    user-provided `EventHandler` which it provides all unhandled events to
226    (#1059).
227  * `get_route` has been renamed `find_route` (#1059) and now takes a
228    `RouteParameters` struct in replacement of a number of its long list of
229    arguments (#1134). The `Payee` in the `RouteParameters` is stored in the
230    `Route` object returned and provided in the `RouteParameters` contained in
231    `Event::PaymentPathFailed` (#1059).
232  * `ChannelMonitor`s must now be persisted after calls that provide new block
233    data, prior to `MonitorEvent`s being passed back to `ChannelManager` for
234    processing. If you are using a `ChainMonitor` this is handled for you.
235    The `Persist` API has been updated to `Option`ally take the
236    `ChannelMonitorUpdate` as persistence events that result from chain data no
237    longer have a corresponding update (#1108).
238  * `routing::Score` now has a `payment_path_failed` method which it can use to
239    learn which channels often fail payments. It is automatically called by
240    `InvoicePayer` for failed payment paths (#1144).
241  * The default `Scorer` implementation is now a type alias to a type generic
242    across different clocks and supports serialization to persist scoring data
243    across restarts (#1146).
244  * `Event::PaymentSent` now includes the full fee which was spent across all
245    payment paths which were fulfilled or pending when the payment was fulfilled
246    (#1142).
247  * `Event::PaymentSent` and `Event::PaymentPathFailed` now include the
248    `PaymentId` which matches the `PaymentId` returned from
249    `ChannelManager::send_payment` or `InvoicePayer::pay_invoice` (#1059).
250  * `NetGraphMsgHandler` now takes a `Deref` to the `NetworkGraph`, allowing for
251    shared references to the graph data to make serialization and references to
252    the graph data in the `InvoicePayer`'s `Router` simpler (#1149).
253  * `routing::Score::channel_penalty_msat` has been updated to provide the
254    `NodeId` of both the source and destination nodes of a channel (#1133).
255
256 ## Bug Fixes
257  * Previous versions would often disconnect peers during initial graph sync due
258    to ping timeouts while processing large numbers of gossip messages. We now
259    delay disconnecting peers if we receive messages from them even if it takes
260    a while to receive a pong from them. Further, we avoid sending too many
261    gossip messages between pings to ensure we should always receive pongs in a
262    timely manner (#1137).
263  * If a payment was sent, creating an outbound HTLC and sending it to our
264    counterparty (implying the `ChannelMonitor` was persisted on disk), but the
265    `ChannelManager` was not persisted prior to shutdown/crash, no
266    `Event::PaymentPathFailed` event was generated if the HTLC was eventually
267    failed on chain. Events are now consistent irrespective of `ChannelManager`
268    persistence or non-persistence (#1104).
269
270 ## Serialization Compatibility
271  * All above new Events/fields are ignored by prior clients. All above new
272    Events/fields are not present when reading objects serialized by prior
273    versions of the library.
274  * Payments for which a `Route` was generated using a previous version or for
275    which the payment was originally sent by a previous version of the library
276    will not be retried by an `InvoicePayer`.
277
278 This release was singularly focused and some contributions by third parties
279 were delayed.
280 In total, this release features 38 files changed, 4414 insertions, and 969
281 deletions in 71 commits from 2 authors, in alphabetical order:
282
283  * Jeffrey Czyz
284  * Matt Corallo
285
286
287 # 0.0.102 - 2021-10-18
288
289 ## API Updates
290  * `get_route` now takes a `Score` as an argument. `Score` is queried during
291    the route-finding process, returning the absolute amounts which you are
292    willing to pay to avoid routing over a given channel. As a default, a
293    `Scorer` is provided which returns a constant amount, with a suggested
294    default of 500 msat. This translates to a willingness to pay up to 500 msat
295    in additional fees per hop in order to avoid additional hops (#1124).
296  * `Event::PaymentPathFailed` now contains a `short_channel_id` field which may
297    be filled in with a channel that can be "blamed" for the payment failure.
298    Payment retries should likely avoid the given channel for some time (#1077).
299  * `PublicKey`s in `NetworkGraph` have been replaced with a `NodeId` struct
300    which contains only a simple `[u8; 33]`, substantially improving
301    `NetworkGraph` deserialization performance (#1107).
302  * `ChainMonitor`'s `HashMap` of `ChannelMonitor`s is now private, exposed via
303    `Chainmonitor::get_monitor` and `ChainMonitor::list_monitors` instead
304    (#1112).
305  * When an outbound channel is closed prior to the broadcasting of its funding
306    transaction, but after you call
307    `ChannelManager::funding_transaction_generated`, a new event type,
308    `Event::DiscardFunding`, is generated, informing you the transaction was not
309    broadcasted and that you can spend the same inputs again elsewhere (#1098).
310  * `ChannelManager::create_channel` now returns the temporary channel ID which
311    may later appear in `Event::ChannelClosed` or `ChannelDetails` prior to the
312    channel being funded (#1121).
313  * `Event::PaymentSent` now contains the payment hash as well as the payment
314    preimage (#1062).
315  * `ReadOnlyNetworkGraph::get_addresses` now returns owned `NetAddress` rather
316    than references. As a side-effect this method is now exposed in foreign
317    language bindings (#1115).
318  * The `Persist` and `ChannelMonitorUpdateErr` types have moved to the
319    `lightning::chain::chainmonitor` and `lightning::chain` modules,
320    respectively (#1112).
321  * `ChannelManager::send_payment` now returns a `PaymentId` which identifies a
322    payment (whether MPP or not) and can be used to retry the full payment or
323    MPP parts through `retry_payment` (#1096). Note that doing so is currently
324    *not* crash safe, and you may find yourself sending twice. It is recommended
325    that you *not* use the `retry_payment` API until the next release.
326
327 ## Bug Fixes
328  * Due to an earlier fix for the Lightning dust inflation vulnerability tracked
329    in CVE-2021-41591/CVE-2021-41592/CVE-2021-41593 in 0.0.100, we required
330    counterparties to accept a dust limit slightly lower than the dust limit now
331    required by other implementations. This appeared as, at least, latest lnd
332    always refusing to accept channels opened by LDK clients (#1065).
333  * If there are multiple channels available to the same counterparty,
334    `get_route` would only consider the channel listed last as available for
335    sending (#1100).
336  * `Persist` implementations returning
337    `ChannelMonitorUpdateErr::TemporaryFailure` from `watch_channel` previously
338    resulted in the `ChannelMonitor` not being stored at all, resulting in a
339    panic after monitor updating is complete (#1112).
340  * If payments are pending awaiting forwarding at startup, an
341    `Event::PendingHTLCsForwardable` event will always be provided. This ensures
342    user code calls `ChannelManager::process_pending_htlc_fowards` even if it
343    shut down while awaiting the batching timer during the previous run (#1076).
344  * If a call to `ChannelManager::send_payment` failed due to lack of
345    availability of funds locally, LDK would store the payment as pending
346    forever, with no ability to retry or fail it, leaking memory (#1109).
347
348 ## Serialization Compatibility
349  * All above new Events/fields are ignored by prior clients. All above new
350    Events/fields, except for `Event::PaymentSent::payment_hash` are not present
351    when reading objects serialized by prior versions of the library.
352
353 In total, this release features 32 files changed, 2248 insertions, and 1483
354 deletions in 51 commits from 7 authors, in alphabetical order:
355
356  * 1nF0rmed
357  * Duncan Dean
358  * Elias Rohrer
359  * Galder Zamarreño
360  * Jeffrey Czyz
361  * Matt Corallo
362  * Valentine Wallace
363
364
365 # 0.0.101 - 2021-09-23
366
367 ## API Updates
368  * Custom message types are now supported directly in the `PeerManager`,
369    allowing you to send and receive messages of any type that is not natively
370    understood by LDK. This requires a new type bound on `PeerManager`, a
371    `CustomMessageHandler`. `IgnoringMessageHandler` provides a simple default
372    for this new bound for ignoring unknown messages (#1031, #1074).
373  * Route graph updates as a result of failed payments are no longer provided as
374    `MessageSendEvent::PaymentFailureNetworkUpdate` but instead included in a
375    new field in the `Event::PaymentFailed` events. Generally, this means route
376    graph updates are no longer handled as a part of the `PeerManager` but
377    instead through the new `EventHandler` implementation for
378    `NetGraphMsgHandler`. To make this easy, a new parameter to
379    `lightning-background-processor::BackgroundProcessor::start` is added, which
380    contains an `Option`al `NetGraphmsgHandler`. If provided as `Some`, relevant
381    events will be processed by the `NetGraphMsgHandler` prior to normal event
382    handling (#1043).
383  * `NetworkGraph` is now, itself, thread-safe. Accordingly, most functions now
384    take `&self` instead of `&mut self` and the graph data can be accessed
385    through `NetworkGraph.read_only` (#1043).
386  * The balances available on-chain to claim after a channel has been closed are
387    now exposed via `ChannelMonitor::get_claimable_balances` and
388    `ChainMonitor::get_claimable_balances`. The second can be used to get
389    information about all closed channels which still have on-chain balances
390    associated with them. See enum variants of `ln::channelmonitor::Balance` and
391    method documentation for the above methods for more information on the types
392    of balances exposed (#1034).
393  * When one HTLC of a multi-path payment fails, the new field `all_paths_failed`
394    in `Event::PaymentFailed` is set to `false`. This implies that the payment
395    has not failed, but only one part. Payment resolution is only indicated by an
396    `Event::PaymentSent` event or an `Event::PaymentFailed` with
397    `all_paths_failed` set to `true`, which is also set for the last remaining
398    part of a multi-path payment (#1053).
399  * To better capture the context described above, `Event::PaymentFailed` has
400    been renamed to `Event::PaymentPathFailed` (#1084).
401  * A new event, `ChannelClosed`, is provided by `ChannelManager` when a channel
402    is closed, including a reason and error message (if relevant, #997).
403  * `lightning-invoice` now considers invoices with sub-millisatoshi precision
404    to be invalid, and requires millisatoshi values during construction (thus
405    you must call `amount_milli_satoshis` instead of `amount_pico_btc`, #1057).
406  * The `BaseSign` interface now includes two new hooks which provide additional
407    information about commitment transaction signatures and revocation secrets
408    provided by our counterparty, allowing additional verification (#1039).
409  * The `BaseSign` interface now includes additional information for cooperative
410    close transactions, making it easier for a signer to verify requests (#1064).
411  * `Route` has two additional helper methods to get fees and amounts (#1063).
412  * `Txid` and `Transaction` objects can now be deserialized from responses when
413    using the HTTP client in the `lightning-block-sync` crate (#1037, #1061).
414
415 ## Bug Fixes
416  * Fix a panic when reading a lightning invoice with a non-recoverable
417    signature. Further, restrict lightning invoice parsing to require payment
418    secrets and better handle a few edge cases as required by BOLT 11 (#1057).
419  * Fix a panic when receiving multiple messages (such as HTLC fulfill messages)
420    after a call to `chain::Watch::update_channel` returned
421    `Err(ChannelMonitorUpdateErr::TemporaryFailure)` with no
422    `ChannelManager::channel_monitor_updated` call in between (#1066).
423  * For multi-path payments, `Event::PaymentSent` is no longer generated
424    multiple times, once for each independent part (#1053).
425  * Multi-hop route hints in invoices are now considered in the default router
426    provided via `get_route` (#1040).
427  * The time peers have to respond to pings has been increased when building
428    with debug assertions enabled. This avoids peer disconnections on slow hosts
429    when running in debug mode (#1051).
430  * The timeout for the first byte of a response for requests from the
431    `lightning-block-sync` crate has been increased to 300 seconds to better
432    handle the long hangs in Bitcoin Core when it syncs to disk (#1090).
433
434 ## Serialization Compatibility
435  * Due to a bug in 0.0.100, `Event`s written by 0.0.101 which are of a type not
436    understood by 0.0.100 may lead to `Err(DecodeError::InvalidValue)` or corrupt
437    deserialized objects in 0.100. Such `Event`s will lead to an
438    `Err(DecodeError::InvalidValue)` in versions prior to 0.0.100. The only such
439    new event written by 0.0.101 is `Event::ChannelClosed` (#1087).
440  * Payments that were initiated in versions prior to 0.0.101 may still
441    generate duplicate `PaymentSent` `Event`s or may have spurious values for
442    `Event::PaymentPathFailed::all_paths_failed` (#1053).
443  * The return values of `ChannelMonitor::get_claimable_balances` (and, thus,
444    `ChainMonitor::get_claimable_balances`) may be spurious for channels where
445    the spend of the funding transaction appeared on chain while running a
446    version prior to 0.0.101. `Balance` information should only be relied upon
447    for channels that were closed while running 0.0.101+ (#1034).
448  * Payments failed while running versions prior to 0.0.101 will never have a
449    `Some` for the `network_update` field (#1043).
450
451 In total, this release features 67 files changed, 4980 insertions, 1888
452 deletions in 89 commits from 12 authors, in alphabetical order:
453  * Antoine Riard
454  * Devrandom
455  * Galder Zamarreño
456  * Giles Cope
457  * Jeffrey Czyz
458  * Joseph Goulden
459  * Matt Corallo
460  * Sergi Delgado Segura
461  * Tibo-lg
462  * Valentine Wallace
463  * abhik-99
464  * vss96
465
466
467 # 0.0.100 - 2021-08-17
468
469 ## API Updates
470  * The `lightning` crate can now be built in no_std mode, making it easy to
471    target embedded hardware for rust users. Note that mutexes are replaced with
472    no-ops for such builds (#1008, #1028).
473  * LDK now supports sending and receiving "keysend" payments. This includes
474    modifications to `lightning::util::events::Event::PaymentReceived` to
475    indicate the type of payment (#967).
476  * A new variant, `lightning::util::events::Event::PaymentForwarded` has been
477    added which indicates a forwarded payment has been successfully claimed and
478    we've received a forwarding fee (#1004).
479  * `lightning::chain::keysinterface::KeysInterface::get_shutdown_pubkey` has
480    been renamed to `get_shutdown_scriptpubkey`, returns a script, and is now
481    called on channel open only if
482    `lightning::util::config::ChannelConfig::commit_upfront_shutdown_pubkey` is
483    set (#1019).
484  * Closing-signed negotiation is now more configurable, with an explicit
485    `lightning::util::config::ChannelConfig::force_close_avoidance_max_fee_satoshis`
486    field allowing you to select the maximum amount you are willing to pay to
487    avoid a force-closure. Further, we are now less restrictive on the fee
488    placed on the closing transaction when we are not the party paying it. To
489    control the feerate paid on a channel at close-time, use
490    `ChannelManager::close_channel_with_target_feerate` instead of
491    `close_channel` (#1011).
492  * `lightning_background_processor::BackgroundProcessor` now stops the
493    background thread when dropped (#1007). It is marked `#[must_use]` so that
494    Rust users will receive a compile-time warning when it is immediately
495    dropped after construction (#1029).
496  * Total potential funds burn on force-close due to dust outputs is now limited
497    to `lightning::util::config::ChannelConfig::max_dust_htlc_exposure_msat` per
498    channel (#1009).
499  * The interval on which
500    `lightning::ln::peer_handler::PeerManager::timer_tick_occurred` should be
501    called has been reduced to once every five seconds (#1035) and
502    `lightning::ln::channelmanager::ChannelManager::timer_tick_occurred` should
503    now be called on startup in addition to once per minute (#985).
504  * The rust-bitcoin and bech32 dependencies have been updated to their
505    respective latest versions (0.27 and 0.8, #1012).
506
507 ## Bug Fixes
508  * Fix panic when reading invoices generated by some versions of c-lightning
509    (#1002 and #1003).
510  * Fix panic when attempting to validate a signed message of incorrect length
511    (#1010).
512  * Do not ignore the route hints in invoices when the invoice is over 250k
513    sats (#986).
514  * Fees are automatically updated on outbound channels to ensure commitment
515    transactions are always broadcastable (#985).
516  * Fixes a rare case where a `lightning::util::events::Event::SpendableOutputs`
517    event is not generated after a counterparty commitment transaction is
518    confirmed in a reorg when a conflicting local commitment transaction is
519    removed in the same reorg (#1022).
520  * Fixes a remotely-triggerable force-closure of an origin channel after an
521    HTLC was forwarded over a next-hop channel and the next-hop channel was
522    force-closed by our counterparty (#1025).
523  * Fixes a rare force-closure case when sending a payment as a channel fundee
524    when overdrawing our remaining balance. Instead the send will fail (#998).
525  * Fixes a rare force-closure case when a payment was claimed prior to a
526    peer disconnection or restart, and later failed (#977).
527
528 ## Serialization Compatibility
529  * Pending inbound keysend payments which have neither been failed nor claimed
530    when serialized will result in a `ChannelManager` which is not readable on
531    pre-0.0.100 clients (#967).
532  * Because
533    `lightning::chain::keysinterface::KeysInterface::get_shutdown_scriptpubkey`
534    has been updated to return a script instead of only a `PublicKey`,
535    `ChannelManager`s constructed with custom `KeysInterface` implementations on
536    0.0.100 and later versions will not be readable on previous versions.
537    `ChannelManager`s created with 0.0.99 and prior versions will remain readable
538    even after the a serialization roundtrip on 0.0.100, as long as no new
539    channels are opened. Further, users using a
540    `lightning::chain::keysinterface::KeysManager` as their `KeysInterface` will
541    have `ChannelManager`s which are readable on prior versions as well (#1019).
542  * `ChannelMonitorUpdate`s created by 0.0.100 and later for channels when
543    `lightning::util::config::ChannelConfig::commit_upfront_shutdown_pubkey` is
544    not set may not be readable by versions prior to 0.0.100 (#1019).
545  * HTLCs which were in the process of being claimed on-chain when a pre-0.0.100
546    `ChannelMonitor` was serialized may generate `PaymentForwarded` events with
547    spurious `fee_earned_msat` values. This only applies to payments which were
548    unresolved at the time of the upgrade (#1004).
549  * 0.0.100 clients with pending `Event::PaymentForwarded` events at
550    serialization-time will generate serialized `ChannelManager` objects which
551    0.0.99 and earlier clients cannot read. The likelihood of this can be reduced
552    by ensuring you process all pending events immediately before serialization
553    (as is done by the `lightning-background-processor` crate, #1004).
554
555
556 In total, this release features 59 files changed, 5861 insertions, and 2082
557 deletions in 95 commits from 6 authors.
558
559
560 # 0.0.99 - 2021-07-09
561
562 ## API Updates
563
564  * `lightning_block_sync::poll::Validate` is now public, allowing you to
565    implement the `lightning_block_sync::poll::Poll` trait without
566    `lightning_block_sync::poll::ChainPoller` (#956).
567  * `lightning::ln::peer_handler::PeerManager` no longer requires that no calls
568    are made to referencing the same `SocketDescriptor` after
569    `disconnect_socket` returns. This makes the API significantly less
570    deadlock-prone and simplifies `SocketDescriptor` implementations
571    significantly. The relevant changes have been made to `lightning_net_tokio`
572    and `PeerManager` documentation has been substantially rewritten (#957).
573  * `lightning::util::message_signing`'s `sign` and `verify` methods now take
574    secret and public keys by reference instead of value (#974).
575  * Substantially more information is now exposed about channels in
576    `ChannelDetails`. See documentation for more info (#984 and #988).
577  * The latest best block seen is now exposed in
578    `ChannelManager::current_best_block` and
579    `ChannelMonitor::current_best_block` (#984).
580  * Feerates charged when forwarding payments over channels is now set in
581    `ChannelConfig::fee_base_msat` when the channel is opened. For existing
582    channels, the value is set to the value provided in
583    `ChannelManagerReadArgs::default_config::channel_options` the first time the
584    `ChannelManager` is loaded in 0.0.99 (#975).
585  * We now reject HTLCs which are received to be forwarded over private channels
586    unless `UserConfig::accept_forwards_to_priv_channels` is set. Note that
587    `UserConfig` is never serialized and must be provided via
588    `ChannelManagerReadArgs::default_config` at each start (#975).
589
590 ## Bug Fixes
591
592  * We now forward gossip messages to peers instead of only relaying
593    locally-generated gossip or sending gossip messages during initial sync
594    (#948).
595  * Correctly send `channel_update` messages to direct peers on private channels
596    (#949). Without this, a private node connected to an LDK node over a private
597    channel cannot receive funds as it does not know which fees the LDK node
598    will charge.
599  * `lightning::ln::channelmanager::ChannelManager` no longer expects to be
600    persisted spuriously after we receive a `channel_update` message about any
601    channel in the routing gossip (#972).
602  * Asynchronous `ChannelMonitor` updates (using the
603    `ChannelMonitorUpdateErr::TemporaryFailure` return variant) no longer cause
604    spurious HTLC forwarding failures (#954).
605  * Transaction provided via `ChannelMonitor::transactions_confirmed`
606    after `ChannelMonitor::best_block_updated` was called for a much later
607    block now trigger all relevant actions as of the later block. Previously
608    some transaction broadcasts or other responses required an additional
609    block be provided via `ChannelMonitor::best_block_updated` (#970).
610  * We no longer panic in rare cases when an invoice contained last-hop route
611    hints which were unusable (#958).
612
613 ## Node Compatibility
614
615  * We now accept spurious `funding_locked` messages sent prior to
616    `channel_reestablish` messages after reconnect. This is a
617    [known, long-standing bug in lnd](https://github.com/lightningnetwork/lnd/issues/4006)
618    (#966).
619  * We now set the `first_blocknum` and `number_of_blocks` fields in
620    `reply_channel_range` messages to values which c-lightning versions prior to
621    0.10 accepted. This avoids spurious force-closes from such nodes (#961).
622
623 ## Serialization Compatibility
624
625  * Due to a bug discovered in 0.0.98, if a `ChannelManager` is serialized on
626    version 0.0.98 while an `Event::PaymentSent` is pending processing, the
627    `ChannelManager` will fail to deserialize both on version 0.0.98 and later
628    versions. If you have such a `ChannelManager` available, a simple patch will
629    allow it to deserialize. Please file an issue if you need assistance (#973).
630
631 # 0.0.98 - 2021-06-11
632
633 0.0.98 should be considered a release candidate to the first alpha release of
634 Rust-Lightning and the broader LDK. It represents several years of work
635 designing and fine-tuning a flexible API for integrating lightning into any
636 application. LDK should make it easy to build a lightning node or client which
637 meets specific requirements that other lightning node software cannot. As
638 lightning continues to evolve, and new use-cases for lightning develop, the API
639 of LDK will continue to change and expand. However, starting with version 0.1,
640 objects serialized with prior versions will be readable with the latest LDK.
641 While Rust-Lightning is approaching the 0.1 milestone, language bindings
642 components of LDK available at https://github.com/lightningdevkit are still of
643 varying quality. Some are also approaching an 0.1 release, while others are
644 still much more experimental. Please note that, at 0.0.98, using Rust-Lightning
645 on mainnet is *strongly* discouraged.