Fix `ProbabilisticScorer` aliasing in `no-std` mode
[rust-lightning] / CHANGELOG.md
1 # 0.0.108 - 2022-06-10
2
3 ## Bug Fixes
4  * Fixed `lightning-background-processor` build in release mode.
5
6 In total, this release features 9 files changed, 120 insertions, 74
7 deletions in 5 commits from 4 authors, in alphabetical order:
8  * Elias Rohrer
9  * Matt Corallo
10  * Max Fang
11  * Viktor Tigerström
12
13 # 0.0.107 - 2022-06-08
14
15 ## API Updates
16  * Channels larger than 16777215 sats (Wumbo!) are now supported and can be
17    enabled for inbound channels using
18    `ChannelHandshakeLimits::max_funding_satoshis` (#1425).
19  * Support for feature `option_zeroconf`, allowing immediate forwarding of
20    payments after channel opening. This is configured for outbound channels
21    using `ChannelHandshakeLimits::trust_own_funding_0conf` whereas
22    `ChannelManager::accept_inbound_channel_from_trusted_peer_0conf` has to be
23    used for accepting inbound channels (#1401, #1505).
24  * `ChannelManager::claim_funds` no longer returns a `bool` to indicate success.
25    Instead, an `Event::PaymentClaimed` is generated if the claim was successful.
26    Likewise, `ChannelManager::fail_htlc_backwards` no longer has a return value
27    (#1434).
28  * `lightning-rapid-gossip-sync` is a new crate for syncing gossip data from a
29    server, primarily aimed at mobile devices (#1155).
30  * `RapidGossipSync` can be passed to `BackgroundProcessor` in order to persist
31    the `NetworkGraph` and handle `NetworkUpdate`s during event handling (#1433,
32    #1517).
33  * `NetGraphMsgHandler` has been renamed to `P2PGossipSync`, the `network_graph`
34     module has been renamed to `gossip`, and `NetworkUpdate::ChannelClosed` has
35    been renamed `NetworkUpdate::ChannelFailure` (#1159).
36  * Added a `filtered_block_connected` method to `chain::Listen` and a default
37    implementation of `block_connected` for those fetching filtered instead of
38    full blocks (#1453).
39  * The `lightning-block-sync` crate's `BlockSource` trait methods now take
40    `&self` instead of `&mut self` (#1307).
41  * `inbound_payment` module is now public to allow for creating invoices without
42    a `ChannelManager` (#1384).
43  * `lightning-block-sync`'s `init` and `poll` modules support `&dyn BlockSource`
44    which can be determined at runtime (#1423).
45  * `lightning-invoice` crate's `utils` now accept an expiration time (#1422,
46    #1474).
47  * `Event::PaymentForwarded` includes `prev_channel_id` and `next_channel_id`
48    (#1419, #1475).
49  * `chain::Watch::release_pending_monitor_events`' return type now associates
50    `MonitorEvent`s with funding `OutPoints` (#1475).
51  * `lightning-background-processor` crate's `Persister` trait has been moved to
52    `lightning` crate's `util::persist` module, which now has a general
53    `KVStorePersister` trait. Blanket implementations of `Persister` and
54    `chainmonitor::Persist` are given for types implementing `KVStorePersister`.
55    ` lightning-persister`'s `FilesystemPersister` implements `KVStorePersister`
56    (#1417).
57  * `ChannelDetails` and `ChannelCounterparty` include fields for HTLC minimum
58    and maximum values (#1378).
59  * Added a `max_inbound_htlc_value_in_flight_percent_of_channel` field to
60    `ChannelHandshakeConfig`, capping the total value of outstanding inbound
61    HTLCs for a channel (#1444).
62  * `ProbabilisticScorer` is parameterized by a `Logger`, which it uses to log
63    channel liquidity updates or lack thereof (#1405).
64  * `ChannelDetails` has an `outbound_htlc_limit_msat` field, which should be
65    used in routing instead of `outbound_capacity_msat` (#1435).
66  * `ProbabilisticScorer`'s channel liquidities can be logged via
67    `debug_log_liquidity_stats` (#1460).
68  * `BackgroundProcessor` now takes an optional `WriteableScore` which it will
69    persist using the `Persister` trait's new `persist_scorer` method (#1416).
70  * Upgraded to `bitcoin` crate version 0.28.1 (#1389).
71  * `ShutdownScript::new_witness_program` now takes a `WitnessVersion` instead of
72    a `NonZeroU8` (#1389).
73  * Channels will no longer be automatically force closed when the counterparty
74    is disconnected due to incompatibility (#1429).
75  * `ChannelManager` methods for funding, accepting, and closing channels now
76    take a `counterparty_node_id` parameter, which has also been added as a field
77    to `Event::FundingGenerationReady` (#1479, #1485).
78  * `InvoicePayer::new` now takes a `Retry` enum (replacing the `RetryAttempts`
79    struct), which supports both attempt- and timeout-based retrying (#1418).
80  * `Score::channel_penalty_msat` takes a `ChannelUsage` struct, which contains
81    the capacity as an `EffectiveCapacity` enum and any potential in-flight HTLC
82    value, rather than a single `u64`. Used by `ProbabilisticScorer` for more
83    accurate penalties (#1456).
84  * `build_route_from_hops` is a new function useful for constructing a `Route`
85    given a specific list of public keys (#1491).
86  * `FundingLocked` message has been renamed `ChannelReady`, and related
87    identifiers have been renamed accordingly (#1506).
88  * `core2::io` or `std::io` (depending on feature flags `no-std` or `std`) is
89    exported as a `lightning::io` module (#1504).
90  * The deprecated `Scorer` has been removed in favor or `ProbabilisticScorer`
91    (#1512).
92
93 ## Performance Improvements
94  * `lightning-persister` crate's `FilesystemPersister` is faster by 15x (#1404).
95  * Log gossip query messages at `GOSSIP` instead of `TRACE` to avoid
96    overwhelming default logging (#1421).
97  * `PeerManager` supports processing messages from different peers in parallel,
98    and this is taken advantage of in gossip processing (#1023).
99  * Greatly reduced per-channel and per-node memory usage due to upgrade of
100    `secp256k1` crate to 0.22.1 and `bitcoin` crate to 0.28.1
101  * Reduced per-peer memory usage in `PeerManager` (#1472).
102
103 ## Spec Compliance
104  * `find_route` now assumes variable-length onions by default for nodes where
105    support for the feature is unknown (#1414).
106  * A `warn` message is now sent when receiving a `channel_reestablish` with an
107    old commitment transaction number rather than immediately force-closing the
108    channel (#1430).
109  * When a `channel_update` message is included in an onion error's `failuremsg`,
110    its message type is now encoded. Reading such messages is also supported
111    (#1465).
112
113 ## Bug Fixes
114  * Fixed a bug where crashing while persisting a `ChannelMonitorUpdate` for a
115    part of a multi-path payment could cause loss of funds due to a partial
116    payment claim on restart (#1434).
117  * `BackgroundProcessor` has been fixed to improve serialization reliability on
118    slow systems which can avoid force-closes (#1436).
119  * `gossip_timestamp_filter` filters are now honored when sending gossip to
120    peers (#1452).
121  * During a reorg, only force-close a channel if its funding transaction is
122    unconfirmed rather than as it loses confirmations (#1461).
123  * Fixed a rare panic in `lightning-net-tokio` when fetching a peer's socket
124    address after the connection has been closed caused by a race condition
125    (#1449).
126  * `find_route` will no longer return routes that would cause onion construction
127    to fail in some cases (#1476).
128  * `ProbabilisticScorer` uses more precision when approximating `log10` (#1406).
129
130 ## Serialization Compatibility
131  * All above new events/fields are ignored by prior clients. All above new
132    events/fields are not present when reading objects serialized by prior
133    versions of the library.
134  * `ChannelManager` serialization is no longer compatible with versions prior to
135    0.0.99 (#1401).
136  * Channels with `option_zeroconf` feature enabled (not required for 0-conf
137    channel use) will be unreadable by versions prior to 0.0.107 (#1401, #1505).
138
139 In total, this release features 96 files changed, 9304 insertions, 4503
140 deletions in 153 commits from 18 authors, in alphabetical order:
141  * Arik Sosman
142  * Devrandom
143  * Duncan Dean
144  * Elias Rohrer
145  * Jeffrey Czyz
146  * John Cantrell
147  * John Corser
148  * Jurvis Tan
149  * Justin Moon
150  * KaFai Choi
151  * Mateusz Faltyn
152  * Matt Corallo
153  * Valentine Wallace
154  * Viktor Tigerström
155  * Vincenzo Palazzo
156  * atalw
157  * dependabot[bot]
158  * shamardy
159
160
161 # 0.0.106 - 2022-04-03
162
163 ## API Updates
164  * Minimum supported rust version (MSRV) is now 1.41.1 (#1310).
165  * Lightning feature `option_scid_alias` is now supported and may be negotiated
166    when opening a channel with a peer. It can be configured via
167    `ChannelHandshakeConfig::negotiate_scid_privacy` and is off by default but
168    will be on by default in the future (#1351).
169  * `OpenChannelRequest` now has a `channel_type` field indicating the features
170    the channel will operate with and should be used to filter channels with
171    undesirable features (#1351). See the Serialization Compatibility section.
172  * `ChannelManager` supports sending and receiving short channel id aliases in
173    the `funding_locked` message. These are used when forwarding payments and
174    constructing invoice route hints for improved privacy. `ChannelDetails` has a
175    `inbound_scid_alias` field and a `get_inbound_payment_scid` method to support
176    the latter (#1311).
177  * `DefaultRouter` and `find_route` take an additional random seed to improve
178    privacy by adding a random CLTV expiry offset to each path's final hop. This
179    helps obscure the intended recipient from adversarial intermediate hops
180    (#1286). The seed is  also used to randomize candidate paths during route
181    selection (#1359).
182  * The `lightning-block-sync` crate's `init::synchronize_listeners` method
183    interface has been relaxed to support multithreaded environments (#1349).
184  * `ChannelManager::create_inbound_payment_for_hash`'s documentation has been
185    corrected to remove the one-year restriction on `invoice_expiry_delta_secs`,
186    which is only applicable to the deprecated `create_inbound_payment_legacy`
187    and `create_inbound_payment_for_hash_legacy` methods (#1341).
188  * `Features` mutator methods now take `self` by reference instead of by value
189    (#1331).
190  * The CLTV of the last hop in a path is now included when comparing against
191    `RouteParameters::max_total_cltv_expiry_delta` (#1358).
192  * Invoice creation functions in `lightning-invoice` crate's `utils` module
193    include versions that accept a description hash instead of only a description
194    (#1361).
195  * `RoutingMessageHandler::sync_routing_table` has been renamed `peer_connected`
196    (#1368).
197  * `MessageSendEvent::SendGossipTimestampFilter` has been added to indicate that
198    a `gossip_timestamp_filter` should be sent (#1368).
199  * `PeerManager` takes an optional `NetAddress` in `new_outbound_connection` and
200    `new_inbound_connection`, which is used to report back the remote address to
201    the connecting peer in the `init` message (#1326).
202  * `ChannelManager::accept_inbound_channel` now takes a `user_channel_id`, which
203    is used in a similar manner as in outbound channels. (#1381).
204  * `BackgroundProcessor` now persists `NetworkGraph` on a timer and upon
205    shutdown as part of a new `Persister` trait, which also includes
206    `ChannelManager` persistence (#1376).
207  * `ProbabilisticScoringParameters` now has a `base_penalty_msat` option, which
208    default to 500 msats. It is applied at each hop to help avoid longer paths
209    (#1375).
210  * `ProbabilisticScoringParameters::liquidity_penalty_multiplier_msat`'s default
211    value is now 40,000 msats instead of 10,000 msats (#1375).
212  * The `lightning` crate has a `grind_signatures` feature used to produce
213    signatures with low r-values for more predictable transaction weight. This
214    feature is on by default (#1388).
215  * `ProbabilisticScoringParameters` now has a `amount_penalty_multiplier_msat`
216    option, which is used to further penalize large amounts (#1399).
217  * `PhantomRouteHints`, `FixedPenaltyScorer`, and `ScoringParameters` now
218    implement `Clone` (#1346).
219
220 ## Bug Fixes
221  * Fixed a compilation error in `ProbabilisticScorer` under `--feature=no-std`
222    (#1347).
223  * Invoice creation functions in `lightning-invoice` crate's `utils` module
224    filter invoice hints in order to limit the invoice size (#1325).
225  * Fixed a bug where a `funding_locked` message was delayed by a block if the
226    funding transaction was confirmed while offline, depending on the ordering
227    of `Confirm::transactions_confirmed` calls when brought back online (#1363).
228  * Fixed a bug in `NetGraphMsgHandler` where it didn't continue to receive
229    gossip messages from peers after initial connection (#1368, #1382).
230  * `ChannelManager::timer_tick_occurred` will now timeout a received multi-path
231    payment (MPP) after three ticks if not received in full instead of waiting
232    until near the HTLC timeout block(#1353).
233  * Fixed an issue with `find_route` causing it to be overly aggressive in using
234    MPP over channels to the same first hop (#1370).
235  * Reduced time spent processing `channel_update` messages by checking
236    signatures after checking if no newer messages have already been processed
237    (#1380).
238  * Fixed a few issues in `find_route` which caused preferring paths with a
239    higher cost (#1398).
240  * Fixed an issue in `ProbabilisticScorer` where a channel with not enough
241    liquidity could still be used when retrying a failed payment if it was on a
242    path with an overall lower cost (#1399).
243
244 ## Serialization Compatibility
245  * Channels open with `option_scid_alias` negotiated will be incompatible with
246    prior releases (#1351). This may occur in the following cases:
247    * Outbound channels when `ChannelHandshakeConfig::negotiate_scid_privacy` is
248      enabled.
249    * Inbound channels when automatically accepted from an `OpenChannel` message
250      with a `channel_type` that has `ChannelTypeFeatures::supports_scid_privacy`
251      return true. See `UserConfig::accept_inbound_channels`.
252    * Inbound channels when manually accepted from an `OpenChannelRequest` with a
253      `channel_type` that has `ChannelTypeFeatures::supports_scid_privacy` return
254      true. See `UserConfig::manually_accept_inbound_channels`.
255
256 In total, this release features 43 files changed, 4052 insertions, 1274
257 deletions in 75 commits from 11 authors, in alphabetical order:
258  * Devrandom
259  * Duncan Dean
260  * Elias Rohrer
261  * Jeffrey Czyz
262  * Jurvis Tan
263  * Luiz Parreira
264  * Matt Corallo
265  * Omar Shamardy
266  * Viktor Tigerström
267  * dependabot[bot]
268  * psycho-pirate
269
270
271 # 0.0.105 - 2022-02-28
272
273 ## API Updates
274  * `Phantom node` payments are now supported, allowing receipt of a payment on
275    any one of multiple nodes without any coordination across the nodes being
276    required. See the new `PhantomKeysManager`'s docs for more, as well as
277    requirements on `KeysInterface::get_inbound_payment_key_material` and
278    `lightning_invoice::utils::create_phantom_invoice` (#1199).
279  * In order to support phantom node payments, several `KeysInterface` methods
280    now accept a `Recipient` parameter to select between the local `node_id` and
281    a phantom-specific one.
282  * `ProbabilisticScorer`, a `Score` based on learning the current balances of
283    channels in the network, was added. It attempts to better capture payment
284    success probability than the existing `Scorer`, though may underperform on
285    nodes with low payment volume. We welcome feedback on performance (#1227).
286  * `Score::channel_penalty_msat` now always takes the channel value, instead of
287    an `Option` (#1227).
288  * `UserConfig::manually_accept_inbound_channels` was added which, when set,
289    generates a new `Event::OpenChannelRequest`, which allows manual acceptance
290    or rejection of incoming channels on a per-channel basis (#1281).
291  * `Payee` has been renamed to `PaymentParameters` (#1271).
292  * `PaymentParameters` now has a `max_total_cltv_expiry_delta` field. This
293    defaults to 1008 and limits the maximum amount of time an HTLC can be pending
294    before it will either fail or be claimed (#1234).
295  * The `lightning-invoice` crate now supports no-std environments. This required
296    numerous API changes around timestamp handling and std+no-std versions of
297    several methods that previously assumed knowledge of the time (#1223, #1230).
298  * `lightning-invoice` now supports parsing invoices with expiry times of more
299    than one year. This required changing the semantics of `ExpiryTime` (#1273).
300  * The `CounterpartyCommitmentSecrets` is now public, allowing external uses of
301    the `BOLT 3` secret storage scheme (#1299).
302  * Several `Sign` methods now receive HTLC preimages as proof of state
303    transition, see new documentation for more (#1251).
304  * `KeysInterface::sign_invoice` now provides the HRP and other invoice data
305    separately to make it simpler for external signers to parse (#1272).
306  * `Sign::sign_channel_announcement` now returns both the node's signature and
307    the per-channel signature. `InMemorySigner` now requires the node's secret
308    key in order to implement this (#1179).
309  * `ChannelManager` deserialization will now fail if the `KeysInterface` used
310    has a different `node_id` than the `ChannelManager` expects (#1250).
311  * A new `ErrorAction` variant was added to send `warning` messages (#1013).
312  * Several references to `chain::Listen` objects in `lightning-block-sync` no
313    longer require a mutable reference (#1304).
314
315 ## Bug Fixes
316  * Fixed a regression introduced in 0.0.104 where `ChannelManager`'s internal
317    locks could have an order violation leading to a deadlock (#1238).
318  * Fixed cases where slow code (including user I/O) could cause us to
319    disconnect peers with ping timeouts in `BackgroundProcessor` (#1269).
320  * Now persist the `ChannelManager` prior to `BackgroundProcessor` stopping,
321    preventing race conditions where channels are closed on startup even with a
322    clean shutdown. This requires that users stop network processing and
323    disconnect peers prior to `BackgroundProcessor` shutdown (#1253).
324  * Fields in `ChannelHandshakeLimits` provided via the `override_config` to
325    `create_channel` are now applied instead of the default config (#1292).
326  * Fixed the generation of documentation on docs.rs to include API surfaces
327    which are hidden behind feature flags (#1303).
328  * Added the `channel_type` field to `accept_channel` messages we send, which
329    may avoid some future compatibility issues with other nodes (#1314).
330  * Fixed a bug where, if a previous LDK run using `lightning-persister` crashed
331    while persisting updated data, we may have failed to initialize (#1332).
332  * Fixed a rare bug where having both pending inbound and outbound HTLCs on a
333    just-opened inbound channel could cause `ChannelDetails::balance_msat` to
334    underflow and be reported as large, or cause panics in debug mode (#1268).
335  * Moved more instances of verbose gossip logging from the `Trace` level to the
336    `Gossip` level (#1220).
337  * Delayed `announcement_signatures` until the channel has six confirmations,
338    slightly improving propagation of channel announcements (#1179).
339  * Several fixes in script and transaction weight calculations when anchor
340    outputs are enabled (#1229).
341
342 ## Serialization Compatibility
343  * Using `ChannelManager` data written by versions prior to 0.0.105 will result
344    in preimages for HTLCs that were pending at startup to be missing in calls
345    to `KeysInterface` methods (#1251).
346  * Any phantom invoice payments received on a node that is not upgraded to
347    0.0.105 will fail with an "unknown channel" error. Further, downgrading to
348    0.0.104 or before and then upgrading again will invalidate existing phantom
349    SCIDs which may be included in invoices (#1199).
350
351 ## Security
352 0.0.105 fixes two denial-of-service vulnerabilities which may be reachable from
353 untrusted input in certain application designs.
354
355  * Route calculation spuriously panics when a routing decision is made for a
356    path where the second-to-last hop is a private channel, included due to a
357    multi-hop route hint in an invoice.
358  * `ChannelMonitor::get_claimable_balances` spuriously panics in some scenarios
359    when the LDK application's local commitment transaction is confirmed while
360    HTLCs are still pending resolution.
361
362 In total, this release features 109 files changed, 7270 insertions, 2131
363 deletions in 108 commits from 15 authors, in alphabetical order:
364  * Conor Okus
365  * Devrandom
366  * Elias Rohrer
367  * Jeffrey Czyz
368  * Jurvis Tan
369  * Ken Sedgwick
370  * Matt Corallo
371  * Naveen
372  * Tibo-lg
373  * Valentine Wallace
374  * Viktor Tigerström
375  * dependabot[bot]
376  * hackerrdave
377  * naveen
378  * vss96
379
380
381 # 0.0.104 - 2021-12-17
382
383 ## API Updates
384  * A `PaymentFailed` event is now provided to indicate a payment has failed
385    fully. This event is generated either after
386    `ChannelManager::abandon_payment` is called for a given payment, or the
387    payment times out, and there are no further pending HTLCs for the payment.
388    This event should be used to detect payment failure instead of
389    `PaymentPathFailed::all_paths_failed`, unless no payment retries occur via
390    `ChannelManager::retry_payment` (#1202).
391  * Payment secrets are now generated deterministically using material from
392    the new `KeysInterface::get_inbound_payment_key_material` (#1177).
393  * A `PaymentPathSuccessful` event has been added to ease passing success info
394    to a scorer, along with a `Score::payment_path_successful` method to accept
395    such info (#1178, #1197).
396  * `Score::channel_penalty_msat` has additional arguments describing the
397    channel's capacity and the HTLC amount being sent over the channel (#1166).
398  * A new log level `Gossip` has been added, which is used for verbose
399    information generated during network graph sync. Enabling the
400    `max_level_trace` feature or ignoring `Gossip` log entries reduces log
401    growth during initial start up from many GiB to several MiB (#1145).
402  * The `allow_wallclock_use` feature has been removed in favor of only using
403    the `std` and `no-std` features (#1212).
404  * `NetworkGraph` can now remove channels that we haven't heard updates for in
405    two weeks with `NetworkGraph::remove_stale_channels{,with_time}`. The first
406    is called automatically if a `NetGraphMsgHandler` is passed to
407    `BackgroundProcessor::start` (#1212).
408  * `InvoicePayer::pay_pubkey` was added to enable sending "keysend" payments to
409    supported recipients, using the `InvoicePayer` to handle retires (#1160).
410  * `user_payment_id` has been removed from `PaymentPurpose`, and
411    `ChannelManager::create_inbound_payment{,_for_hash}` (#1180).
412  * Updated documentation for several `ChannelManager` functions to remove stale
413    references to panics which no longer occur (#1201).
414  * The `Score` and `LockableScore` objects have moved into the
415    `routing::scoring` module instead of being in the `routing` module (#1166).
416  * The `Time` parameter to `ScorerWithTime` is no longer longer exposed,
417    instead being fixed based on the `std`/`no-std` feature (#1184).
418  * `ChannelDetails::balance_msat` was added to fetch a channel's balance
419    without subtracting the reserve values, lining up with on-chain claim amounts
420    less on-chain fees (#1203).
421  * An explicit `UserConfig::accept_inbound_channels` flag is now provided,
422    removing the need to set `min_funding_satoshis` to > 21 million BTC (#1173).
423  * Inbound channels that fail to see the funding transaction confirm within
424    2016 blocks are automatically force-closed with
425    `ClosureReason::FundingTimedOut` (#1083).
426  * We now accept a channel_reserve value of 0 from counterparties, as it is
427    insecure for our counterparty but not us (#1163).
428  * `NetAddress::OnionV2` parsing was removed as version 2 onion services are no
429    longer supported in modern Tor (#1204).
430  * Generation and signing of anchor outputs is now supported in the
431    `KeysInterface`, though no support for them exists in the channel itself (#1176)
432
433 ## Bug Fixes
434  * Fixed a race condition in `InvoicePayer` where paths may be retried after
435    the retry count has been exceeded. In this case the
436    `Event::PaymentPathFailed::all_paths_failed` field is not a reliable payment
437    failure indicator. There was no acceptable alternative indicator,
438    `Event::PaymentFailed` as been added to provide one (#1202).
439  * Reduced the blocks-before-timeout we expect of outgoing HTLCs before
440    refusing to forward. This check was overly strict and resulted in refusing
441    to forward som HTLCs to a next hop that had a lower security threshold than
442    us (#1119).
443  * LDK no longer attempt to update the channel fee for outbound channels when
444    we cannot afford the new fee. This could have caused force-closure by our
445    channel counterparty (#1054).
446  * Fixed several bugs which may have prevented the reliable broadcast of our
447    own channel announcements and updates (#1169).
448  * Fixed a rare bug which may have resulted in spurious route finding failures
449    when using last-hop hints and MPP with large value payments (#1168).
450  * `KeysManager::spend_spendable_outputs` no longer adds a change output that
451    is below the dust threshold for non-standard change scripts (#1131).
452  * Fixed a minor memory leak when attempting to send a payment that fails due
453    to an error when updating the `ChannelMonitor` (#1143).
454  * Fixed a bug where a `FeeEstimator` that returns values rounded to the next
455    sat/vbyte may result in force-closures (#1208).
456  * Handle MPP timeout HTLC error codes, instead of considering the recipient to
457    have sent an invalid error, removing them from the network graph (#1148)
458
459 ## Serialization Compatibility
460  * All above new events/fields are ignored by prior clients. All above new
461    events/fields are not present when reading objects serialized by prior
462    versions of the library.
463  * Payment secrets are now generated deterministically. This reduces the memory
464    footprint for inbound payments, however, newly-generated inbound payments
465    using `ChannelManager::create_inbound_payment{,_for_hash}` will not be
466    receivable using versions prior to 0.0.104.
467    `ChannelManager::create_inbound_payment{,_for_hash}_legacy` are provided for
468    backwards compatibility (#1177).
469  * `PaymentPurpose::InvoicePayment::user_payment_id` will be 0 when reading
470    objects written with 0.0.104 when read by 0.0.103 and previous (#1180).
471
472 In total, this release features 51 files changed, 5356 insertions, 2238
473 deletions in 107 commits from 9 authors, in alphabetical order:
474  * Antoine Riard
475  * Conor Okus
476  * Devrandom
477  * Duncan Dean
478  * Elias Rohrer
479  * Jeffrey Czyz
480  * Ken Sedgwick
481  * Matt Corallo
482  * Valentine Wallace
483
484
485 # 0.0.103 - 2021-11-02
486
487 ## API Updates
488  * This release is almost entirely focused on a new API in the
489    `lightning-invoice` crate - the `InvoicePayer`. `InvoicePayer` is a
490    struct which takes a reference to a `ChannelManager` and a `Router`
491    and retries payments as paths fail. It limits retries to a configurable
492    number, but is not serialized to disk and may retry additional times across
493    a serialization/load. In order to learn about failed payments, it must
494    receive `Event`s directly from the `ChannelManager`, wrapping a
495    user-provided `EventHandler` which it provides all unhandled events to
496    (#1059).
497  * `get_route` has been renamed `find_route` (#1059) and now takes a
498    `RouteParameters` struct in replacement of a number of its long list of
499    arguments (#1134). The `Payee` in the `RouteParameters` is stored in the
500    `Route` object returned and provided in the `RouteParameters` contained in
501    `Event::PaymentPathFailed` (#1059).
502  * `ChannelMonitor`s must now be persisted after calls that provide new block
503    data, prior to `MonitorEvent`s being passed back to `ChannelManager` for
504    processing. If you are using a `ChainMonitor` this is handled for you.
505    The `Persist` API has been updated to `Option`ally take the
506    `ChannelMonitorUpdate` as persistence events that result from chain data no
507    longer have a corresponding update (#1108).
508  * `routing::Score` now has a `payment_path_failed` method which it can use to
509    learn which channels often fail payments. It is automatically called by
510    `InvoicePayer` for failed payment paths (#1144).
511  * The default `Scorer` implementation is now a type alias to a type generic
512    across different clocks and supports serialization to persist scoring data
513    across restarts (#1146).
514  * `Event::PaymentSent` now includes the full fee which was spent across all
515    payment paths which were fulfilled or pending when the payment was fulfilled
516    (#1142).
517  * `Event::PaymentSent` and `Event::PaymentPathFailed` now include the
518    `PaymentId` which matches the `PaymentId` returned from
519    `ChannelManager::send_payment` or `InvoicePayer::pay_invoice` (#1059).
520  * `NetGraphMsgHandler` now takes a `Deref` to the `NetworkGraph`, allowing for
521    shared references to the graph data to make serialization and references to
522    the graph data in the `InvoicePayer`'s `Router` simpler (#1149).
523  * `routing::Score::channel_penalty_msat` has been updated to provide the
524    `NodeId` of both the source and destination nodes of a channel (#1133).
525
526 ## Bug Fixes
527  * Previous versions would often disconnect peers during initial graph sync due
528    to ping timeouts while processing large numbers of gossip messages. We now
529    delay disconnecting peers if we receive messages from them even if it takes
530    a while to receive a pong from them. Further, we avoid sending too many
531    gossip messages between pings to ensure we should always receive pongs in a
532    timely manner (#1137).
533  * If a payment was sent, creating an outbound HTLC and sending it to our
534    counterparty (implying the `ChannelMonitor` was persisted on disk), but the
535    `ChannelManager` was not persisted prior to shutdown/crash, no
536    `Event::PaymentPathFailed` event was generated if the HTLC was eventually
537    failed on chain. Events are now consistent irrespective of `ChannelManager`
538    persistence or non-persistence (#1104).
539
540 ## Serialization Compatibility
541  * All above new Events/fields are ignored by prior clients. All above new
542    Events/fields are not present when reading objects serialized by prior
543    versions of the library.
544  * Payments for which a `Route` was generated using a previous version or for
545    which the payment was originally sent by a previous version of the library
546    will not be retried by an `InvoicePayer`.
547
548 This release was singularly focused and some contributions by third parties
549 were delayed.
550 In total, this release features 38 files changed, 4414 insertions, and 969
551 deletions in 71 commits from 2 authors, in alphabetical order:
552
553  * Jeffrey Czyz
554  * Matt Corallo
555
556
557 # 0.0.102 - 2021-10-18
558
559 ## API Updates
560  * `get_route` now takes a `Score` as an argument. `Score` is queried during
561    the route-finding process, returning the absolute amounts which you are
562    willing to pay to avoid routing over a given channel. As a default, a
563    `Scorer` is provided which returns a constant amount, with a suggested
564    default of 500 msat. This translates to a willingness to pay up to 500 msat
565    in additional fees per hop in order to avoid additional hops (#1124).
566  * `Event::PaymentPathFailed` now contains a `short_channel_id` field which may
567    be filled in with a channel that can be "blamed" for the payment failure.
568    Payment retries should likely avoid the given channel for some time (#1077).
569  * `PublicKey`s in `NetworkGraph` have been replaced with a `NodeId` struct
570    which contains only a simple `[u8; 33]`, substantially improving
571    `NetworkGraph` deserialization performance (#1107).
572  * `ChainMonitor`'s `HashMap` of `ChannelMonitor`s is now private, exposed via
573    `Chainmonitor::get_monitor` and `ChainMonitor::list_monitors` instead
574    (#1112).
575  * When an outbound channel is closed prior to the broadcasting of its funding
576    transaction, but after you call
577    `ChannelManager::funding_transaction_generated`, a new event type,
578    `Event::DiscardFunding`, is generated, informing you the transaction was not
579    broadcasted and that you can spend the same inputs again elsewhere (#1098).
580  * `ChannelManager::create_channel` now returns the temporary channel ID which
581    may later appear in `Event::ChannelClosed` or `ChannelDetails` prior to the
582    channel being funded (#1121).
583  * `Event::PaymentSent` now contains the payment hash as well as the payment
584    preimage (#1062).
585  * `ReadOnlyNetworkGraph::get_addresses` now returns owned `NetAddress` rather
586    than references. As a side-effect this method is now exposed in foreign
587    language bindings (#1115).
588  * The `Persist` and `ChannelMonitorUpdateErr` types have moved to the
589    `lightning::chain::chainmonitor` and `lightning::chain` modules,
590    respectively (#1112).
591  * `ChannelManager::send_payment` now returns a `PaymentId` which identifies a
592    payment (whether MPP or not) and can be used to retry the full payment or
593    MPP parts through `retry_payment` (#1096). Note that doing so is currently
594    *not* crash safe, and you may find yourself sending twice. It is recommended
595    that you *not* use the `retry_payment` API until the next release.
596
597 ## Bug Fixes
598  * Due to an earlier fix for the Lightning dust inflation vulnerability tracked
599    in CVE-2021-41591/CVE-2021-41592/CVE-2021-41593 in 0.0.100, we required
600    counterparties to accept a dust limit slightly lower than the dust limit now
601    required by other implementations. This appeared as, at least, latest lnd
602    always refusing to accept channels opened by LDK clients (#1065).
603  * If there are multiple channels available to the same counterparty,
604    `get_route` would only consider the channel listed last as available for
605    sending (#1100).
606  * `Persist` implementations returning
607    `ChannelMonitorUpdateErr::TemporaryFailure` from `watch_channel` previously
608    resulted in the `ChannelMonitor` not being stored at all, resulting in a
609    panic after monitor updating is complete (#1112).
610  * If payments are pending awaiting forwarding at startup, an
611    `Event::PendingHTLCsForwardable` event will always be provided. This ensures
612    user code calls `ChannelManager::process_pending_htlc_fowards` even if it
613    shut down while awaiting the batching timer during the previous run (#1076).
614  * If a call to `ChannelManager::send_payment` failed due to lack of
615    availability of funds locally, LDK would store the payment as pending
616    forever, with no ability to retry or fail it, leaking memory (#1109).
617
618 ## Serialization Compatibility
619  * All above new Events/fields are ignored by prior clients. All above new
620    Events/fields, except for `Event::PaymentSent::payment_hash` are not present
621    when reading objects serialized by prior versions of the library.
622
623 In total, this release features 32 files changed, 2248 insertions, and 1483
624 deletions in 51 commits from 7 authors, in alphabetical order:
625
626  * 1nF0rmed
627  * Duncan Dean
628  * Elias Rohrer
629  * Galder Zamarreño
630  * Jeffrey Czyz
631  * Matt Corallo
632  * Valentine Wallace
633
634
635 # 0.0.101 - 2021-09-23
636
637 ## API Updates
638  * Custom message types are now supported directly in the `PeerManager`,
639    allowing you to send and receive messages of any type that is not natively
640    understood by LDK. This requires a new type bound on `PeerManager`, a
641    `CustomMessageHandler`. `IgnoringMessageHandler` provides a simple default
642    for this new bound for ignoring unknown messages (#1031, #1074).
643  * Route graph updates as a result of failed payments are no longer provided as
644    `MessageSendEvent::PaymentFailureNetworkUpdate` but instead included in a
645    new field in the `Event::PaymentFailed` events. Generally, this means route
646    graph updates are no longer handled as a part of the `PeerManager` but
647    instead through the new `EventHandler` implementation for
648    `NetGraphMsgHandler`. To make this easy, a new parameter to
649    `lightning-background-processor::BackgroundProcessor::start` is added, which
650    contains an `Option`al `NetGraphmsgHandler`. If provided as `Some`, relevant
651    events will be processed by the `NetGraphMsgHandler` prior to normal event
652    handling (#1043).
653  * `NetworkGraph` is now, itself, thread-safe. Accordingly, most functions now
654    take `&self` instead of `&mut self` and the graph data can be accessed
655    through `NetworkGraph.read_only` (#1043).
656  * The balances available on-chain to claim after a channel has been closed are
657    now exposed via `ChannelMonitor::get_claimable_balances` and
658    `ChainMonitor::get_claimable_balances`. The second can be used to get
659    information about all closed channels which still have on-chain balances
660    associated with them. See enum variants of `ln::channelmonitor::Balance` and
661    method documentation for the above methods for more information on the types
662    of balances exposed (#1034).
663  * When one HTLC of a multi-path payment fails, the new field `all_paths_failed`
664    in `Event::PaymentFailed` is set to `false`. This implies that the payment
665    has not failed, but only one part. Payment resolution is only indicated by an
666    `Event::PaymentSent` event or an `Event::PaymentFailed` with
667    `all_paths_failed` set to `true`, which is also set for the last remaining
668    part of a multi-path payment (#1053).
669  * To better capture the context described above, `Event::PaymentFailed` has
670    been renamed to `Event::PaymentPathFailed` (#1084).
671  * A new event, `ChannelClosed`, is provided by `ChannelManager` when a channel
672    is closed, including a reason and error message (if relevant, #997).
673  * `lightning-invoice` now considers invoices with sub-millisatoshi precision
674    to be invalid, and requires millisatoshi values during construction (thus
675    you must call `amount_milli_satoshis` instead of `amount_pico_btc`, #1057).
676  * The `BaseSign` interface now includes two new hooks which provide additional
677    information about commitment transaction signatures and revocation secrets
678    provided by our counterparty, allowing additional verification (#1039).
679  * The `BaseSign` interface now includes additional information for cooperative
680    close transactions, making it easier for a signer to verify requests (#1064).
681  * `Route` has two additional helper methods to get fees and amounts (#1063).
682  * `Txid` and `Transaction` objects can now be deserialized from responses when
683    using the HTTP client in the `lightning-block-sync` crate (#1037, #1061).
684
685 ## Bug Fixes
686  * Fix a panic when reading a lightning invoice with a non-recoverable
687    signature. Further, restrict lightning invoice parsing to require payment
688    secrets and better handle a few edge cases as required by BOLT 11 (#1057).
689  * Fix a panic when receiving multiple messages (such as HTLC fulfill messages)
690    after a call to `chain::Watch::update_channel` returned
691    `Err(ChannelMonitorUpdateErr::TemporaryFailure)` with no
692    `ChannelManager::channel_monitor_updated` call in between (#1066).
693  * For multi-path payments, `Event::PaymentSent` is no longer generated
694    multiple times, once for each independent part (#1053).
695  * Multi-hop route hints in invoices are now considered in the default router
696    provided via `get_route` (#1040).
697  * The time peers have to respond to pings has been increased when building
698    with debug assertions enabled. This avoids peer disconnections on slow hosts
699    when running in debug mode (#1051).
700  * The timeout for the first byte of a response for requests from the
701    `lightning-block-sync` crate has been increased to 300 seconds to better
702    handle the long hangs in Bitcoin Core when it syncs to disk (#1090).
703
704 ## Serialization Compatibility
705  * Due to a bug in 0.0.100, `Event`s written by 0.0.101 which are of a type not
706    understood by 0.0.100 may lead to `Err(DecodeError::InvalidValue)` or corrupt
707    deserialized objects in 0.100. Such `Event`s will lead to an
708    `Err(DecodeError::InvalidValue)` in versions prior to 0.0.100. The only such
709    new event written by 0.0.101 is `Event::ChannelClosed` (#1087).
710  * Payments that were initiated in versions prior to 0.0.101 may still
711    generate duplicate `PaymentSent` `Event`s or may have spurious values for
712    `Event::PaymentPathFailed::all_paths_failed` (#1053).
713  * The return values of `ChannelMonitor::get_claimable_balances` (and, thus,
714    `ChainMonitor::get_claimable_balances`) may be spurious for channels where
715    the spend of the funding transaction appeared on chain while running a
716    version prior to 0.0.101. `Balance` information should only be relied upon
717    for channels that were closed while running 0.0.101+ (#1034).
718  * Payments failed while running versions prior to 0.0.101 will never have a
719    `Some` for the `network_update` field (#1043).
720
721 In total, this release features 67 files changed, 4980 insertions, 1888
722 deletions in 89 commits from 12 authors, in alphabetical order:
723  * Antoine Riard
724  * Devrandom
725  * Galder Zamarreño
726  * Giles Cope
727  * Jeffrey Czyz
728  * Joseph Goulden
729  * Matt Corallo
730  * Sergi Delgado Segura
731  * Tibo-lg
732  * Valentine Wallace
733  * abhik-99
734  * vss96
735
736
737 # 0.0.100 - 2021-08-17
738
739 ## API Updates
740  * The `lightning` crate can now be built in no_std mode, making it easy to
741    target embedded hardware for rust users. Note that mutexes are replaced with
742    no-ops for such builds (#1008, #1028).
743  * LDK now supports sending and receiving "keysend" payments. This includes
744    modifications to `lightning::util::events::Event::PaymentReceived` to
745    indicate the type of payment (#967).
746  * A new variant, `lightning::util::events::Event::PaymentForwarded` has been
747    added which indicates a forwarded payment has been successfully claimed and
748    we've received a forwarding fee (#1004).
749  * `lightning::chain::keysinterface::KeysInterface::get_shutdown_pubkey` has
750    been renamed to `get_shutdown_scriptpubkey`, returns a script, and is now
751    called on channel open only if
752    `lightning::util::config::ChannelConfig::commit_upfront_shutdown_pubkey` is
753    set (#1019).
754  * Closing-signed negotiation is now more configurable, with an explicit
755    `lightning::util::config::ChannelConfig::force_close_avoidance_max_fee_satoshis`
756    field allowing you to select the maximum amount you are willing to pay to
757    avoid a force-closure. Further, we are now less restrictive on the fee
758    placed on the closing transaction when we are not the party paying it. To
759    control the feerate paid on a channel at close-time, use
760    `ChannelManager::close_channel_with_target_feerate` instead of
761    `close_channel` (#1011).
762  * `lightning_background_processor::BackgroundProcessor` now stops the
763    background thread when dropped (#1007). It is marked `#[must_use]` so that
764    Rust users will receive a compile-time warning when it is immediately
765    dropped after construction (#1029).
766  * Total potential funds burn on force-close due to dust outputs is now limited
767    to `lightning::util::config::ChannelConfig::max_dust_htlc_exposure_msat` per
768    channel (#1009).
769  * The interval on which
770    `lightning::ln::peer_handler::PeerManager::timer_tick_occurred` should be
771    called has been reduced to once every five seconds (#1035) and
772    `lightning::ln::channelmanager::ChannelManager::timer_tick_occurred` should
773    now be called on startup in addition to once per minute (#985).
774  * The rust-bitcoin and bech32 dependencies have been updated to their
775    respective latest versions (0.27 and 0.8, #1012).
776
777 ## Bug Fixes
778  * Fix panic when reading invoices generated by some versions of c-lightning
779    (#1002 and #1003).
780  * Fix panic when attempting to validate a signed message of incorrect length
781    (#1010).
782  * Do not ignore the route hints in invoices when the invoice is over 250k
783    sats (#986).
784  * Fees are automatically updated on outbound channels to ensure commitment
785    transactions are always broadcastable (#985).
786  * Fixes a rare case where a `lightning::util::events::Event::SpendableOutputs`
787    event is not generated after a counterparty commitment transaction is
788    confirmed in a reorg when a conflicting local commitment transaction is
789    removed in the same reorg (#1022).
790  * Fixes a remotely-triggerable force-closure of an origin channel after an
791    HTLC was forwarded over a next-hop channel and the next-hop channel was
792    force-closed by our counterparty (#1025).
793  * Fixes a rare force-closure case when sending a payment as a channel fundee
794    when overdrawing our remaining balance. Instead the send will fail (#998).
795  * Fixes a rare force-closure case when a payment was claimed prior to a
796    peer disconnection or restart, and later failed (#977).
797
798 ## Serialization Compatibility
799  * Pending inbound keysend payments which have neither been failed nor claimed
800    when serialized will result in a `ChannelManager` which is not readable on
801    pre-0.0.100 clients (#967).
802  * Because
803    `lightning::chain::keysinterface::KeysInterface::get_shutdown_scriptpubkey`
804    has been updated to return a script instead of only a `PublicKey`,
805    `ChannelManager`s constructed with custom `KeysInterface` implementations on
806    0.0.100 and later versions will not be readable on previous versions.
807    `ChannelManager`s created with 0.0.99 and prior versions will remain readable
808    even after the a serialization roundtrip on 0.0.100, as long as no new
809    channels are opened. Further, users using a
810    `lightning::chain::keysinterface::KeysManager` as their `KeysInterface` will
811    have `ChannelManager`s which are readable on prior versions as well (#1019).
812  * `ChannelMonitorUpdate`s created by 0.0.100 and later for channels when
813    `lightning::util::config::ChannelConfig::commit_upfront_shutdown_pubkey` is
814    not set may not be readable by versions prior to 0.0.100 (#1019).
815  * HTLCs which were in the process of being claimed on-chain when a pre-0.0.100
816    `ChannelMonitor` was serialized may generate `PaymentForwarded` events with
817    spurious `fee_earned_msat` values. This only applies to payments which were
818    unresolved at the time of the upgrade (#1004).
819  * 0.0.100 clients with pending `Event::PaymentForwarded` events at
820    serialization-time will generate serialized `ChannelManager` objects which
821    0.0.99 and earlier clients cannot read. The likelihood of this can be reduced
822    by ensuring you process all pending events immediately before serialization
823    (as is done by the `lightning-background-processor` crate, #1004).
824
825
826 In total, this release features 59 files changed, 5861 insertions, and 2082
827 deletions in 95 commits from 6 authors.
828
829
830 # 0.0.99 - 2021-07-09
831
832 ## API Updates
833
834  * `lightning_block_sync::poll::Validate` is now public, allowing you to
835    implement the `lightning_block_sync::poll::Poll` trait without
836    `lightning_block_sync::poll::ChainPoller` (#956).
837  * `lightning::ln::peer_handler::PeerManager` no longer requires that no calls
838    are made to referencing the same `SocketDescriptor` after
839    `disconnect_socket` returns. This makes the API significantly less
840    deadlock-prone and simplifies `SocketDescriptor` implementations
841    significantly. The relevant changes have been made to `lightning_net_tokio`
842    and `PeerManager` documentation has been substantially rewritten (#957).
843  * `lightning::util::message_signing`'s `sign` and `verify` methods now take
844    secret and public keys by reference instead of value (#974).
845  * Substantially more information is now exposed about channels in
846    `ChannelDetails`. See documentation for more info (#984 and #988).
847  * The latest best block seen is now exposed in
848    `ChannelManager::current_best_block` and
849    `ChannelMonitor::current_best_block` (#984).
850  * Feerates charged when forwarding payments over channels is now set in
851    `ChannelConfig::fee_base_msat` when the channel is opened. For existing
852    channels, the value is set to the value provided in
853    `ChannelManagerReadArgs::default_config::channel_options` the first time the
854    `ChannelManager` is loaded in 0.0.99 (#975).
855  * We now reject HTLCs which are received to be forwarded over private channels
856    unless `UserConfig::accept_forwards_to_priv_channels` is set. Note that
857    `UserConfig` is never serialized and must be provided via
858    `ChannelManagerReadArgs::default_config` at each start (#975).
859
860 ## Bug Fixes
861
862  * We now forward gossip messages to peers instead of only relaying
863    locally-generated gossip or sending gossip messages during initial sync
864    (#948).
865  * Correctly send `channel_update` messages to direct peers on private channels
866    (#949). Without this, a private node connected to an LDK node over a private
867    channel cannot receive funds as it does not know which fees the LDK node
868    will charge.
869  * `lightning::ln::channelmanager::ChannelManager` no longer expects to be
870    persisted spuriously after we receive a `channel_update` message about any
871    channel in the routing gossip (#972).
872  * Asynchronous `ChannelMonitor` updates (using the
873    `ChannelMonitorUpdateErr::TemporaryFailure` return variant) no longer cause
874    spurious HTLC forwarding failures (#954).
875  * Transaction provided via `ChannelMonitor::transactions_confirmed`
876    after `ChannelMonitor::best_block_updated` was called for a much later
877    block now trigger all relevant actions as of the later block. Previously
878    some transaction broadcasts or other responses required an additional
879    block be provided via `ChannelMonitor::best_block_updated` (#970).
880  * We no longer panic in rare cases when an invoice contained last-hop route
881    hints which were unusable (#958).
882
883 ## Node Compatibility
884
885  * We now accept spurious `funding_locked` messages sent prior to
886    `channel_reestablish` messages after reconnect. This is a
887    [known, long-standing bug in lnd](https://github.com/lightningnetwork/lnd/issues/4006)
888    (#966).
889  * We now set the `first_blocknum` and `number_of_blocks` fields in
890    `reply_channel_range` messages to values which c-lightning versions prior to
891    0.10 accepted. This avoids spurious force-closes from such nodes (#961).
892
893 ## Serialization Compatibility
894
895  * Due to a bug discovered in 0.0.98, if a `ChannelManager` is serialized on
896    version 0.0.98 while an `Event::PaymentSent` is pending processing, the
897    `ChannelManager` will fail to deserialize both on version 0.0.98 and later
898    versions. If you have such a `ChannelManager` available, a simple patch will
899    allow it to deserialize. Please file an issue if you need assistance (#973).
900
901 # 0.0.98 - 2021-06-11
902
903 0.0.98 should be considered a release candidate to the first alpha release of
904 Rust-Lightning and the broader LDK. It represents several years of work
905 designing and fine-tuning a flexible API for integrating lightning into any
906 application. LDK should make it easy to build a lightning node or client which
907 meets specific requirements that other lightning node software cannot. As
908 lightning continues to evolve, and new use-cases for lightning develop, the API
909 of LDK will continue to change and expand. However, starting with version 0.1,
910 objects serialized with prior versions will be readable with the latest LDK.
911 While Rust-Lightning is approaching the 0.1 milestone, language bindings
912 components of LDK available at https://github.com/lightningdevkit are still of
913 varying quality. Some are also approaching an 0.1 release, while others are
914 still much more experimental. Please note that, at 0.0.98, using Rust-Lightning
915 on mainnet is *strongly* discouraged.