0.0.103 CHANGELOG tweaks from Jeff
[rust-lightning] / CHANGELOG.md
1 # 0.0.103 - 2021-11-02
2
3 ## API Updates
4  * This release is almost entirely focused on a new API in the
5    `lightning-invoice` crate - the `InvoicePayer`. `InvoicePayer` is a
6    struct which takes a reference to a `ChannelManager` and a `Router`
7    and retries payments as paths fail. It limits retries to a configurable
8    number, but is not serialized to disk and may retry additional times across
9    a serialization/load. In order to learn about failed payments, it must
10    receive `Event`s directly from the `ChannelManager`, wrapping a
11    user-provided `EventHandler` which it provides all unhandled events to
12    (#1059).
13  * `get_route` has been renamed `find_route` (#1059) and now takes a
14    `RouteParameters` struct in replacement of a number of its long list of
15    arguments (#1134). The `Payee` in the `RouteParameters` is stored in the
16    `Route` object returned and provided in the `RouteParameters` contained in
17    `Event::PaymentPathFailed` (#1059).
18  * `ChannelMonitor`s must now be persisted after calls that provide new block
19    data, prior to `MonitorEvent`s being passed back to `ChannelManager` for
20    processing. If you are using a `ChainMonitor` this is handled for you.
21    The `Persist` API has been updated to `Option`ally take the
22    `ChannelMonitorUpdate` as persistence events that result from chain data no
23    longer have a corresponding update (#1108).
24  * `routing::Score` now has a `payment_path_failed` method which it can use to
25    learn which channels often fail payments. It is automatically called by
26    `InvoicePayer` for failed payment paths (#1144).
27  * The default `Scorer` implementation is now a type alias to a type generic
28    across different clocks and supports serialization to persist scoring data
29    across restarts (#1146).
30  * `Event::PaymentSent` now includes the full fee which was spent across all
31    payment paths which were fulfilled or pending when the payment was fulfilled
32    (#1142).
33  * `NetGraphMsgHandler` now takes a `Deref` to the `NetworkGraph`, allowing for
34    shared references to the graph data to make serialization and references to
35    the graph data in the `InvoicePayer`'s `Router` simpler (#1149).
36  * `routing::Score::channel_penalty_msat` has been updated to provide the
37    `NodeId` of both the source and destination nodes of a channel (#1133).
38
39 ## Bug Fixes
40  * Previous versions would often disconnect peers during initial graph sync due
41    to ping timeouts while processing large numbers of gossip messages. We now
42    delay disconnecting peers if we receive messages from them even if it takes
43    a while to receive a pong from them. Further, we avoid sending too many
44    gossip messages between pings to ensure we should always receive pongs in a
45    timely manner (#1137).
46  * If a payment was sent, creating an outbound HTLC and sending it to our
47    counterparty (implying the `ChannelMonitor` was persisted on disk), but the
48    `ChannelManager` was not persisted prior to shutdown/crash, no
49    `Event::PaymentPathFailed` event was generated if the HTLC was eventually
50    failed on chain. Events are now consistent irrespective of `ChannelManager`
51    persistence or non-persistence (#1104).
52
53 ## Serialization Compatibility
54  * All above new Events/fields are ignored by prior clients. All above new
55    Events/fields are not present when reading objects serialized by prior
56    versions of the library.
57  * Payments for which a `Route` was generated using a previous version or for
58    which the payment was originally sent by a previous version of the library
59    will not be retried by an `InvoicePayer`.
60
61 This release was singularly focused and some contributions by third parties
62 were delayed.
63 In total, this release features 38 files changed, 4414 insertions, and 969
64 deletions in 71 commits from 2 authors, in alphabetical order:
65
66  * Jeffrey Czyz
67  * Matt Corallo
68
69
70 # 0.0.102 - 2021-10-18
71
72 ## API Updates
73  * `get_route` now takes a `Score` as an argument. `Score` is queried during
74    the route-finding process, returning the absolute amounts which you are
75    willing to pay to avoid routing over a given channel. As a default, a
76    `Scorer` is provided which returns a constant amount, with a suggested
77    default of 500 msat. This translates to a willingness to pay up to 500 msat
78    in additional fees per hop in order to avoid additional hops (#1124).
79  * `Event::PaymentPathFailed` now contains a `short_channel_id` field which may
80    be filled in with a channel that can be "blamed" for the payment failure.
81    Payment retries should likely avoid the given channel for some time (#1077).
82  * `PublicKey`s in `NetworkGraph` have been replaced with a `NodeId` struct
83    which contains only a simple `[u8; 33]`, substantially improving
84    `NetworkGraph` deserialization performance (#1107).
85  * `ChainMonitor`'s `HashMap` of `ChannelMonitor`s is now private, exposed via
86    `Chainmonitor::get_monitor` and `ChainMonitor::list_monitors` instead
87    (#1112).
88  * When an outbound channel is closed prior to the broadcasting of its funding
89    transaction, but after you call
90    `ChannelManager::funding_transaction_generated`, a new event type,
91    `Event::DiscardFunding`, is generated, informing you the transaction was not
92    broadcasted and that you can spend the same inputs again elsewhere (#1098).
93  * `ChannelManager::create_channel` now returns the temporary channel ID which
94    may later appear in `Event::ChannelClosed` or `ChannelDetails` prior to the
95    channel being funded (#1121).
96  * `Event::PaymentSent` now contains the payment hash as well as the payment
97    preimage (#1062).
98  * `ReadOnlyNetworkGraph::get_addresses` now returns owned `NetAddress` rather
99    than references. As a side-effect this method is now exposed in foreign
100    language bindings (#1115).
101  * The `Persist` and `ChannelMonitorUpdateErr` types have moved to the
102    `lightning::chain::chainmonitor` and `lightning::chain` modules,
103    respectively (#1112).
104  * `ChannelManager::send_payment` now returns a `PaymentId` which identifies a
105    payment (whether MPP or not) and can be used to retry the full payment or
106    MPP parts through `retry_payment` (#1096). Note that doing so is currently
107    *not* crash safe, and you may find yourself sending twice. It is recommended
108    that you *not* use the `retry_payment` API until the next release.
109
110 ## Bug Fixes
111  * Due to an earlier fix for the Lightning dust inflation vulnerability tracked
112    in CVE-2021-41591/CVE-2021-41592/CVE-2021-41593 in 0.0.100, we required
113    counterparties to accept a dust limit slightly lower than the dust limit now
114    required by other implementations. This appeared as, at least, latest lnd
115    always refusing to accept channels opened by LDK clients (#1065).
116  * If there are multiple channels available to the same counterparty,
117    `get_route` would only consider the channel listed last as available for
118    sending (#1100).
119  * `Persist` implementations returning
120    `ChannelMonitorUpdateErr::TemporaryFailure` from `watch_channel` previously
121    resulted in the `ChannelMonitor` not being stored at all, resulting in a
122    panic after monitor updating is complete (#1112).
123  * If payments are pending awaiting forwarding at startup, an
124    `Event::PendingHTLCsForwardable` event will always be provided. This ensures
125    user code calls `ChannelManager::process_pending_htlc_fowards` even if it
126    shut down while awaiting the batching timer during the previous run (#1076).
127  * If a call to `ChannelManager::send_payment` failed due to lack of
128    availability of funds locally, LDK would store the payment as pending
129    forever, with no ability to retry or fail it, leaking memory (#1109).
130
131 ## Serialization Compatibility
132  * All above new Events/fields are ignored by prior clients. All above new
133    Events/fields, except for `Event::PaymentSent::payment_hash` are not present
134    when reading objects serialized by prior versions of the library.
135
136 In total, this release features 32 files changed, 2248 insertions, and 1483
137 deletions in 51 commits from 7 authors, in alphabetical order:
138
139  * 1nF0rmed
140  * Duncan Dean
141  * Elias Rohrer
142  * Galder Zamarreño
143  * Jeffrey Czyz
144  * Matt Corallo
145  * Valentine Wallace
146
147
148 # 0.0.101 - 2021-09-23
149
150 ## API Updates
151  * Custom message types are now supported directly in the `PeerManager`,
152    allowing you to send and receive messages of any type that is not natively
153    understood by LDK. This requires a new type bound on `PeerManager`, a
154    `CustomMessageHandler`. `IgnoringMessageHandler` provides a simple default
155    for this new bound for ignoring unknown messages (#1031, #1074).
156  * Route graph updates as a result of failed payments are no longer provided as
157    `MessageSendEvent::PaymentFailureNetworkUpdate` but instead included in a
158    new field in the `Event::PaymentFailed` events. Generally, this means route
159    graph updates are no longer handled as a part of the `PeerManager` but
160    instead through the new `EventHandler` implementation for
161    `NetGraphMsgHandler`. To make this easy, a new parameter to
162    `lightning-background-processor::BackgroundProcessor::start` is added, which
163    contains an `Option`al `NetGraphmsgHandler`. If provided as `Some`, relevant
164    events will be processed by the `NetGraphMsgHandler` prior to normal event
165    handling (#1043).
166  * `NetworkGraph` is now, itself, thread-safe. Accordingly, most functions now
167    take `&self` instead of `&mut self` and the graph data can be accessed
168    through `NetworkGraph.read_only` (#1043).
169  * The balances available on-chain to claim after a channel has been closed are
170    now exposed via `ChannelMonitor::get_claimable_balances` and
171    `ChainMonitor::get_claimable_balances`. The second can be used to get
172    information about all closed channels which still have on-chain balances
173    associated with them. See enum variants of `ln::channelmonitor::Balance` and
174    method documentation for the above methods for more information on the types
175    of balances exposed (#1034).
176  * When one HTLC of a multi-path payment fails, the new field `all_paths_failed`
177    in `Event::PaymentFailed` is set to `false`. This implies that the payment
178    has not failed, but only one part. Payment resolution is only indicated by an
179    `Event::PaymentSent` event or an `Event::PaymentFailed` with
180    `all_paths_failed` set to `true`, which is also set for the last remaining
181    part of a multi-path payment (#1053).
182  * To better capture the context described above, `Event::PaymentFailed` has
183    been renamed to `Event::PaymentPathFailed` (#1084).
184  * A new event, `ChannelClosed`, is provided by `ChannelManager` when a channel
185    is closed, including a reason and error message (if relevant, #997).
186  * `lightning-invoice` now considers invoices with sub-millisatoshi precision
187    to be invalid, and requires millisatoshi values during construction (thus
188    you must call `amount_milli_satoshis` instead of `amount_pico_btc`, #1057).
189  * The `BaseSign` interface now includes two new hooks which provide additional
190    information about commitment transaction signatures and revocation secrets
191    provided by our counterparty, allowing additional verification (#1039).
192  * The `BaseSign` interface now includes additional information for cooperative
193    close transactions, making it easier for a signer to verify requests (#1064).
194  * `Route` has two additional helper methods to get fees and amounts (#1063).
195  * `Txid` and `Transaction` objects can now be deserialized from responses when
196    using the HTTP client in the `lightning-block-sync` crate (#1037, #1061).
197
198 ## Bug Fixes
199  * Fix a panic when reading a lightning invoice with a non-recoverable
200    signature. Further, restrict lightning invoice parsing to require payment
201    secrets and better handle a few edge cases as required by BOLT 11 (#1057).
202  * Fix a panic when receiving multiple messages (such as HTLC fulfill messages)
203    after a call to `chain::Watch::update_channel` returned
204    `Err(ChannelMonitorUpdateErr::TemporaryFailure)` with no
205    `ChannelManager::channel_monitor_updated` call in between (#1066).
206  * For multi-path payments, `Event::PaymentSent` is no longer generated
207    multiple times, once for each independent part (#1053).
208  * Multi-hop route hints in invoices are now considered in the default router
209    provided via `get_route` (#1040).
210  * The time peers have to respond to pings has been increased when building
211    with debug assertions enabled. This avoids peer disconnections on slow hosts
212    when running in debug mode (#1051).
213  * The timeout for the first byte of a response for requests from the
214    `lightning-block-sync` crate has been increased to 300 seconds to better
215    handle the long hangs in Bitcoin Core when it syncs to disk (#1090).
216
217 ## Serialization Compatibility
218  * Due to a bug in 0.0.100, `Event`s written by 0.0.101 which are of a type not
219    understood by 0.0.100 may lead to `Err(DecodeError::InvalidValue)` or corrupt
220    deserialized objects in 0.100. Such `Event`s will lead to an
221    `Err(DecodeError::InvalidValue)` in versions prior to 0.0.100. The only such
222    new event written by 0.0.101 is `Event::ChannelClosed` (#1087).
223  * Payments that were initiated in versions prior to 0.0.101 may still
224    generate duplicate `PaymentSent` `Event`s or may have spurious values for
225    `Event::PaymentPathFailed::all_paths_failed` (#1053).
226  * The return values of `ChannelMonitor::get_claimable_balances` (and, thus,
227    `ChainMonitor::get_claimable_balances`) may be spurious for channels where
228    the spend of the funding transaction appeared on chain while running a
229    version prior to 0.0.101. `Balance` information should only be relied upon
230    for channels that were closed while running 0.0.101+ (#1034).
231  * Payments failed while running versions prior to 0.0.101 will never have a
232    `Some` for the `network_update` field (#1043).
233
234 In total, this release features 67 files changed, 4980 insertions, 1888
235 deletions in 89 commits from 12 authors, in alphabetical order:
236  * Antoine Riard
237  * Devrandom
238  * Galder Zamarreño
239  * Giles Cope
240  * Jeffrey Czyz
241  * Joseph Goulden
242  * Matt Corallo
243  * Sergi Delgado Segura
244  * Tibo-lg
245  * Valentine Wallace
246  * abhik-99
247  * vss96
248
249
250 # 0.0.100 - 2021-08-17
251
252 ## API Updates
253  * The `lightning` crate can now be built in no_std mode, making it easy to
254    target embedded hardware for rust users. Note that mutexes are replaced with
255    no-ops for such builds (#1008, #1028).
256  * LDK now supports sending and receiving "keysend" payments. This includes
257    modifications to `lightning::util::events::Event::PaymentReceived` to
258    indicate the type of payment (#967).
259  * A new variant, `lightning::util::events::Event::PaymentForwarded` has been
260    added which indicates a forwarded payment has been successfully claimed and
261    we've received a forwarding fee (#1004).
262  * `lightning::chain::keysinterface::KeysInterface::get_shutdown_pubkey` has
263    been renamed to `get_shutdown_scriptpubkey`, returns a script, and is now
264    called on channel open only if
265    `lightning::util::config::ChannelConfig::commit_upfront_shutdown_pubkey` is
266    set (#1019).
267  * Closing-signed negotiation is now more configurable, with an explicit
268    `lightning::util::config::ChannelConfig::force_close_avoidance_max_fee_satoshis`
269    field allowing you to select the maximum amount you are willing to pay to
270    avoid a force-closure. Further, we are now less restrictive on the fee
271    placed on the closing transaction when we are not the party paying it. To
272    control the feerate paid on a channel at close-time, use
273    `ChannelManager::close_channel_with_target_feerate` instead of
274    `close_channel` (#1011).
275  * `lightning_background_processor::BackgroundProcessor` now stops the
276    background thread when dropped (#1007). It is marked `#[must_use]` so that
277    Rust users will receive a compile-time warning when it is immediately
278    dropped after construction (#1029).
279  * Total potential funds burn on force-close due to dust outputs is now limited
280    to `lightning::util::config::ChannelConfig::max_dust_htlc_exposure_msat` per
281    channel (#1009).
282  * The interval on which
283    `lightning::ln::peer_handler::PeerManager::timer_tick_occurred` should be
284    called has been reduced to once every five seconds (#1035) and
285    `lightning::ln::channelmanager::ChannelManager::timer_tick_occurred` should
286    now be called on startup in addition to once per minute (#985).
287  * The rust-bitcoin and bech32 dependencies have been updated to their
288    respective latest versions (0.27 and 0.8, #1012).
289
290 ## Bug Fixes
291  * Fix panic when reading invoices generated by some versions of c-lightning
292    (#1002 and #1003).
293  * Fix panic when attempting to validate a signed message of incorrect length
294    (#1010).
295  * Do not ignore the route hints in invoices when the invoice is over 250k
296    sats (#986).
297  * Fees are automatically updated on outbound channels to ensure commitment
298    transactions are always broadcastable (#985).
299  * Fixes a rare case where a `lightning::util::events::Event::SpendableOutputs`
300    event is not generated after a counterparty commitment transaction is
301    confirmed in a reorg when a conflicting local commitment transaction is
302    removed in the same reorg (#1022).
303  * Fixes a remotely-triggerable force-closure of an origin channel after an
304    HTLC was forwarded over a next-hop channel and the next-hop channel was
305    force-closed by our counterparty (#1025).
306  * Fixes a rare force-closure case when sending a payment as a channel fundee
307    when overdrawing our remaining balance. Instead the send will fail (#998).
308  * Fixes a rare force-closure case when a payment was claimed prior to a
309    peer disconnection or restart, and later failed (#977).
310
311 ## Serialization Compatibility
312  * Pending inbound keysend payments which have neither been failed nor claimed
313    when serialized will result in a `ChannelManager` which is not readable on
314    pre-0.0.100 clients (#967).
315  * Because
316    `lightning::chain::keysinterface::KeysInterface::get_shutdown_scriptpubkey`
317    has been updated to return a script instead of only a `PublicKey`,
318    `ChannelManager`s constructed with custom `KeysInterface` implementations on
319    0.0.100 and later versions will not be readable on previous versions.
320    `ChannelManager`s created with 0.0.99 and prior versions will remain readable
321    even after the a serialization roundtrip on 0.0.100, as long as no new
322    channels are opened. Further, users using a
323    `lightning::chain::keysinterface::KeysManager` as their `KeysInterface` will
324    have `ChannelManager`s which are readable on prior versions as well (#1019).
325  * `ChannelMonitorUpdate`s created by 0.0.100 and later for channels when
326    `lightning::util::config::ChannelConfig::commit_upfront_shutdown_pubkey` is
327    not set may not be readable by versions prior to 0.0.100 (#1019).
328  * HTLCs which were in the process of being claimed on-chain when a pre-0.0.100
329    `ChannelMonitor` was serialized may generate `PaymentForwarded` events with
330    spurious `fee_earned_msat` values. This only applies to payments which were
331    unresolved at the time of the upgrade (#1004).
332  * 0.0.100 clients with pending `Event::PaymentForwarded` events at
333    serialization-time will generate serialized `ChannelManager` objects which
334    0.0.99 and earlier clients cannot read. The likelihood of this can be reduced
335    by ensuring you process all pending events immediately before serialization
336    (as is done by the `lightning-background-processor` crate, #1004).
337
338
339 In total, this release features 59 files changed, 5861 insertions, and 2082
340 deletions in 95 commits from 6 authors.
341
342
343 # 0.0.99 - 2021-07-09
344
345 ## API Updates
346
347  * `lightning_block_sync::poll::Validate` is now public, allowing you to
348    implement the `lightning_block_sync::poll::Poll` trait without
349    `lightning_block_sync::poll::ChainPoller` (#956).
350  * `lightning::ln::peer_handler::PeerManager` no longer requires that no calls
351    are made to referencing the same `SocketDescriptor` after
352    `disconnect_socket` returns. This makes the API significantly less
353    deadlock-prone and simplifies `SocketDescriptor` implementations
354    significantly. The relevant changes have been made to `lightning_net_tokio`
355    and `PeerManager` documentation has been substantially rewritten (#957).
356  * `lightning::util::message_signing`'s `sign` and `verify` methods now take
357    secret and public keys by reference instead of value (#974).
358  * Substantially more information is now exposed about channels in
359    `ChannelDetails`. See documentation for more info (#984 and #988).
360  * The latest best block seen is now exposed in
361    `ChannelManager::current_best_block` and
362    `ChannelMonitor::current_best_block` (#984).
363  * Feerates charged when forwarding payments over channels is now set in
364    `ChannelConfig::fee_base_msat` when the channel is opened. For existing
365    channels, the value is set to the value provided in
366    `ChannelManagerReadArgs::default_config::channel_options` the first time the
367    `ChannelManager` is loaded in 0.0.99 (#975).
368  * We now reject HTLCs which are received to be forwarded over private channels
369    unless `UserConfig::accept_forwards_to_priv_channels` is set. Note that
370    `UserConfig` is never serialized and must be provided via
371    `ChannelManagerReadArgs::default_config` at each start (#975).
372
373 ## Bug Fixes
374
375  * We now forward gossip messages to peers instead of only relaying
376    locally-generated gossip or sending gossip messages during initial sync
377    (#948).
378  * Correctly send `channel_update` messages to direct peers on private channels
379    (#949). Without this, a private node connected to an LDK node over a private
380    channel cannot receive funds as it does not know which fees the LDK node
381    will charge.
382  * `lightning::ln::channelmanager::ChannelManager` no longer expects to be
383    persisted spuriously after we receive a `channel_update` message about any
384    channel in the routing gossip (#972).
385  * Asynchronous `ChannelMonitor` updates (using the
386    `ChannelMonitorUpdateErr::TemporaryFailure` return variant) no longer cause
387    spurious HTLC forwarding failures (#954).
388  * Transaction provided via `ChannelMonitor::transactions_confirmed`
389    after `ChannelMonitor::best_block_updated` was called for a much later
390    block now trigger all relevant actions as of the later block. Previously
391    some transaction broadcasts or other responses required an additional
392    block be provided via `ChannelMonitor::best_block_updated` (#970).
393  * We no longer panic in rare cases when an invoice contained last-hop route
394    hints which were unusable (#958).
395
396 ## Node Compatibility
397
398  * We now accept spurious `funding_locked` messages sent prior to
399    `channel_reestablish` messages after reconnect. This is a
400    [known, long-standing bug in lnd](https://github.com/lightningnetwork/lnd/issues/4006)
401    (#966).
402  * We now set the `first_blocknum` and `number_of_blocks` fields in
403    `reply_channel_range` messages to values which c-lightning versions prior to
404    0.10 accepted. This avoids spurious force-closes from such nodes (#961).
405
406 ## Serialization Compatibility
407
408  * Due to a bug discovered in 0.0.98, if a `ChannelManager` is serialized on
409    version 0.0.98 while an `Event::PaymentSent` is pending processing, the
410    `ChannelManager` will fail to deserialize both on version 0.0.98 and later
411    versions. If you have such a `ChannelManager` available, a simple patch will
412    allow it to deserialize. Please file an issue if you need assistance (#973).
413
414 # 0.0.98 - 2021-06-11
415
416 0.0.98 should be considered a release candidate to the first alpha release of
417 Rust-Lightning and the broader LDK. It represents several years of work
418 designing and fine-tuning a flexible API for integrating lightning into any
419 application. LDK should make it easy to build a lightning node or client which
420 meets specific requirements that other lightning node software cannot. As
421 lightning continues to evolve, and new use-cases for lightning develop, the API
422 of LDK will continue to change and expand. However, starting with version 0.1,
423 objects serialized with prior versions will be readable with the latest LDK.
424 While Rust-Lightning is approaching the 0.1 milestone, language bindings
425 components of LDK available at https://github.com/lightningdevkit are still of
426 varying quality. Some are also approaching an 0.1 release, while others are
427 still much more experimental. Please note that, at 0.0.98, using Rust-Lightning
428 on mainnet is *strongly* discouraged.