Merge pull request #2985 from TheBlueMatt/2024-03-fix-upgradable-enum-121

Cut 0.0.122 with just #2969, #2897, and #2937

Bump LDK to 0.0.122/invoice 0.30

Keep newlines between releases in CHANGELOG consistent

Add release note for 0.0.122 with just one PR.

Avoid writing `ChannelManager` when hitting lnd bug 6039

When we hit lnd bug 6039, we end up sending error messages to peers
in a loop. This should be fine, but because we used the generic
`PersistenceNotifierGuard::notify_on_drop` lock above the specific
handling, we end up writing `ChannelManager` every time we manage a
round-trip to our peer.

This can add up quite quickly, and isn't actually changing, so we
really need to avoid writing the `ChannelManager` in this case.

Fix `Route` serialization round-trip

When the `max_total_routing_fee_msat` parameter was added to
`RouteParameters`, the serialization used `map` to get the max fee,
accidentally writing an `Option<Option<u64>>`, but then read it as
an `Option<u64>`. Thus, any `Route`s with a `route_params` written
will fail to be read back.

Luckily, this is an incredibly rarely-used bit of code, so only one
user managed to hit it.

Fix blinded path serialization in `Route`

`Route`'s blinded_path serialization logic writes a blinded path
`Option` per path hop, however on read we (correctly) only read one
blinded path `Option` per path. This causes serialization of
`Route`s with blinded paths to fail to round-trip.

Here we fix this by writing blinded paths per path.

Allow `MaybeReadable` to not fully read in `upgradable_option`

Whils this is generally not supported, issues in our
`MaybeReadable` implementations may occur, and we should try to be
robust against them.

Ensure we read the full TLV stream length when maybe-reading `None`

If we are reading an object that is `MaybeReadable` in a TLV stream
using `upgradable_required`, it may return early with `Ok(None)`.
In this case, it will not read any further TLVs from the TLV
stream. This is fine, except that we generally expect
`MaybeReadable` always consume the correct number of bytes for the
full object, even if it doesn't understand it.

This could pose a problem, for example, in cases where we're
reading a TLV-stream `MaybeReadable` object inside another
TLV-stream object. In that case, the `MaybeReadable` object may
return `Ok(None)` and not consume all the available bytes, causing
the outer TLV read to fail as the TLV length does not match.

Fix unknown handling in `impl_writeable_tlv_based_enum_upgradable`

`impl_writeable_tlv_based_enum_upgradable` professed to supporting
upgrades by returning `None` from `MaybeReadable` when unknown
variants written by newer versions of LDK were read. However, it
generally didn't support this as it didn't discard bytes for
unknown types, resulting in corrupt reading.

This is fixed here for enum variants written as a TLV stream,
however we don't have a length prefix for tuple enum variants, so
the documentation on the macro is updated to mention that
downgrades are not supported for tuple variants.

Merge pull request #2844 from TheBlueMatt/2024-01-cut-121

Release 0.0.121

Bump versions to LDK 0.0.121/invoice 0.29

Add CHANGELOG entry for 0.0.121

Merge pull request #2841 from TheBlueMatt/2024-01-batch-deadlock

Fix deadlock when handling bad calls to `batch_funding.._generated`

Merge pull request #2842 from jkczyz/2024-01-fix-peer-handler-unwrap

Fix panic when peer is mid-handshake

Remove unnecessary unwraps

Fix panic when peer is mid-handshake

Peer::their_node_id is set to Some during the handshake process.
However, df3ab2ee2753e7f9ec02ddf1c8a51db77c50e35d accesses the field
unconditionally, causing a panic. This may be triggered if a gossip
message is received mid-handshake from another peer or if the user calls
broadcast_node_announcement during this time. The latter tends to be
executed on a timer.

Ensure that Peer::their_node_id is only accessed once the handshake is
complete.

Fix deadlock when handling bad calls to `batch_funding.._generated`

When handling calls to `batch_funding_transaction_generated` which
were missing outputs for one of the batch channels, we'd previously
deadlock when trying to clean up the now-closed channels. This
fixes that and adds a new test case for it.

Found by the full_stack_target fuzzer.

Merge pull request #2835 from TheBlueMatt/2024-01-cut-120

Change v0.0.120 release name

Change v0.0.120 release name

"Un"blinded makes more sense, since the fuzzer was unblinded :)

Merge pull request #2834 from TheBlueMatt/2024-01-cut-120

Cut 0.0.120

Bump crate versions to 0.0.120/invoice 0.28

Add CHANGELOG entry for 0.0.120

Merge pull request #2818 from valentinewallace/2024-01-blinded-path-retries

Avoid retrying over previously failed blinded paths

Merge pull request #2828 from TheBlueMatt/2024-01-crypto-module

Move cryptographic algorithms and utilities to a new `crypto` mod

Test that we won't retry over previously failed blinded paths.

Test util: separate out code to construct a blinded path.

Avoid building routes over previously failed blinded payment paths.

Store previously failed blinded paths on outbound payment failure.

Useful so we don't retry over these paths.

Persist previously failed blinded paths in RouteParameters.

Useful so we don't retry over these paths.

Add failed_within_blinded_path to DecodedOnionFailure.

Will be used to ensure correctness when we store previously failed blinded
paths to avoid retrying over them.

Add failed_within_blinded_path to onion util internal struct.

Will be used to ensure correctness when we store previously failed blinded
paths to avoid retrying over them.

Merge pull request #2831 from jkczyz/2024-01-fix-cltv-expiry-delta

Use consistent `cltv_expiry_delta` in `ForwardTlvs`

Merge pull request #2832 from p2pderivatives/fix-ln-net-tokio-dropping-messages

Fix lightning-net-tokio sometimes dropping messages

Merge pull request #2812 from valentinewallace/2023-12-blinded-forwarding

Complete route blinding support

Fix lightning-net-tokio sometimes dropping messages

Use consistent cltv_expiry_delta in ForwardTlvs

When converting from CounterpartyForwardingInfo to PaymentRelay, the
cltv_expiry_delta is copied. Then, when forming a blinded payment path,
the value is mutated so that esoteric values don't reveal information
about the path. However, the value was only used in computing
PaymentConstraints and wasn't actually updated in PaymentRelay. Move the
logic for modifying the cltv_expiry_delta to the conversion code to
avoid this inconsistency.

Advertise route blinding feature as supported.

Now that we fully support forwarding blinded payments, we should advertise
support so nodes on the network can include us in their blinded paths.

Fix sender double-including shadow offset in CLTV expiry height.

The excess delta is included in the final RouteHop::cltv_expiry_delta, so by
adding it explicitly to cur_cltv we were erroneously including it twice in the
total cltv expiry.

This could've add up to an extra MAX_SHADOW_CLTV_DELTA_OFFSET (432) blocks to
the total cltv expiry.

Rename test var to be more descriptive.

Complete remaining TODOs for failing blinded non-intro forwards.

Add failure mode info to BlindedForward struct.

See added docs.

Move cryptographic algorithms and utilities to a new `crypto` mod

As we'd generally like the `lightning` crate to, over time, have
more modules rather than being very monolithic, we should move the
cryptographic things into their own module, which we do here.

We also take this opportunity to move stream adapters into their
own module and make clear that the ChaChaPoly `decrypt` method is
variable time.

Merge pull request #2824 from shuoer86/main

Fix typos

Fix typo lightning/src/util/wakers.rs

Fix typo lightning/src/routing/router.rs

Fix typo lightning/src/ln/peer_handler.rs

Fix typo lightning-invoice/src/ser.rs

Fix typo CONTRIBUTING.md

Merge pull request #2800 from optout21/channel-close-add-funding

Add channel funding txo to Channel Event::ChannelClosed

Merge pull request #2822 from TheBlueMatt/2024-01-pm-dyn-ref

Drop `PeerManager` type bound on `UtxoLookup` entirely

Make BlindedFailure enum pub.

Necessary to include it in the public PendingHTLCInfo struct in the next commit.

Test successful payment to 3-hop blinded path.

Fix final blinded hop CLTV expiry on send.

Previously, we were setting the final blinded hop's CLTV expiry height to
best_block_height + total_blinded_path_cltv_delta + shadow_cltv_offset. This is
incorrect, it should instead be set to best_block_height + shadow_cltv_offset
only -- it doesn't make sense to include the delta for the other blinded hops
in the final hop's expiry.

The reason this too-high final cltv value didn't cause test failures previously
is because of a 2nd bug that is fixed in an upcoming commit where the sender
adds the shadow offset twice to the total path CLTV expiry. This 2nd offset
meant that intermediate nodes had some buffer CLTV to subtract their delta from
while still (usually) have enough leftover to meet the expiry in the final hop's
onion.

Support forwarding blinded HTLCs as non-intro node.

Error handling will be completed in upcoming commit(s).

Merge pull request #2801 from valentinewallace/2023-12-rb-groundwork-followups

#2128 follow-ups

Merge pull request #2820 from TheBlueMatt/2024-01-fuzz-ooo-monitor-updates

Test individual monitor update compl in chanmon_consistency fuzzer

Merge pull request #2821 from TheBlueMatt/2024-01-om-direct-export

Expose `onion_message` items directly rather than via re-exports

Add channel funding txo to Channel Event::ChannelClosed

Merge pull request #2791 from valentinewallace/2023-12-multihop-recv-followups

Follow-ups to #2688

Expose `onion_message` items directly rather than via re-exports

When we originally added the `onion_message` module, there weren't
a lot of public items in it, and it didn't make a lot of sense to
export the whole sub-module structure publicly. So, instead, we
exported the public items via re-exports directly in the
`onion_message` top-level module. However, as time went on, more
and more things entered the module, which left the top-level module
rather cluttered.

Worse, in 0.0.119, we exposed
`onion_message::messenger::SendSuccess` via the return type of
`send_message`, but forgot to re-export the enum itself, making
it impossible to actually use from external code.

Here we address both issues and simply replace the re-export with
the underlying sub-module structure.

Merge pull request #2809 from TheBlueMatt/2023-12-closing-event-cleanup-fixes

Clean Up Funding Error Handling and shutdown

Drop `PeerManager` type bound on `UtxoLookup` entirely

In 67659677d4fdb6bf418d66dfa37c61706425232b we relaxed the bounds
set on `UtxoLookup` to enable those using `RoutingMessageHandler`
other than `P2PGossipSync` to use `UtxoLookup`. Sadly, because this
requires having a concrete `PeerManager` type which does *not* use
`UtxoLookup` in the `RoutingMessageHandler` type, this broke users
who were directly using `P2PGossipSync`.

We could split `UtxoLookup` into two, with different bounds, for
the two use-cases, but instead here we simply switch to storing a
reference to the `PeerManager` via a `dyn Fn` which allows us to
wake the `PeerManager` when we need to.

Fixes #2813

Rename parameter from err_packet to err_contents.

This name is more accurate since the method has been generalized to support
malformed HTLCs.

Remove outdated comment.

Normalize order of (sha256_of_onion, failure_code) in trait.

This helps avoid destructuring the tuple.

DRY malformed HTLC handling during htlc batch processing.

Fix logger usage during batched htlc processing of malforms.

Introduced due to a rebase error.

Clean up code DRY'd in previous commit.

Rename OutboundOnionPayload::BlindedReceive::amt_msat to be more descriptive.

Rename OutboundOnionPayload::Receive::amt_msat to be more descriptive.

Rename InboundOnionPayload::BlindedReceive::amt_msat to be more descriptive.

Rename InboundOnionPayload::Receive::amt_msat to be more descriptive.

Rename OutboundOnionPayload::BlindedReceive::outgoing_cltv_value.

There is no outgoing HTLC for received HTLCs, so rename to be more accurate.

Rename OutboundOnionPayload::Receive::outgoing_cltv_value.

There is no outgoing HTLC for received HTLCs, so rename to be more accurate.

Rename InboundOnionPayload::BlindedReceive::outgoing_cltv_value.

There is no outgoing HTLC for received HTLCs, so rename to be more accurate.

Rename InboundOnionPayload::Receive::outgoing_cltv_value

.. since there is no outgoing cltv for received HTLCs.

Rename outgoing_cltv_value internal var.

There is no outgoing CLTV for received HTLCs, so this new var makes more sense.

Rename InboundOnionErr to InboundHTLCErr.

The prior name seems to reference onion decode errors specifically, when in
fact the error contents are generic failure codes for any error that occurs
during HTLC receipt.

Remove trailing whitespace.

Merge pull request #2748 from TheBlueMatt/2023-11-2675-followups

Doc and style followups from #2675

Update docs on `HTLC` and `DelayedPayment` keys for clarity

This also adds required linebreaks to keep the docs to a reasonable
width.

Drop the unused `PaymentKey` type

935a716cc6c4fada075e2b740a70bb1b7b349d49 added new wrappers for the
various channel keys, including a payment_key. However, the
`payment_key` has been unused in lightning since the introduction
(and broad requiring) of the `static_remotekey` feature.

Thus, we simply remove it (and an incredibly stale TODO) here.

Update docs for slightly more clarity on channel key derivation

Merge pull request #2807 from Jossec101/log-errors-do-accept-inbound-channel

Log the errors before we return them from ChannelManager::do_accept_inbound_channel

Test individual monitor update compl in chanmon_consistency fuzzer

When users do async monitor updating, it may not be the case that
all pending monitors will complete updating at once. Thus, we
should fuzz monitor updates completing out of order, which we do
here.

Merge pull request #2817 from tnull/2024-01-time-in-electrum

Feature-gate `time` use also in `ElectrumSyncClient`

Improved error logging in ChannelManager::do_accept_inbound_channel

This refactor ensures that all API errors in do_accept_inbound_channel
are logged before they are returned.

Feature-gate `time` use also in `ElectrumSyncClient`

A previous commit introduced the `time` feature to gate the use of
`SystemTime` dependent APIs in `EsploraSyncClient`. It however omitted
doing the same for the Electrum side of things. Here, we address this
oversight.

Merge pull request #2802 from TheBlueMatt/2023-12-no-pub-enum

Move `CandidateRouteHop` enum variant fields into structs

Merge pull request #2808 from TheBlueMatt/2023-12-fuzzing-fixes-1

Fix reachable unwrap on non-channel_type manual channel acceptance

If we receive an `OpenChannel` message without a `channel_type`
with `manually_accept_inbound_channels` set, we will `unwrap()`
`None`.

This is uncommon these days as most nodes support `channel_type`,
but sadly is rather trivial for a peer to hit for those with manual
channel acceptance enabled.

Reported in and fixes #2804. Luckily, the updated
`full_stack_target` has no issue reaching this issue quickly.

Merge pull request #2799 from benthecarman/tx-sync-wasm

Don't call system time in no-std

Move `CandidateRouteHop` enum variant fields into structs

The bindings generator struggles a bit with the references in enum
variant fields in `CandidateRouteHop`. While we could probably fix
this, its much eaiser (and less risky) to inline the enum variant
fields from `CandidateRouteHop` into structs. This also lets us
make some of the fields non-public, which seems better at least for
the opaque `hint_idx` in the blinded paths.

Fix handling of duplicate initial `ChannelMonitor` writing

In e06484b0f44155e647ff29810d2f187967e45813, we added specific
handling for outbound-channel initial monitor updates failing -
in such a case we have a counterparty who tried to open a second
channel with the same funding info we just gave them, causing us
to force-close our outbound channel as it shows up as
duplicate-funding. Its largely harmless as it leads to a spurious
force-closure of a channel with a peer doing something absurd,
however it causes the `full_stack_target` fuzzer to fail.

Sadly, in 574c77e7bc95fd8dea5a8058b6b35996cc99db8d, as we were
dropping handling of `PermanentFailure` handling for updates, we
accidentally dropped handling for initial updates as well.

Here we fix the issue (again) and add a test.

Do not panic if a peer learns our funding info before we fund

We'd previously assumed that LDK would receive
`funding_transaction_generated` prior to our peer learning the txid
and panicked if the peer tried to open a redundant channel to us
with the same funding outpoint.

While this assumption is generally safe, some users may have
out-of-band protocols where they notify their LSP about a funding
outpoint first, or this may be violated in the future with
collaborative transaction construction protocols, i.e. the upcoming
dual-funding protocol.

Drop now-unused fields from `MsgHandleErrInternal`

Move ChannelClosed generation into finish_close_channel

Currently the channel shutdown sequence has a number of steps which
all the shutdown callsites have to call. Because many shutdown
cases are rare error cases, its relatively easy to miss a call and
leave users without `Event`s or miss some important cleanup.

One of those steps, calling `issue_channel_close_events`, is rather
easy to remove, as it only generates two events, which can simply
be moved to another shutdown step.

Here we remove `issue_channel_close_events` by moving
`ChannelClosed` event generation into `finish_force_close_channel`.

Move DiscardFunding generation into finish_close_channel

Currently the channel shutdown sequence has a number of steps which
all the shutdown callsites have to call. Because many shutdown
cases are rare error cases, its relatively easy to miss a call and
leave users without `Event`s or miss some important cleanup.

One of those steps, calling `issue_channel_close_events`, is rather
easy to remove, as it only generates two events, which can simply
be moved to another shutdown step.

Here we move the first of the two events, `DiscardFunding`, into
`finish_force_close_channel`.

Consider `MONITOR_UPDATE_IN_PROGRESS` as unbroadcasted funding

If we promote our channel to `AwaitingChannelReady` after adding
funding info, but still have `MONITOR_UPDATE_IN_PROGRESS` set, we
haven't broadcasted the funding transaction yet and thus should
return values from `unbroadcasted_funding[_txid]` and generate a
`DiscardFunding` event.