Merge pull request #2832 from p2pderivatives/fix-ln-net-tokio-dropping-messages

Fix lightning-net-tokio sometimes dropping messages

Merge pull request #2812 from valentinewallace/2023-12-blinded-forwarding

Complete route blinding support

Fix lightning-net-tokio sometimes dropping messages

Advertise route blinding feature as supported.

Now that we fully support forwarding blinded payments, we should advertise
support so nodes on the network can include us in their blinded paths.

Fix sender double-including shadow offset in CLTV expiry height.

The excess delta is included in the final RouteHop::cltv_expiry_delta, so by
adding it explicitly to cur_cltv we were erroneously including it twice in the
total cltv expiry.

This could've add up to an extra MAX_SHADOW_CLTV_DELTA_OFFSET (432) blocks to
the total cltv expiry.

Rename test var to be more descriptive.

Complete remaining TODOs for failing blinded non-intro forwards.

Add failure mode info to BlindedForward struct.

See added docs.

Merge pull request #2824 from shuoer86/main

Fix typos

Fix typo lightning/src/util/wakers.rs

Fix typo lightning/src/routing/router.rs

Fix typo lightning/src/ln/peer_handler.rs

Fix typo lightning-invoice/src/ser.rs

Fix typo CONTRIBUTING.md

Merge pull request #2800 from optout21/channel-close-add-funding

Add channel funding txo to Channel Event::ChannelClosed

Merge pull request #2822 from TheBlueMatt/2024-01-pm-dyn-ref

Drop `PeerManager` type bound on `UtxoLookup` entirely

Make BlindedFailure enum pub.

Necessary to include it in the public PendingHTLCInfo struct in the next commit.

Test successful payment to 3-hop blinded path.

Fix final blinded hop CLTV expiry on send.

Previously, we were setting the final blinded hop's CLTV expiry height to
best_block_height + total_blinded_path_cltv_delta + shadow_cltv_offset. This is
incorrect, it should instead be set to best_block_height + shadow_cltv_offset
only -- it doesn't make sense to include the delta for the other blinded hops
in the final hop's expiry.

The reason this too-high final cltv value didn't cause test failures previously
is because of a 2nd bug that is fixed in an upcoming commit where the sender
adds the shadow offset twice to the total path CLTV expiry. This 2nd offset
meant that intermediate nodes had some buffer CLTV to subtract their delta from
while still (usually) have enough leftover to meet the expiry in the final hop's
onion.

Support forwarding blinded HTLCs as non-intro node.

Error handling will be completed in upcoming commit(s).

Merge pull request #2801 from valentinewallace/2023-12-rb-groundwork-followups

#2128 follow-ups

Merge pull request #2820 from TheBlueMatt/2024-01-fuzz-ooo-monitor-updates

Test individual monitor update compl in chanmon_consistency fuzzer

Merge pull request #2821 from TheBlueMatt/2024-01-om-direct-export

Expose `onion_message` items directly rather than via re-exports

Add channel funding txo to Channel Event::ChannelClosed

Merge pull request #2791 from valentinewallace/2023-12-multihop-recv-followups

Follow-ups to #2688

Expose `onion_message` items directly rather than via re-exports

When we originally added the `onion_message` module, there weren't
a lot of public items in it, and it didn't make a lot of sense to
export the whole sub-module structure publicly. So, instead, we
exported the public items via re-exports directly in the
`onion_message` top-level module. However, as time went on, more
and more things entered the module, which left the top-level module
rather cluttered.

Worse, in 0.0.119, we exposed
`onion_message::messenger::SendSuccess` via the return type of
`send_message`, but forgot to re-export the enum itself, making
it impossible to actually use from external code.

Here we address both issues and simply replace the re-export with
the underlying sub-module structure.

Merge pull request #2809 from TheBlueMatt/2023-12-closing-event-cleanup-fixes

Clean Up Funding Error Handling and shutdown

Drop `PeerManager` type bound on `UtxoLookup` entirely

In 67659677d4fdb6bf418d66dfa37c61706425232b we relaxed the bounds
set on `UtxoLookup` to enable those using `RoutingMessageHandler`
other than `P2PGossipSync` to use `UtxoLookup`. Sadly, because this
requires having a concrete `PeerManager` type which does *not* use
`UtxoLookup` in the `RoutingMessageHandler` type, this broke users
who were directly using `P2PGossipSync`.

We could split `UtxoLookup` into two, with different bounds, for
the two use-cases, but instead here we simply switch to storing a
reference to the `PeerManager` via a `dyn Fn` which allows us to
wake the `PeerManager` when we need to.

Fixes #2813

Rename parameter from err_packet to err_contents.

This name is more accurate since the method has been generalized to support
malformed HTLCs.

Remove outdated comment.

Normalize order of (sha256_of_onion, failure_code) in trait.

This helps avoid destructuring the tuple.

DRY malformed HTLC handling during htlc batch processing.

Fix logger usage during batched htlc processing of malforms.

Introduced due to a rebase error.

Clean up code DRY'd in previous commit.

Rename OutboundOnionPayload::BlindedReceive::amt_msat to be more descriptive.

Rename OutboundOnionPayload::Receive::amt_msat to be more descriptive.

Rename InboundOnionPayload::BlindedReceive::amt_msat to be more descriptive.

Rename InboundOnionPayload::Receive::amt_msat to be more descriptive.

Rename OutboundOnionPayload::BlindedReceive::outgoing_cltv_value.

There is no outgoing HTLC for received HTLCs, so rename to be more accurate.

Rename OutboundOnionPayload::Receive::outgoing_cltv_value.

There is no outgoing HTLC for received HTLCs, so rename to be more accurate.

Rename InboundOnionPayload::BlindedReceive::outgoing_cltv_value.

There is no outgoing HTLC for received HTLCs, so rename to be more accurate.

Rename InboundOnionPayload::Receive::outgoing_cltv_value

.. since there is no outgoing cltv for received HTLCs.

Rename outgoing_cltv_value internal var.

There is no outgoing CLTV for received HTLCs, so this new var makes more sense.

Rename InboundOnionErr to InboundHTLCErr.

The prior name seems to reference onion decode errors specifically, when in
fact the error contents are generic failure codes for any error that occurs
during HTLC receipt.

Remove trailing whitespace.

Merge pull request #2748 from TheBlueMatt/2023-11-2675-followups

Doc and style followups from #2675

Update docs on `HTLC` and `DelayedPayment` keys for clarity

This also adds required linebreaks to keep the docs to a reasonable
width.

Drop the unused `PaymentKey` type

935a716cc6c4fada075e2b740a70bb1b7b349d49 added new wrappers for the
various channel keys, including a payment_key. However, the
`payment_key` has been unused in lightning since the introduction
(and broad requiring) of the `static_remotekey` feature.

Thus, we simply remove it (and an incredibly stale TODO) here.

Update docs for slightly more clarity on channel key derivation

Merge pull request #2807 from Jossec101/log-errors-do-accept-inbound-channel

Log the errors before we return them from ChannelManager::do_accept_inbound_channel

Test individual monitor update compl in chanmon_consistency fuzzer

When users do async monitor updating, it may not be the case that
all pending monitors will complete updating at once. Thus, we
should fuzz monitor updates completing out of order, which we do
here.

Merge pull request #2817 from tnull/2024-01-time-in-electrum

Feature-gate `time` use also in `ElectrumSyncClient`

Improved error logging in ChannelManager::do_accept_inbound_channel

This refactor ensures that all API errors in do_accept_inbound_channel
are logged before they are returned.

Feature-gate `time` use also in `ElectrumSyncClient`

A previous commit introduced the `time` feature to gate the use of
`SystemTime` dependent APIs in `EsploraSyncClient`. It however omitted
doing the same for the Electrum side of things. Here, we address this
oversight.

Merge pull request #2802 from TheBlueMatt/2023-12-no-pub-enum

Move `CandidateRouteHop` enum variant fields into structs

Merge pull request #2808 from TheBlueMatt/2023-12-fuzzing-fixes-1

Fix reachable unwrap on non-channel_type manual channel acceptance

If we receive an `OpenChannel` message without a `channel_type`
with `manually_accept_inbound_channels` set, we will `unwrap()`
`None`.

This is uncommon these days as most nodes support `channel_type`,
but sadly is rather trivial for a peer to hit for those with manual
channel acceptance enabled.

Reported in and fixes #2804. Luckily, the updated
`full_stack_target` has no issue reaching this issue quickly.

Merge pull request #2799 from benthecarman/tx-sync-wasm

Don't call system time in no-std

Move `CandidateRouteHop` enum variant fields into structs

The bindings generator struggles a bit with the references in enum
variant fields in `CandidateRouteHop`. While we could probably fix
this, its much eaiser (and less risky) to inline the enum variant
fields from `CandidateRouteHop` into structs. This also lets us
make some of the fields non-public, which seems better at least for
the opaque `hint_idx` in the blinded paths.

Fix handling of duplicate initial `ChannelMonitor` writing

In e06484b0f44155e647ff29810d2f187967e45813, we added specific
handling for outbound-channel initial monitor updates failing -
in such a case we have a counterparty who tried to open a second
channel with the same funding info we just gave them, causing us
to force-close our outbound channel as it shows up as
duplicate-funding. Its largely harmless as it leads to a spurious
force-closure of a channel with a peer doing something absurd,
however it causes the `full_stack_target` fuzzer to fail.

Sadly, in 574c77e7bc95fd8dea5a8058b6b35996cc99db8d, as we were
dropping handling of `PermanentFailure` handling for updates, we
accidentally dropped handling for initial updates as well.

Here we fix the issue (again) and add a test.

Do not panic if a peer learns our funding info before we fund

We'd previously assumed that LDK would receive
`funding_transaction_generated` prior to our peer learning the txid
and panicked if the peer tried to open a redundant channel to us
with the same funding outpoint.

While this assumption is generally safe, some users may have
out-of-band protocols where they notify their LSP about a funding
outpoint first, or this may be violated in the future with
collaborative transaction construction protocols, i.e. the upcoming
dual-funding protocol.

Drop now-unused fields from `MsgHandleErrInternal`

Move ChannelClosed generation into finish_close_channel

Currently the channel shutdown sequence has a number of steps which
all the shutdown callsites have to call. Because many shutdown
cases are rare error cases, its relatively easy to miss a call and
leave users without `Event`s or miss some important cleanup.

One of those steps, calling `issue_channel_close_events`, is rather
easy to remove, as it only generates two events, which can simply
be moved to another shutdown step.

Here we remove `issue_channel_close_events` by moving
`ChannelClosed` event generation into `finish_force_close_channel`.

Move DiscardFunding generation into finish_close_channel

Currently the channel shutdown sequence has a number of steps which
all the shutdown callsites have to call. Because many shutdown
cases are rare error cases, its relatively easy to miss a call and
leave users without `Event`s or miss some important cleanup.

One of those steps, calling `issue_channel_close_events`, is rather
easy to remove, as it only generates two events, which can simply
be moved to another shutdown step.

Here we move the first of the two events, `DiscardFunding`, into
`finish_force_close_channel`.

Consider `MONITOR_UPDATE_IN_PROGRESS` as unbroadcasted funding

If we promote our channel to `AwaitingChannelReady` after adding
funding info, but still have `MONITOR_UPDATE_IN_PROGRESS` set, we
haven't broadcasted the funding transaction yet and thus should
return values from `unbroadcasted_funding[_txid]` and generate a
`DiscardFunding` event.

Fix dust buffer feerate calculation overflow

If a peer provides a feerate which nears `u32::MAX`, we may
overflow calculating the dust buffer feerate, leading to spuriously
keeping non-anchor channels open when they should be force-closed.

Fix debug assertion on opening a channel with a disconnected peer

If we try to open a channel with a peer that is disconnected (but
with which we have some other channels), we'll end up with an
unfunded channel which will lead to a panic when the peer
reconnects. Here we drop this debug assertion without bother to add
a new test, given this behavior will change in a PR very soon.

Fix `REVOKEABLE_REDEEMSCRIPT_MAX_LENGTH` for contest delays >0x7fff

When contest delays are >= 0x8000, script pushes require an extra
byte to avoid being interpreted as a negative int. Thus, for
channels with CSV delays longer than ~7.5 months we may generate
transactions with slightly too little fee. This isn't really a huge
deal, but we should prefer to be conservative here, and slightly
too high fee in the general case is better than slightly too little
fee in other cases.

Stop including dust values in feerate affordability checks

When we or our counterparty are updating the fees on the channel,
we currently check that the resulting balance is sufficient not
only to meet the reserve threshold, but also not push it below
dust. This isn't required in the BOLTs and may lead to spurious
force-closures (which would be a bit safer, but reserve should
always exceed the dust threshold).

Worse, the current logic is broken - it compares the output value
in *billionths of satoshis* to the dust limit in satoshis. Thus,
the code is borderline dead anyway, but can overflow for channels
with several million Bitcoin, causing the fuzzer to get mad (and
lead to spurious force-closures for few-billion-dollar channels).

Fix `Feature` eq + hash to ignore excess zero bytes

If we get a `Feature` object which has excess zero bytes, we
shouldn't consider it a different `Feature` from another with the
same bits set, but no excess zero bytes. Here we fix both the
`Hash` and `PartialEq` implementation for `Features` to ignore
excess zero bytes.

Merge pull request #2788 from tnull/2023-12-enforce-no-warnings-ci

Deny warnings in CI

Don't call system time in unless feature enabled

Allow `unused_variables` for one `_test_vectors` method

Allow unused imports in `lightning-invoice` prelude

Drop unused `windows` imports in `FilesystemStore` tests

Drop unenforced bound in trait alias

... to fix:
```
  error: bounds on generic parameters are not enforced in type aliases
   --> lightning/src/onion_message/messenger.rs:267:33
```

Fix unused import warnings in `c_bindings`

Fix unused imports in `lightning-invoice` no-std tests

Drop unused `sync` module from `lightning-invoice`

Fix unused (import) warnings in `no-std` builds

Fix redundant import warning in BP's `futures`

Feature-gate `GetUtxosResponse` in `lightning-block-sync`

.. as it's only used by the REST client.

Deny warnings in CI

Since we recently got rid of our last build/test/doc warnings, we now
deny warnings via `-D warnings` in CI, enforcing no new ones are
introduced.

Merge pull request #2794 from TheBlueMatt/2023-12-cut-119

Cut 0.0.119

Bump versions to 0.0.119/`lightning-invoice` 0.27

Add CHANGELOG entries for 0.0.119

Merge pull request #2798 from TheBlueMatt/2023-12-119-bindings-upstream

Small API cleanups pre-0.0.119

Merge pull request #2795 from TheBlueMatt/2023-11-robuster-chan-to-peer

 Move channel -> peer tracking to OutPoints from Channel IDs

Fix dev MSRV build of lightning-transaction-sync

...due to a transitive dependency of the `bitcoind` crate.

Use correct default value when comparing to `htlc_maximum_msat`

62f866965436fff1a8e98ee655a8a6dcbb8716c1 added two
`htlc_maximum_msat.unwrap_or`s, but used a default value of 0,
spuriously causing all HTLCs to fail if we don't have an htlc
maximum value. This should be mostly harmless, but we should fix it
anyway.

Make `FinalOnionHopData` public

In 4b5db8c3ce, `channelmanager::PendingHTLCRouting` was made
public, exposing a `FinalOnionHopData` field to the world. However,
`FinalOnionHopData` was left crate-private, making the enum
impossible to construct.

There isn't a strong reason for this (even though the
`FinalOnionHopData` API is somewhat confusing, being separated from
the rest of the onion structs), so we expose it here.

Drop explicit `bitcoin_hashes` dependency in `lightning-invoice`

Since `lightning-invoice` now depends on the `bitcoin` crate
directly, also depending on the `bitcoin_hashes` crate is redundant
and just means we confuse users by setting the `std` flag only on
`bitcoin`. Thus, we drop the explicit dependency here and replace
it with `bitcoin::hashes`.

Un-export the `PrivateRoute` inner field as there are invariants

When we make the `PrivateRoute` inner `RouteHint` `pub`, we failed
to note that the `PrivateRoute::new` constructor actually verifies
a length invariant. Thus, we un-export the inner field and force
users to go back through the `new` fn.

Merge pull request #2781 from jkczyz/2023-09-multihop-paths

Multi-hop `BlindedPath` creation interface

Fix build warning

Use one-hop blinded paths only for announced nodes

To avoid exposing a node's identity in a blinded path, only create
one-hop blinded paths if the node has been announced, and thus has
public channels. Otherwise, there is no way to route a payment to the
node, exposing its identity needlessly.

DRY up OffersMessage::InvoiceRequest handling

Multi-hop blinded payment paths in ChannelManager

When constructing blinded payment paths for Bolt12Invoice, delegate to
Router::create_blinded_payment_paths which may produce multi-hop blinded
paths. Fallback to one-hop blinded paths if the Router fails or returns
no paths.

Add create_blinded_payment_paths to Router

The Router trait is used to find a Route for paying a node. Expand the
interface with a create_blinded_payment paths method for creating such
paths to a recipient node.

Provide an implementation for DefaultRouter that creates two-hop
blinded paths where the recipient's peers serve as the introduction
nodes.

CounterpartyForwardingInfo to PaymentRelay mapping