[fuzz] Reduce size of `payments_sent` in full_stack_target

Slightly reducing the amount of data we read to do things.

Merge pull request #2810 from TheBlueMatt/2023-12-arbitrary-fuzz-config

Update `full_stack_target` to take an arbitrary config object

Merge pull request #2847 from TheBlueMatt/2024-01-bindings-upstream

Misc Tweaks for bindings

Merge pull request #2725 from shaavan/issue2096

Ensure successful message propagation in case of disconnection mid-handshake

Merge pull request #2863 from benthecarman/breakup-coop-close

Breakup CooperativeClosure into Local/Remote initiated

Merge pull request #2872 from tnull/2024-02-add-features-to-channel-pending

Expose `channel_type` in `Event::ChannelPending`

Expose `channel_type` in `Event::ChannelPending`

It is useful to immediately know what kind of channel is being opened,
and not having to wait until `ChannelReady`.

Rename old CooperativeClosure to LegacyCooperativeClosure

Breakup CooperativeClosure into Local/Remote initiated

[fuzz] Fix slice copy in `peer_crypt_target`

This has apparently been broken for quite some time...I guess
`peer_crypt_target` doesn't get much CPU anymore.

Fix test variable typos

Bump `hashbrown` dependency to 0.13

While this isn't expected to materially improve performance, it
does get us ahash 0.8, which allows us to reduce fuzzing
randomness, making our fuzzers much happier.

Sadly, by default `ahash` no longer tries to autodetect a
randomness source, so we cannot simply rely on `hashbrown` to do
randomization for us, but rather have to also explicitly depend on
`ahash`.

Stop relying on `Hash{Set,Map}::from_iter` directly

In the next commit we'll bump the `hashbrown` version, which no
longer randomizes its hasher by default. Thus, we'll need to call
a different constructor in no-std builds from std builds.

Here we do a quick prefactor to use wrappers for `FromIterator`
constructors instead of calling the tables directly to make the
version bump changeset smaller.

Use utility methods to construct `HashMap`s and `HashSet`s

In the next commit we'll bump the `hashbrown` version, which no
longer randomizes its hasher by default. Thus, we'll need to call
a different constructor in no-std builds from std builds.

Here we do a quick prefactor to use wrappers for constructors
instead of calling the tables directly to make the version bump
changeset smaller.

Update fuzz CI job to use our MSRV rather than 1.58

Use arbitrary config object in full_stack_target fuzzer

As we've added more and more configuration parameters which change
our behavior, we're increasingly missing coverage in the general
`full_stack_target` fuzzer. Sadly, a reachable `unwrap` slipped in
uncaught that should have been stopped by the `full_stack_target`.

Here, we update the `full_stack_target` fuzzer to read a full
config object to substantially increase coverage.

Disable fuzzing-reachable debug assertions in `ChannelMonitor`s

Disable fuzzing-reachable debug assertion

Because of txid conflicts, a txid can match both a local and remote
commitment transaction when fuzzing. Thus, we disable this
assertion when fuzzing.

Merge pull request #2868 from orbitalturtle/export-send-onion-path

export send_onion_message_using_path for testing

Merge pull request #2870 from benthecarman/pub-source-target

Make DirectedChannelInfo `source` and `target` public

Make DirectedChannelInfo `source` and `target` public

We use these params for our HubPreferentialScorer and without these
utility functions then we have to manually do this and calculate which
is the source and which is the target node.

export send_onion_message_using_path for testing

Merge pull request #2858 from tnull/2024-01-expose-skimmed-fee-msat

Expose withheld amount for underpaying HTLCs in `PaymentForwarded`

Expose `skimmed_fee_msat` in `PaymentForwarded`

We generally allow routing nodes to forward less than the expected HTLC
amount, if the receiver knowingly accepts this and claims the
underpaying HTLC (see `ChannelConfig::accept_underpaying_htlcs`). This
use case is in particular useful for the LSPS2/JIT channel setting where
the intial underpaying HTLC pays for the channel open.

While we previously exposed the withheld amount as
`PaymentClaimable::counterparty_skimmed_fee_msat` on the receiver side,
we did not individually provide it on the forwarding node's side.
Here, we therefore expose this additionally withheld amount via
`PaymentForwarded::skimmed_fee_msat`.

Merge pull request #2864 from dunxen/2024-01-2797followups

Fix followups to PR2797

Add tests to check the introduced behaviour

- The first test make sure that the OutboundV1Channel is not
immediately removed when peers disconnect, but is removed after N timer
ticks.
- The second test makes sure that the SendOpenChannel is rebroadcasted
for the OutboundV1Channel if peer reconnects within time.

Do not remove Outbound Channel immediately when peer disconnects

- Do not remove channel immediately when peer_disconnect, instead
  removed it after some time if peer doesn't reconnect soon (handled in
previous commit).
- Do not mark per ok_to_remove if we have some OutboundV1Channels too.
- Rebroadcast SendOpenChannel for outboundV1Channel when peer
  reconnects.
- Update the relevant tests to account for the behavior change.
- Repurpose the test_disconnect_in_funding_batch to test that all
  channels in the batch close when one them closes.

Rename `PaymentForwarded::fee_earned_msat` to `total_fee_earned_msat`

Track min HTLC overpay separately from skimmed fees in test utils

Struct-ify claim_along_route args.

Lays groundwork to make claim_payment* test utils easier to adapt without
changing a million callsites.

Fix followups to PR2797

[bindings] Move additional score params from `&()` to `Default`

In 26c1639ab69d6780c97a118f09e42cb42304088a (and later in
50c55dcf32466e3ccf17acea50697fc664950deb) we switched to using
`Default::default()` to initialize `()` for scoring parameters in
tests. A number of `()`s slipped back in recently, which we replace
here.

Drop manual `Debug` impl on RGS' `GraphSyncError`

As it does the same thing as a derived `Debug` does anyway.

Move RGS `GraphSyncError` into the top-level module

The top-level module is only a few hundred lines, so there's not a
lot of reason to hide the `GraphSyncError` in its own module.
Instead, we simply move it to the top-level `lib.rs`, which doesn't
change the public API as it was previously re-exported at the top
level.

Store `EntropySource` in `DefaultRouter` instead of passing it

...as an arg to `Router`. Passing an `EntropySource` around all
the time is a bit strange as the `Router` may or may not actually
use it, and the `DefaultRouter` can just as easily store it.

Fix `three_hop_blinded_path_success` with different randomization

In `three_hop_blinded_path_success`, the nodes in the test ended up
at radically different block heights after channel opening. At that
point, if the CLTV randomization is done slightly different the
test payment may fail, which we fix here by ensuring all nodes are
at the same height before we go to send a payment.

Merge pull request #2862 from arik-so/arik/2024/01/http-error-message-fix

Improve error message for invalid response lengths

Merge pull request #2780 from wpaulino/2691-follow-ups

2691 follow-ups

Merge pull request #2797 from dunxen/2023-12-purgetochannelid

Remove `Outpoint::to_channel_id` method

Improve error message for invalid response lengths.

Remove `Outpoint::to_channel_id` method

To avoid confusion and for accuracy going forward, we remove this method
as it is inconsistent with channel IDs generated during V2 channel
establishment. If one wants to create a V1, funding outpoint-based
channel ID, then `ChannelId::v1_from_funding_outpoint` should be used
instead.

A large portion of the library has always made the assumption that having
the funding outpoint will always allow us to generate the channel ID.
This will not be the case anymore and we need to pass the channel ID along
where appropriate. All channels that could have been persisted up to this
point could only have used V1 establishment, so if some structures don't
store a channel ID for them they can safely fall back to the funding
outpoint-based version.

Enforce compile-time check for flag getters and setters

This ensures that we cannot define or use flag getters/setters on
`ChannelState` variants in which said flag is not valid.

Use clear helper on flags copy to mask off bits

Merge pull request #2694 from Evanfeenstra/public-scid-utils

public scid utils

[bindings] No-export `RouteHopCandidate` lifetime'd fields

The bindings cannot express lifetimes, so exposing any field which
is a reference (and not `clone`-able, at least for garbage
collected language bindings) is unsafe for those expecting a
high-level interface.

Thus, we simply no-export the `RouteHopCandidate` inner struct
fields which are references (there are relevant accessors for them
anyway).

[bindings] Mark `WithContext` log wrapper with no-export

There's not a lot of reason for downstream users to use the
`WithContext` wrapper, it mostly exists for our own downstream
crates anyway, and dealing with lifetimes in bindings isn't super
practical, so simply no-export it.

[bindings] Drop the lifetime bound on `Record` for bindings builds

Because log `Record`s are now being passed by ownership to `log`,
the bindings get quite annoyed that there's a lifetime hanging
around. We already don't use this lifetime in bindings (the
`FormatArgs` is converted to a string and stored on the heap), so
we can just drop the lifetime, even though it requires some
macro'ing of the struct definition to do so.

Merge pull request #2697 from jkczyz/2023-10-offer-functional-tests

Functional tests for BOLT 12 Offers payment flow

Merge pull request #2844 from TheBlueMatt/2024-01-cut-121

Release 0.0.121

Bump versions to LDK 0.0.121/invoice 0.29

Add CHANGELOG entry for 0.0.121

Merge pull request #2841 from TheBlueMatt/2024-01-batch-deadlock

Fix deadlock when handling bad calls to `batch_funding.._generated`

Merge pull request #2842 from jkczyz/2024-01-fix-peer-handler-unwrap

Fix panic when peer is mid-handshake

Remove unnecessary unwraps

Fix panic when peer is mid-handshake

Peer::their_node_id is set to Some during the handshake process.
However, df3ab2ee2753e7f9ec02ddf1c8a51db77c50e35d accesses the field
unconditionally, causing a panic. This may be triggered if a gossip
message is received mid-handshake from another peer or if the user calls
broadcast_node_announcement during this time. The latter tends to be
executed on a timer.

Ensure that Peer::their_node_id is only accessed once the handshake is
complete.

Fix deadlock when handling bad calls to `batch_funding.._generated`

When handling calls to `batch_funding_transaction_generated` which
were missing outputs for one of the batch channels, we'd previously
deadlock when trying to clean up the now-closed channels. This
fixes that and adds a new test case for it.

Found by the full_stack_target fuzzer.

public scid utils

Merge pull request #2835 from TheBlueMatt/2024-01-cut-120

Change v0.0.120 release name

Change v0.0.120 release name

"Un"blinded makes more sense, since the fuzzer was unblinded :)

Merge pull request #2834 from TheBlueMatt/2024-01-cut-120

Cut 0.0.120

Bump crate versions to 0.0.120/invoice 0.28

Add CHANGELOG entry for 0.0.120

Merge pull request #2818 from valentinewallace/2024-01-blinded-path-retries

Avoid retrying over previously failed blinded paths

Merge pull request #2828 from TheBlueMatt/2024-01-crypto-module

Move cryptographic algorithms and utilities to a new `crypto` mod

Test that we won't retry over previously failed blinded paths.

Test util: separate out code to construct a blinded path.

Avoid building routes over previously failed blinded payment paths.

Store previously failed blinded paths on outbound payment failure.

Useful so we don't retry over these paths.

Persist previously failed blinded paths in RouteParameters.

Useful so we don't retry over these paths.

Add failed_within_blinded_path to DecodedOnionFailure.

Will be used to ensure correctness when we store previously failed blinded
paths to avoid retrying over them.

Add failed_within_blinded_path to onion util internal struct.

Will be used to ensure correctness when we store previously failed blinded
paths to avoid retrying over them.

Merge pull request #2831 from jkczyz/2024-01-fix-cltv-expiry-delta

Use consistent `cltv_expiry_delta` in `ForwardTlvs`

Merge pull request #2832 from p2pderivatives/fix-ln-net-tokio-dropping-messages

Fix lightning-net-tokio sometimes dropping messages

Merge pull request #2812 from valentinewallace/2023-12-blinded-forwarding

Complete route blinding support

Fix lightning-net-tokio sometimes dropping messages

Use consistent cltv_expiry_delta in ForwardTlvs

When converting from CounterpartyForwardingInfo to PaymentRelay, the
cltv_expiry_delta is copied. Then, when forming a blinded payment path,
the value is mutated so that esoteric values don't reveal information
about the path. However, the value was only used in computing
PaymentConstraints and wasn't actually updated in PaymentRelay. Move the
logic for modifying the cltv_expiry_delta to the conversion code to
avoid this inconsistency.

Advertise route blinding feature as supported.

Now that we fully support forwarding blinded payments, we should advertise
support so nodes on the network can include us in their blinded paths.

Fix sender double-including shadow offset in CLTV expiry height.

The excess delta is included in the final RouteHop::cltv_expiry_delta, so by
adding it explicitly to cur_cltv we were erroneously including it twice in the
total cltv expiry.

This could've add up to an extra MAX_SHADOW_CLTV_DELTA_OFFSET (432) blocks to
the total cltv expiry.

Rename test var to be more descriptive.

Complete remaining TODOs for failing blinded non-intro forwards.

Add failure mode info to BlindedForward struct.

See added docs.

Move cryptographic algorithms and utilities to a new `crypto` mod

As we'd generally like the `lightning` crate to, over time, have
more modules rather than being very monolithic, we should move the
cryptographic things into their own module, which we do here.

We also take this opportunity to move stream adapters into their
own module and make clear that the ChaChaPoly `decrypt` method is
variable time.

Fix bench build warning

Reorganize #[cfg(not(c_bindings))] imports

Add ASCII art diagram explaining offers_tests

Functional test for failing duplicate payments

Functional tests for failing without payment paths

Add Features::clear_route_blinding for testing

Offers functional tests for duplicated payment ids

Functional tests for failing without blinded paths

Functional tests for offers with blinded paths

Functional tests for offers without blinded paths

Functional tests for BOLT 12 Offers payment flow

ChannelManager provides utilities to create offers and refunds along
with utilities to initiate and request payment for them, respectively.
It also manages the payment flow via implementing OffersMessageHandler.
Test that functionality, including the resulting event generation.

Consolidate conditional imports

Remove redundant negations from feature check

Remove "no-std" feature checks

An upcoming rust-bitcoin release will remove the "no-std" feature.
Replace "no-std" in feature checks with "std", negating as needed. Using
a single feature flag makes the checks more consistent across modules.

Have TestRouter wrap DefaultRouter

TestRouter checks route and scoring expectations before delegating to
the standalone find_route function. Refactor it to wrap DefaultRouter
and delegate to it instead. This allows TestRouter to implement
create_blinded_payment_paths by delegating to DefaultRouter.

Support OnionMessenger in functional_test_utils

OnionMessenger is needed to write functional tests for ChannelManager's
OffersMessageHandler implementation. Also adds a TestMessageRouter,
which simply wraps DefaultMessageRouter for now.

DRY up EntropySource implementation

The ChaCha20-based EntropySource implementation is duplicated within the
sign module. Refactor those into a RandomBytes implementation so that it
may be reused both there. Also useful as a standalone EntropySource
implementation for tests where an independent EntropySource is needed to
ensure that backwards-compatibility testing is not broken.

Fix import order in functional_test_utils.rs