Merge pull request #2894 from TheBlueMatt/2024-02-future-poll-leak

Never store more than one StdWaker per live Future

Never store more than one `StdWaker` per live `Future`

When an `std::future::Future` is `poll()`ed, we're only supposed to
use the latest `Waker` provided. However, we currently push an
`StdWaker` onto our callback list every time `poll` is called,
waking every `Waker` but also using more and more memory until the
`Future` itself is woken.

Here we fix this by removing any `StdWaker`s stored for a given
`Future` when it is `drop`ped or prior to pushing a new `StdWaker`
onto the list when `poll`ed.

Sadly, the introduction of a `Drop` impl for `Future` means we
can't trivially destructure the struct any longer, causing a few
methods to need to take `Future`s by reference rather than
ownership and `clone` a few `Arc`s.

Fixes #2874

Give `Future`s for a `FutureState` an idx and track `StdWaker` idxn

When an `std::future::Future` is `poll()`ed, we're only supposed to
use the latest `Waker` provided. However, we currently push an
`StdWaker` onto our callback list every time `poll` is called,
waking every `Waker` but also using more and more memory until the
`Future` itself is woken.

Here we take a step towards fixing this by giving each `Future` a
unique index and storing which `Future` an `StdWaker` came from in
the callback list. This sets us up to deduplicate `StdWaker`s by
`Future`s in the next commit.

Split lists of `Waker` and directly-registered `Future` callbacks

In the next commit we'll fix a memory leak due to keeping too many
`std::task::Waker` callbacks in `FutureState` from redundant `poll`
calls, but first we need to split handling of `StdWaker`-based
future wake callbacks from normal ones, which we do here.

Merge pull request #2895 from TheBlueMatt/2024-02-logging-tweaks

Minor Logging tweaks

Merge pull request #2883 from tnull/2024-02-dyn-kvstore-blanket-impls

Add blanket `Persist`/`Persister` impls for `dyn KVStore + Send + Sync`

Opportunistically skip log in `update_claims_view_from_matched_txn`

On each block, for each `ChannelMonitor`, we log two status
statements in `OnChainTx::update_claims_view_from_matched_txn`.
This can add up to quite a bit, and is generally not very
interesting when we don't actually do anything if there's no claims
to bump.

Here we drop both logs if we have no claims to work with, but
retain it if we process any claims.

Opportunistically skip log in `update_claims_view_from_requests`

On each block, for each `ChannelMonitor`, we log a status statement
in `OnChainTx::update_claims_view_from_requests`. This can add up
to quite a bit, and is generally not very interesting when we don't
actually do anything if there's no claims to bump.

Here we drop the log if we have no claims to work with, but retain
it if we process any claims.

Drop some "Channel does not qualify for a feerate change" logs

On a high-traffic/channel node, `Channel .* does not qualify for a
feerate change.*` is our most common log, and it doesn't provide
much useful information. It's logged in two cases - (a) where the
estimator feerate is less than the current channel feerate but not
by more than half twice and (b) where we'd like to update the
channel feerate but the peer is disconnected or channel not
available for updates.

Because these conditions can persist and we log them once a minute
the volume of logs can add up quickly. Here we simply remove the
log in case (a), though leave (b) as its anticipated to be somewhat
quieter and does indicate a persistent issue that should be
addressed (possibly by closing the channel).

Make peers sending gossip out of order logging less scary

Multiple times we've had users wonder why they see `Error handling
message from.*; ignoring: Couldn't find channel for update` in
their logs and wonder if its related to their channel
force-closing. While this does indicate a peer is sending us gossip
our of order (and thus misbehaving), its not relevant to channel
operation and the logged message and level should indicate that.

Thus, here, we move the level to Gossip and add "gossip" between
"handling" and "message" (so it reads "Error handling gossip
message from.*").

Fixes #2471

Merge pull request #2861 from tnull/2024-01-introduce-cargo-audit

Introduce CI workflow running `cargo audit`

Merge pull request #2816 from wpaulino/retryable-holder-sigs

Allow holder commitment and HTLC signature requests to fail

Merge pull request #2892 from TheBlueMatt/2024-02-destination-eq

Add further standard derives to various onion message structs

Introduce CI workflow running `cargo audit`

In order to continuously monitor our dependencies for security
vulnerabilities, we introduce a new CI job that will use `cargo audit`
to check for any known vulnerabilities.

This job is run on a daily schedule. For each new advisory, a new issue
will be created.

Add further standard derives to various onion message structs

Merge pull request #2888 from TheBlueMatt/2024-02-destination-eq

Implement `Debug`/`PartialEq`/`Eq` for `Destination`

Drop `reqwest` pin

.. since a version with fixed MSRV was released by now.

Move `lightning-transaction-sync` to main workspace

.. so it's actually included in the audit.

Disable `lightning-transaction-sync` integration tests on Windows

.. as the `electrsd` crate doesn't support it.

While we previously did so in our CI script, we now also `cfg`-gate the
tests and dependencies for easier handling.

Implement `Debug`/`PartialEq`/`Eq` for `Destination`

Merge pull request #2850 from TheBlueMatt/2024-01-fuzz-gossip

Merge pull request #2886 from TheBlueMatt/2024-02-actually-fix-build

 Fix silent merge conflict introduced in d3ddf15 @TheBlueMatt

Replace spaces with tabs in msgs.rs

Fix silent merge conflict introduced in d3ddf15357589ed10f4c844dc22

Merge pull request #2885 from benthecarman/tiny-opt

Worlds smallest optimization

Worlds smallest optimization

Preallocate for 8 items in the vec. I chose this value for

1. features
2. description
3. payment hash
4. expire time
5. min_final_cltv
6. payment secret
7. route hint
8. for the memes

Merge pull request #2871 from dunxen/2024-02-msgcommonfields

Combine common fields for OpenChannel and AcceptChannel V1 & V2

Allow holder commitment and HTLC signature requests to fail

As part of the ongoing async signer work, our holder signatures must
also be capable of being obtained asynchronously. We expose a new
`ChannelMonitor::signer_unblocked` method to retry pending onchain
claims by re-signing and rebroadcasting transactions. Unfortunately, we
cannot retry said claims without them being registered first, so if
we're not able to obtain the signature synchronously, we must return the
transaction as unsigned and ensure it is not broadcast.

Introduce FeerateStrategy enum for onchain claims

This refactors the existing `force_feerate_bump` flag into an enum as we
plan to introduce a new flag/enum variant in a future commit.

Rework get_latest_holder_commitment_txn to broadcast for users

This method is meant to be used as a last resort when a user is forced
to broadcast the current state, even if it is stale, in an attempt to
claim their funds in the channel. Previously, we'd return the commitment
and HTLC transactions such that they broadcast them themselves. Doing so
required a different code path, one which was not tested, to obtain
these transactions than our usual path when force closing. It's not
worth maintaining both, and it's much simpler for us to broadcast
instead.

Merge pull request #2856 from valentinewallace/2024-01-blinded-payinfo-min-final-cltv

Route blinding: add `min_final_cltv_delta` to aggregated CLTV delta

Add min_final_cltv_delta to aggregated CLTV delta.

The spec was previously missing this requirement.

Parameterize BlindedPath::new_for_payment by min final CLTV delta.

Currently we are not including this value in the aggregated CLTV delta, which
is wrong.

Impl `Sync` and `Send` for `TestStore`

Add blanket `Persist`/`Persister` impls for `dyn KVStore + Send + Sync`

Previously, we only had blanket impls for `KVStore`. However, in order
to enable the use of `dyn KVStore + Send + Sync` instead of a `KVStore`
generic, we here also add the corresponding blanket implementations for
said type signature.

[fuzz] Add fst coverage for `ChannelManager::update_channel_config`

[fuzz] Add a second full_stack_target seed test for gossip

[fuzz] De-dup hex in test_no_existing_test_breakage

This will make test_no_existing_test_breakage marginally easier to
update.

[fuzz] Add additional method calls in full_stack_target

The whole point of full_stack_target is to just expose our entire
API to the fuzzer and see what happens. Sadly, we're really only
exposing a small subset of our API. This improves that by exposing
a handful of other assorted methods from ChannelManager and
PeerManager.

[fuzz] Use batch funding in full_stack_target

To potentially get more test coverage

Merge pull request #2873 from tnull/2024-02-expose-channel-details-in-bte

Expose `channel_id` / `counterparty_node_id` in `BumpTransaction` event

Merge pull request #2878 from TheBlueMatt/2024-02-fix-build

Small comment tweaks

Expose `channel_id` / `counterparty_node_id` in `BumpTransaction` event

A client node might choose not to handle `Event::BumptTransaction`
events and leave bumping / Anchor output spending to a trusted
counterparty.

However, `Event::BumptTransaction` currently doesn't offer any clear
indication what channel and/or counterparty it is referring to. In order
to allow filtering these events, we here expose the `channel_id` and
`counterparty_node_id` fields.

Note when new HTLC state can be `None`

Fix comment spelling

Merge pull request #2442 from wvanlint/list_pending_htlcs

Include pending HTLC's in ChannelDetails

Merge pull request #2876 from TheBlueMatt/2024-02-2863-doc-nits

Minor doc nits on the new coop close reason variants

Include pending HTLCs in ChannelDetails

This exposes details around pending HTLCs in ChannelDetails.  The state
of the HTLC in the state machine is also included, so it can be
determined which protocol message the HTLC is waiting for to advance.

[fuzz] Fix misc warnings in full_stack_target

[fuzz] Reduce size of `payments_sent` in full_stack_target

Slightly reducing the amount of data we read to do things.

Merge pull request #2810 from TheBlueMatt/2023-12-arbitrary-fuzz-config

Update `full_stack_target` to take an arbitrary config object

Merge pull request #2847 from TheBlueMatt/2024-01-bindings-upstream

Misc Tweaks for bindings

Minor doc nits on the new coop close reason variants

Merge pull request #2725 from shaavan/issue2096

Ensure successful message propagation in case of disconnection mid-handshake

Merge pull request #2863 from benthecarman/breakup-coop-close

Breakup CooperativeClosure into Local/Remote initiated

Merge pull request #2872 from tnull/2024-02-add-features-to-channel-pending

Expose `channel_type` in `Event::ChannelPending`

Expose `channel_type` in `Event::ChannelPending`

It is useful to immediately know what kind of channel is being opened,
and not having to wait until `ChannelReady`.

Rename old CooperativeClosure to LegacyCooperativeClosure

Breakup CooperativeClosure into Local/Remote initiated

[fuzz] Fix slice copy in `peer_crypt_target`

This has apparently been broken for quite some time...I guess
`peer_crypt_target` doesn't get much CPU anymore.

Fix test variable typos

Bump `hashbrown` dependency to 0.13

While this isn't expected to materially improve performance, it
does get us ahash 0.8, which allows us to reduce fuzzing
randomness, making our fuzzers much happier.

Sadly, by default `ahash` no longer tries to autodetect a
randomness source, so we cannot simply rely on `hashbrown` to do
randomization for us, but rather have to also explicitly depend on
`ahash`.

Stop relying on `Hash{Set,Map}::from_iter` directly

In the next commit we'll bump the `hashbrown` version, which no
longer randomizes its hasher by default. Thus, we'll need to call
a different constructor in no-std builds from std builds.

Here we do a quick prefactor to use wrappers for `FromIterator`
constructors instead of calling the tables directly to make the
version bump changeset smaller.

Use utility methods to construct `HashMap`s and `HashSet`s

In the next commit we'll bump the `hashbrown` version, which no
longer randomizes its hasher by default. Thus, we'll need to call
a different constructor in no-std builds from std builds.

Here we do a quick prefactor to use wrappers for constructors
instead of calling the tables directly to make the version bump
changeset smaller.

Update fuzz CI job to use our MSRV rather than 1.58

Use arbitrary config object in full_stack_target fuzzer

As we've added more and more configuration parameters which change
our behavior, we're increasingly missing coverage in the general
`full_stack_target` fuzzer. Sadly, a reachable `unwrap` slipped in
uncaught that should have been stopped by the `full_stack_target`.

Here, we update the `full_stack_target` fuzzer to read a full
config object to substantially increase coverage.

Disable fuzzing-reachable debug assertions in `ChannelMonitor`s

Disable fuzzing-reachable debug assertion

Because of txid conflicts, a txid can match both a local and remote
commitment transaction when fuzzing. Thus, we disable this
assertion when fuzzing.

Merge pull request #2868 from orbitalturtle/export-send-onion-path

export send_onion_message_using_path for testing

Merge pull request #2870 from benthecarman/pub-source-target

Make DirectedChannelInfo `source` and `target` public

Combine common fields of `AcceptChannel` & `AcceptChannelV2` into struct

Make DirectedChannelInfo `source` and `target` public

We use these params for our HubPreferentialScorer and without these
utility functions then we have to manually do this and calculate which
is the source and which is the target node.

Combine common fields of `OpenChannel` & `OpenChannelV2` into struct

export send_onion_message_using_path for testing

Merge pull request #2858 from tnull/2024-01-expose-skimmed-fee-msat

Expose withheld amount for underpaying HTLCs in `PaymentForwarded`

Expose `skimmed_fee_msat` in `PaymentForwarded`

We generally allow routing nodes to forward less than the expected HTLC
amount, if the receiver knowingly accepts this and claims the
underpaying HTLC (see `ChannelConfig::accept_underpaying_htlcs`). This
use case is in particular useful for the LSPS2/JIT channel setting where
the intial underpaying HTLC pays for the channel open.

While we previously exposed the withheld amount as
`PaymentClaimable::counterparty_skimmed_fee_msat` on the receiver side,
we did not individually provide it on the forwarding node's side.
Here, we therefore expose this additionally withheld amount via
`PaymentForwarded::skimmed_fee_msat`.

Merge pull request #2864 from dunxen/2024-01-2797followups

Fix followups to PR2797

Add tests to check the introduced behaviour

- The first test make sure that the OutboundV1Channel is not
immediately removed when peers disconnect, but is removed after N timer
ticks.
- The second test makes sure that the SendOpenChannel is rebroadcasted
for the OutboundV1Channel if peer reconnects within time.

Do not remove Outbound Channel immediately when peer disconnects

- Do not remove channel immediately when peer_disconnect, instead
  removed it after some time if peer doesn't reconnect soon (handled in
previous commit).
- Do not mark per ok_to_remove if we have some OutboundV1Channels too.
- Rebroadcast SendOpenChannel for outboundV1Channel when peer
  reconnects.
- Update the relevant tests to account for the behavior change.
- Repurpose the test_disconnect_in_funding_batch to test that all
  channels in the batch close when one them closes.

Rename `PaymentForwarded::fee_earned_msat` to `total_fee_earned_msat`

Track min HTLC overpay separately from skimmed fees in test utils

Struct-ify claim_along_route args.

Lays groundwork to make claim_payment* test utils easier to adapt without
changing a million callsites.

Fix followups to PR2797

[bindings] Move additional score params from `&()` to `Default`

In 26c1639ab69d6780c97a118f09e42cb42304088a (and later in
50c55dcf32466e3ccf17acea50697fc664950deb) we switched to using
`Default::default()` to initialize `()` for scoring parameters in
tests. A number of `()`s slipped back in recently, which we replace
here.

Drop manual `Debug` impl on RGS' `GraphSyncError`

As it does the same thing as a derived `Debug` does anyway.

Move RGS `GraphSyncError` into the top-level module

The top-level module is only a few hundred lines, so there's not a
lot of reason to hide the `GraphSyncError` in its own module.
Instead, we simply move it to the top-level `lib.rs`, which doesn't
change the public API as it was previously re-exported at the top
level.

Store `EntropySource` in `DefaultRouter` instead of passing it

...as an arg to `Router`. Passing an `EntropySource` around all
the time is a bit strange as the `Router` may or may not actually
use it, and the `DefaultRouter` can just as easily store it.

Fix `three_hop_blinded_path_success` with different randomization

In `three_hop_blinded_path_success`, the nodes in the test ended up
at radically different block heights after channel opening. At that
point, if the CLTV randomization is done slightly different the
test payment may fail, which we fix here by ensuring all nodes are
at the same height before we go to send a payment.

Merge pull request #2862 from arik-so/arik/2024/01/http-error-message-fix

Improve error message for invalid response lengths

Merge pull request #2780 from wpaulino/2691-follow-ups

2691 follow-ups

Merge pull request #2797 from dunxen/2023-12-purgetochannelid

Remove `Outpoint::to_channel_id` method

Improve error message for invalid response lengths.

Remove `Outpoint::to_channel_id` method

To avoid confusion and for accuracy going forward, we remove this method
as it is inconsistent with channel IDs generated during V2 channel
establishment. If one wants to create a V1, funding outpoint-based
channel ID, then `ChannelId::v1_from_funding_outpoint` should be used
instead.

A large portion of the library has always made the assumption that having
the funding outpoint will always allow us to generate the channel ID.
This will not be the case anymore and we need to pass the channel ID along
where appropriate. All channels that could have been persisted up to this
point could only have used V1 establishment, so if some structures don't
store a channel ID for them they can safely fall back to the funding
outpoint-based version.

Enforce compile-time check for flag getters and setters

This ensures that we cannot define or use flag getters/setters on
`ChannelState` variants in which said flag is not valid.

Use clear helper on flags copy to mask off bits

Merge pull request #2694 from Evanfeenstra/public-scid-utils

public scid utils

[bindings] No-export `RouteHopCandidate` lifetime'd fields

The bindings cannot express lifetimes, so exposing any field which
is a reference (and not `clone`-able, at least for garbage
collected language bindings) is unsafe for those expecting a
high-level interface.

Thus, we simply no-export the `RouteHopCandidate` inner struct
fields which are references (there are relevant accessors for them
anyway).

[bindings] Mark `WithContext` log wrapper with no-export

There's not a lot of reason for downstream users to use the
`WithContext` wrapper, it mostly exists for our own downstream
crates anyway, and dealing with lifetimes in bindings isn't super
practical, so simply no-export it.

[bindings] Drop the lifetime bound on `Record` for bindings builds

Because log `Record`s are now being passed by ownership to `log`,
the bindings get quite annoyed that there's a lifetime hanging
around. We already don't use this lifetime in bindings (the
`FormatArgs` is converted to a string and stored on the heap), so
we can just drop the lifetime, even though it requires some
macro'ing of the struct definition to do so.

Merge pull request #2697 from jkczyz/2023-10-offer-functional-tests

Functional tests for BOLT 12 Offers payment flow