Merge pull request #2136 from marctyndel/2023-03-paymentforwarded-expose-amount-forwarded

Expose amount forwarded in `PaymentForwarded` event

Merge pull request #2059 from wpaulino/broadcast-missing-anchors-event

Queue BackgroundEvent to force close channels upon ChannelManager::read

add outbound_amount_forwarded_msat field to PaymentForwarded event

Merge pull request #2062 from alecchendev/2023-02-allow-overshoot-mpp

Allow overshooting final htlc amount and expiry

Add pending changelog noting possible backwards compat panic

Ignore lockorder violation on same callsite with different construction

As long as the lock order on such locks is still valid, we should allow
them regardless of whether they were constructed at the same location or
not. Note that we can only really enforce this if we require one lock
call per line, or if we have access to symbol columns (as we do on Linux
and macOS). We opt for a smaller patch by relying on the latter.

This was previously triggered by some recent test changes to
`test_manager_serialize_deserialize_inconsistent_monitor`. When the
test ends and a node is dropped causing us to persist each, we'd detect
a possible lockorder violation deadlock across three different `Mutex`
instances that are held at the same location when serializing our
`per_peer_states` in `ChannelManager::write`.

The presumed lockorder violation happens because the first `Mutex` held
shares the same construction location with the third one, while the
second `Mutex` has a different construction location. When we hold the
second one, we consider the first as a dependency, and then consider the
second as a dependency when holding the third, causing a circular
dependency (since the third shares the same construction location as the
first).

This isn't considered a lockorder violation that could result in a
deadlock as the comment suggests inline though, since we are under a
dependent write lock which no one else can have access to.

Merge pull request #2082 from wpaulino/bump-htlc-resolution-tx-locktime

Expose HTLC transaction locktime in BumpTransactionEvent::HTLCResolution

Use onion amount `amt_to_forward` for MPP set calculation

If routing nodes take less fees and pay the final node more than
`amt_to_forward`, the receiver may see that `total_msat` has been met
before all of the sender's intended HTLCs have arrived. The receiver
may then prematurely claim the payment and release the payment hash,
allowing routing nodes to claim the remaining HTLCs. Using the onion
value `amt_to_forward` to determine when `total_msat` has been met
allows the sender to control the set total.

Allow overshooting final cltv_expiry

Final nodes previously had stricter requirements on HTLC contents
matching onion value compared to intermediate nodes. This allowed
for probing, i.e. the last intermediate node could overshoot the
value by a small amount and conclude from the acceptance or rejection
of the HTLC whether the next node was the destination. This also
applies to the msat amount, however this change was already present.

Allow overshooting `total_msat` for an MPP

While retrying a failed path of an MPP, a node may want to overshoot
the `total_msat` in order to use a path with an `htlc_minimum_msat`
greater than the remaining value being sent. This commit no longer
fails MPPs that overshoot the `total_msat`, however it does fail
HTLCs with the same payment hash that are received *after* a
payment has become claimable.

Add `total_value_received` to `ClaimableHTLC` for claim validation

This is pre-work for allowing nodes to overshoot onion values and
changing validation for MPP completion. This adds a field to
`ClaimableHTLC` that is separate from the onion values, which
represents the actual received amount reported in `PaymentClaimable`
which is what we want to validate against when a user goes to claim.

Expose HTLC transaction locktime in BumpTransactionEvent::HTLCResolution

While users could easily figure it out based on the set of HTLC
descriptors included within, we already track it within the
`OnchainTxHandler`, so we might as well expose it to users as a
nice-to-have. It's also yet another thing they must get right to ensure
their HTLC transaction broadcasts are valid.

Set transaction locktime on malleable packages to discourage fee sniping

This only applies to all malleable packages on channels pre-dating
anchors and malleables packages for counterparty commitments
post-anchors. Malleables packages for holder commitments post-anchors
should have their transaction locktime applied manually by the consumer
of `BumpTransactionEvent::HTLCResolution` events.

Re-work PackageSolvingData::absolute_tx_timelock

Previously, this would return the earliest height the output could be
confirmed, which seems to no longer be useful. The only use of the
method was to determine whether we should delay a package to a future
block. Instead, we choose to return the absolute locktime the
transaction spending the output should have, which better corresponds to
the method name and still supports the delay functionality mentioned.

Doing so also allows us to expose the locktime required for HTLC
transactions we need to broadcast based on our own commitments for
anchor channels.

Merge pull request #2133 from tnull/2023-03-pin-syn

Pin`tokio` to fix CI

Merge pull request #2132 from tnull/2023-03-tx-sync-even-more-robustness

Drop `OnceCell` in `lightning-transaction-sync` tests

Merge pull request #2083 from wpaulino/events-module

Move events.rs into its own top-level module

Pin `tokio` to fix CI

Recently `tokio` got updated to 1.27.0, which bumped MSRV from 1.49 to
1.56.

Here we pin `tokio` accordingly to unbreak CI.

Remove unnecessary restriction on `esplora-client` version

Move test `bitcoind`/`electrsd` out of `OnceCell`

`OnceCell` doesn't call `drop`, which makes the spawned
`bitcoind`/`electrsd` instances linger around after our tests have
finished. To fix this, we move them out of `OnceCell` and let every test
that needs them spawn their own instances. This additional let us drop
the `OnceCell` dev dependency.

Merge pull request #2125 from benthecarman/invoice-expire-time

Add helper functions for invoice expiry

Add helper functions for invoice expiry

Merge pull request #2110 from munjesi/docs_fixes

Replacing (C-not exported) in the docs

Merge pull request #2123 from benthecarman/create-inv-desc

Add generic InvoiceDescription to invoice in InvoiceBuilder

Add generic InvoiceDescription to invoice in InvoiceBuilder

Add new sub-module for BumpTransactionEvent

Its accompanying event handler will also live here.

Move events.rs into its own top-level module

This is largely motivated by some follow-up work for anchors that will
introduce an event handler for `BumpTransaction` events, which we can
now include in this new top-level `events` module.

Merge pull request #2114 from Evanfeenstra/force_close_msg_display

use PrintableString to Display CounterpartyForceClosed peer_msg

Replacing (C-not exported) in the docs

SanitizedString struct to safely Display CounterpartyForceClosed peer_msg

Remove unused broadcast_latest_holder_commitment_txn method

Avoid refusing ChannelMonitorUpdates we expect to receive after closing

There is no need to fill the user's logs with errors that are expected
to be hit based on specific edge cases, like providing preimages after
a monitor has seen a confirmed commitment on-chain.

This doesn't really change our behavior – we still apply and persist the
state changes resulting from processing these updates regardless of
whether they succeed or not.

Queue BackgroundEvent to force close channels upon ChannelManager::read

This results in a new, potentially redundant, `ChannelMonitorUpdate`
that must be applied to `ChannelMonitor`s to broadcast the holder's
latest commitment transaction.

This is a behavior change for anchor channels since their commitments
may require additional fees to be attached through a child anchor
transaction. Recall that anchor transactions are only generated by the
event consumer after processing a `BumpTransactionEvent::ChannelClose`
event, which is yielded after applying a
`ChannelMonitorUpdateStep::ChannelForceClosed` monitor update. Assuming
the node operator is not watching the mempool to generate these anchor
transactions without LDK, an anchor channel which we had to fail when
deserializing our `ChannelManager` would have its commitment transaction
broadcast by itself, potentially exposing the node operator to loss of
funds if the commitment transaction's fee is not enough to be accepted
into the network's mempools.

Use CLOSED_CHANNEL_UPDATE_ID in force closing ChannelMonitorUpdates

Currently, all that is required to force close a channel is to broadcast
either of the available commitment transactions, but this changes with
anchor outputs – commitment transactions may need to have
additional fees attached in order to confirm in a timely manner. While
we may be able to just queue a new update using the channel's next
available update ID, this may result in a violation of the
`ChannelMonitor` API (each update ID must strictly increase by 1) if the
channel had updates that were persisted by its `ChannelMonitor`, but not
the `ChannelManager`. Therefore, we choose to re-purpose the existing
`CLOSED_CHANNEL_UPDATE_ID` update ID to also apply to
`ChannelMonitorUpdate`s that will force close their respective channel
by broadcasting the holder's latest commitment transaction.

Merge pull request #2102 from douglaz/node_info_addresses

Remove NodeAnnouncementInfo addresses

Merge pull request #2034 from wpaulino/anchor-revoked-aggregate-claim

Add test for aggregated revoked HTLC claim on anchors channel

Merge pull request #2100 from douglaz/docs_fixes

Docs improvements

Remove redundant `addresses` field from `NodeAnnouncementInfo`

...replacing it with an acessor `addresses()`.

Besides removing a redundant data structure already present on inner
`NodeAnnouncement`, this change makes it possible to discover new address types
upon deserialization thanks to `UnsignedNodeAnnouncement`'s implementation.

Docs improvements

Test anchors build in CI

Merge pull request #2118 from TheBlueMatt/2023-03-no-useless-strings

Remove unnecessary heap allocations in log-entry-matching tests

Remove unnecessary use in `channelmonitor` tests module

Remove unnecessary heap allocations in log-entry-matching tests

Add test for aggregated revoked HTLC claim on anchors channel

Maintain order of yielded claim events

Since the claim events are stored internally within a HashMap, they will
be yielded in a random order once dispatched. Claim events may be
invalidated if a conflicting claim has confirmed on-chain and we need to
generate a new claim event; the randomized order could result in the
new claim event being handled prior to the previous. To maintain the
order in which the claim events are generated, we track them in a Vec
instead and ensure only one instance of a PackageId only ever exists
within it.

This would have certain performance implications, but since we're
bounded by the total number of HTLCs in a commitment anyway, we're
comfortable with taking the cost.

Rename keys for OnchainTxHandler::claimable_outpoints map

Clarify OnchainEvent::Claim behavior

The previous documentation was slightly incorrect, a `Claim` can also be
from the counterparty if they happened to claim the same exact set of
outputs as a claiming transaction we generated.

Add missing docs for BumpHTLCResolution

Fix stale import behind anchors build tag

Derive Eq on structs behind anchors build flag

Implement PartialEq manually

Since we don't store `pending_claim_events` within `OnchainTxHandler` as
they'll be regenerated on restarts, we opt to implement `PartialEq`
manually such that the field is not longer considered.

Merge pull request #2116 from TheBlueMatt/2023-03-serde-sucks

Drop `serde` dependency from `lightning-block-sync`

Drop `serde` dependency from `lightning-block-sync`

`serde` doesn't bother with MSRVs, so its expected to break
frequently. Yesterday, the `derive` feature had its MSRV broken in
a patch version without care.

Luckily its trivial for us to remove the `serde` dependency in
`lightning-block-sync`, using only `serde_json` for the JSON
deserialization part. It even ends up net-negative on LoC.

Merge pull request #2024 from TheBlueMatt/2023-02-6conf-pub-hints

Include a route hint for public, not-yet-announced channels

Include a route hint for public, not-yet-announced channels

If we have a public channel which doesn't yet have six
confirmations the network can't possibly know about it as we cannot
have announced it yet. However, because we refuse to include
route-hints if we have any public channels, we will generate
invoices that no one can pay.

Thus, if we have any public, not-yet-announced channels, include
them as a route-hint.

Merge pull request #2107 from TheBlueMatt/2023-04-msrv-cleanup

Bump MSRV to 1.48 and replace most of CI with a bash script

Replace the bulk of CI with a (much simpler) bash script

Merge pull request #2094 from johncantrell97/expose-fee

expose `feerate_per_kw` in `ChannelDetails`

Fix onion_message functional_tests `no-std` build

Remove `build-features` CI flag now that its always true

Remove `build-no-std` CI flag now that its always true

Remove `build-net-tokio` flag in CI since its now always true

Bump MSRV to 1.48

1.48.0 was released at the end of 2020, nearly 2.5 years ago. It
has been the rustc available on Debian stable since bullseye,
released in 2021. supporting Debian oldstable for more than a year
seems more than sufficient time to give Debian folks to upgrade,
and bullseye is set to become `oldstable` later this year with the
release of `bookworm`, likely this summer.

This also allows us to clean up our MSRV substantially, having a
single MSRV across our crates rather than a number of separate
ones. Sadly, windows already requires 1.49.

expose `feerate_sat_per_1000_weight` in `ChannelDetails`

renames Channel::get_feerate to get_feerate_sat_per_1000_weight

Merge pull request #2045 from wpaulino/fix-broken-commitment-test-vectors

Update commitment test vectors

Merge pull request #2063 from valentinewallace/2023-03-remove-paymentpathfailed-retry

Remove `PaymentPathFailed::retry`

Merge pull request #2099 from tnull/2023-03-pin-ntapi-on-windows

Pin tokio to 1.26 on windows to fix CI

Merge pull request #2091 from tnull/2023-03-expose-impl-writeable-tlv-based-enum-common

Ensure payment_params present when checking is_retryable_now

Remove payment_params from send_payent_along_path

It's unused since it no longer inserts it into HTLCSource

Remove HTLCSource::OutboundRoute::payment_params

No longer used since it is no longer used to construct PaymentPathFailed events

Remove PaymentPathFailed::retry

We now support automatic retries in ChannelManager and no longer support manual
retries, so the field is useless.

Pin tokio to 1.26 on windows to fix CI

Merge pull request #2092 from TheBlueMatt/2023-03-find-route-id

Correct `outbound_payment` route-fetch calls to pass the hash + ID

Further simplify the `outbound_payments` failure macro

Correct `outbound_payment` route-fetch calls to pass the hash + ID

`Route::get_route_with_id` exists to provide users payment-specific
data when fetching a route, however we were failing to call it when
we have such info, opting for the simple `get_route` instead. This
defeats the purpose of the additional-metadata method, which we
swap to using here.

Expose `_impl_writeable_tlv_based_enum_common` macro

As it isn't currently, and it's used by the exposed
`impl_writeable_tlv_based_enum`.

Merge pull request #2079 from tnull/2023-03-add-list-channel-by-counterparty

Merge pull request #2078 from AdvaitPote/bigsize_tests

Added encoding and decoding tests for BigSize

Merge pull request #2085 from tnull/2023-03-introduce-async-https-feature

Support HTTPS Esplora endpoints in `lightning-transaction-sync` via new feature

encoding/decoding tests added for BigSize

removed unnecessary debugging line

using io::Cursor in place of the std one

encoding/decoding tests added for BigSize

made the code concise

encoding/decoding tests added for BigSize

Remove unnecessary logging imports

Support HTTPS Esplora endpoints via new feature

To support HTTPS endpoints, the async HTTP library `reqwest` needs one of
the `-tls` features enabled. While the users could specify this in their
own cargo dependencies, we here provide a new `esplora-async-https`
feature for conveinience.

Merge pull request #2084 from zpv/fix-changelog-all-paths-failed-typo

Fix `all_paths_failed` typo in changelog

Merge pull request #2081 from TheBlueMatt/2023-03-future-poll-panic

Fix `Event::PaymentPathFailed` typo in changelog

Fix `all_paths_failed` typo in changelog

Add `list_channels_by_counterparty` method

While we already provide a `list_channels` method, it could result in
quite a large `Vec<ChannelDetails>`. Here, we provide the means to query
our channels by `counterparty_node_id` and DRY up the code.

Avoid `poll`ing completed futures in the `background-processor`

`poll`ing completed futures invokes undefined behavior in Rust
(panics, etc, obviously not memory corruption as its not unsafe).
Sadly, in our futures-based version of
`lightning-background-processor` we have one case where we can
`poll` a completed future - if the timer for the network graph
prune + persist completes without a network graph to prune +
persist we'll happily poll the same future over and over again,
likely panicing in user code.

Merge pull request #2049 from douglaz/run-clippy-fix

Run clippy fix

Run clippy --fix and cleanup code

Update same amount and preimage test vector

The amount for HTLC #6 was updated in the spec's test vectors, but the
"same amount and preimage" test vector itself was not updated, even
though the new HTLC amount resulted in a different commitment
transaction, and thus, different signatures.

Add missing test vector for anchors_zero_fee_htlc_tx

Tests the case where only one anchor output exists for the funder in the
commitment transaction due to the remote having a dust balance (in this
case, 0).

Merge pull request #2074 from TheBlueMatt/2023-03-fix-threaded-test

Make `fuzz_threaded_connections` more robust

Merge pull request #2028 from TheBlueMatt/2023-02-macros-for-wilmer

Reduce macro usage in tests

Merge pull request #1497 from TheBlueMatt/2022-05-no-default-opt

Disable LTO builds in tests (and bump deps to -O2)

Make `fuzz_threaded_connections` more robust

In `fuzz_threaded_connections`, if one thread is being run while
another is starved, and the running thread manages to call
`timer_tick_ocurred` twice after the starved thread constructs the
inbound connection but before it delivers the first bytes, we'll
receive an immediate error and `unwrap` it, causing failure.

The fix is trivial, simply remove the unwrap and return if we're
already disconnected when we do the initial read.

While we're here, we also reduce the frequency of the
`timer_tick_ocurred` calls to give us a chance to occasionally
deliver some additional messages.

Fixes #2073

Merge pull request #2065 from TheBlueMatt/2023-02-0.0.114

Cut 0.0.114

Update crate versions to 0.0.114/invoice 0.22

Add release notes for 0.0.114