Use known InvoiceFeatures for routing in tests

Pipe through PaymentSecrets in tests during payment hash creation

In order to reduce code movement in the next commit, this commit
simply tweaks get_payment_preimage_hash!() and related functions in
functional tests to return a payment secret. Further, we ensure
that we always call get_payment_preimage_hash!() with the node
which will ultimately receive the payment.

DRY the get_route_and_payment_hash!() macro duplicated in tests

Add payment secret and preimage tracking in ChannelManager

This adds support for tracking payment secrets and (optionally)
payment preimages in ChannelManager. This potentially makes client
implementations much simper as they don't have to have external
payment preimage tracking.

This doesn't yet use such tracking anywhere.

Set payment_secret to required in features flags

Merge pull request #854 from TheBlueMatt/2021-03-fix-lens

Fix serialization expected lengths and check them in test/fuzzing

Use more descriptive names in serialization impl macros

Fix serialization expected lengths and check them in test/fuzzing

Merge pull request #897 from TheBlueMatt/2021-04-fix-ci

Bump MSRV to 1.36

Test lightning-persister on rustc 1.36 as well

Bump MSRV to 1.36.0

Debian is shipping 1.41 on oldstable and rust-bitcoin will likely
move to 1.36 over the coming months, so there's little reason to
wait on this.

cc https://github.com/rust-bitcoin/rust-bitcoin/issues/510

Merge pull request #894 from TheBlueMatt/2021-04-fix-docs

Fix doc resolution in rustc 1.48

Merge pull request #876 from valentinewallace/invoice-features

Invoice features

Add Features feature to invoices.

Merge pull request #890 from TheBlueMatt/2021-04-fix-chan-shutdown-crash

Fix (and test) panic when our counterparty uses a bogus funding tx

Fix (and test) panic when our counterparty uses a bogus funding tx

During the block API refactor, we started calling
Channel::force_shutdown when a channel is closed due to a bogus
funding tx. However, we still set the channel's state to Shutdown
prior to doing so, leading to an assertion in force_shutdown (that
the channel is not already closed).

This removes the state-set call and adds a (long-overdue) test for
this case.

Fixes: 60b962a18ebcf494340ddc001870f8160c625968

Expose Features::from_le_bytes() method

Useful for constructing features objects from raw feature bytes.

Fix indentation in payment_secret function

Fix doc resolution in rustc 1.48

Merge pull request #889 from jkczyz/2021-04-electrum-trait

Define chain::Confirm trait for use by Electrum clients

Drop pub functions for ChainMonitor's Listen impl

Implement chain::Confirm for ChainMonitor

Implement chain::Confirm for relevant structs

Define chain::Confirm trait

Define a separate trait akin to chain::Listen for notifying when
transactions have been confirmed on chain or unconfirmed during a chain
reorganization. Whereas chain::Listen is used for block-oriented chain
sources, chain::Confirm is used for chain sources supplying data for
activity related to transactions and outputs registered via
chain::Filter.

Merge pull request #891 from TheBlueMatt/2021-04-peer_handler_lock

[peer_handler] Take the peers lock before getting messages to send

[peer_handler] Take the peers lock before getting messages to send

Previously, if a user simultaneously called
`PeerHandler::process_events()` from two threads, we'd race, which
ended up sending messages out-of-order in the real world.
Specifically, we first called `get_and_clear_pending_msg_events`,
then take the `peers` lock and push the messages we got into the
sending queue. Two threads may both get some set of messages to
send, but then race each other into the `peers` lock and send the
messages in random order.

Because we already hold the `peers` lock when calling most message
handler functions, we can simply take the lock before calling
`get_and_clear_pending_msg_events`, solving the race.

Merge pull request #887 from valentinewallace/invoice-use-RL-routehint

invoice: swap RouteHop for RouteHint

Test lightning-invoice on 1.30.0

invoice: rename Route to RouteHint (which is more accurate)

Rename RouteHint to RouteHintHop (which is more accurate)

invoice: swap RouteHop for RouteHint

To prevent naming conflicts in bindings

Merge pull request #844 from sr-gi/843-ln-signing

Adds lightning message signing/verification/pk_recovery

Changes zbase32 crate from pub to pub(crate)

Correct license header in zbase32 to match original work

The original work is licensed dual MIT+Apache-2 just like us, so
the license header should not only mention MIT.

Replace spaces with tabs in zbase32.rs

Fix a number of bugs in zbase32 and add a fuzzer which caught them.

Adds lightning message signing/verification/pk_recovery

Merge pull request #886 from TheBlueMatt/2021-04-pub-alias

Make the used-in-pub-interfaces TransactionOutputs type alias pub

Merge pull request #884 from TheBlueMatt/2021-04-bp-bindings

Prep background-processor for bindings inclusion

Make the used-in-pub-interfaces TransactionOutputs type alias pub

Rename background-processor to lightning-... to match other crates

Use a trait to handle ChannelManager persistence instead of an Fn

This avoids having to write new support for closures in the C
bindings generation but, more importantly, we really need to also
be handling Events in the same trait, so it makes sense to go ahead
and convert it.

For compatibility, the trait is implemented for any matching
closure.

Loosen background-persister so bindings are happy

Merge pull request #858 from jkczyz/2021-03-electrum-interface

Electrum interface for ChannelMonitor

Rename onchain_events_waiting_threshold_conf

Parameterize test_htlc_on_chain_timeout

This test failed when ConnectionStyle was set to a SkippingBlocks
variant because of a bug in ChannelMonitor::update_best_block.
Parameterize the test with these styles to catch any regressions.

Test ChainMonitor's Electrum interface

Reuse txdata in functional_test_utils.rs

Add an internal typedef for transaction outputs

Remove unnecessary script_pubkey clones

Electrum interface for ChainMonitor

Add an interface to ChainMonitor for Electrum users, delegating to the
corresponding methods in each ChannelMonitor.

Add ChannelMonitor::get_relevant_txids

Define an Electrum-friendly interface for ChannelMonitor where txids of
relevant transactions can be obtained. For any of these transactions
that are re-orged out of the chain, users must call
transaction_unconfirmed.

Add ChannelMonitor::transaction_unconfirmed

Define an Electrum-friendly interface for ChannelMonitor where
transactions are unconfirmed independently from updating the latest
block.

Add ChannelMonitor::update_best_block

Expose a way for Electrum users to update the best block on a
ChannelMonitor independently of confirming transactions.

Add ChannelMonitor::transactions_confirmed

Define an Electrum-friendly interface for ChannelMonitor where
transactions are confirmed independently of updating the last connected
block.

Track block height in ChannelMonitor

Combine ChannelManager's block hash and height

There is a possible race condition when both the latest block hash and
height are needed. Combine these in one struct and place them behind a
single lock.

Add txid to on-chain event tracking

When using Electrum, transactions are individually unconfirmed during a
reorg rather than by block. Store the txid of the transaction creating
the on-chain event so that it can be used to determine which events need
to be removed when a transaction is unconfirmed.

Check for duplicate HTLC events having matured

Flatten onchain_events_waiting_threshold_conf

Rather than mapping height to a vector of events, use a single vector
for all events. This allows for easily processing events by either
height or transaction. The latter will be used for an interface suitable
for Electrum.

Merge pull request #853 from TheBlueMatt/2021-03-transaction_unconfirmed

Add method to note transaction unconfirmed/reorged-out

Test new transactions_unconfirmed

Expose ChannelManager's current config and use it in reload in tests

Add method to note transaction unconfirmed/reorged-out

Merge pull request #885 from p2pderivatives/use-secp256k1-consts-in-ser

Fix size check in Vec<Signature> serialization + use consts

Merge pull request #875 from TheBlueMatt/2021-04-fix-bench

Fix benchmark compile warnings and errors

Fix size check in Vec<Signature> serialization + use consts

Fix compile warning with --cfg require_route_graph_test

Merge pull request #872 from valentinewallace/timer-tick-in-bg-processor

Call timer_tick_occurred in BackgroundProcessor

Call peer_manager.timer_tick_occurred() in background processor

Rename timer_chan_freshness_every_min for uniformity with PeerManager

Merge pull request #874 from TheBlueMatt/2021-04-persister-export

Prep lightning-persister for export in the C bindings

Improve + fix indentation and style in lightning-persister

Return ChannelMonitors in a Vec, not HashMap when loading from disk

There's little reason for the HashMap - the ChannelMonitors are
already unique (enforced by file names), and the eventual HashMap
that users need when deserializing the `ChannelManager` is a
slightly different form (it requires no BlockHash entry).

Fix benchmark compile warnings and errors

Hopefully soon once a few more PRs get merged we can require this
in CI so we won't have any more regressions here.

Expand persistence to all ChannelManagers, not just Arc-based ones

Merge pull request #856 from TheBlueMatt/2021-03-check-tx

Take the full funding transaction from the user on generation

Merge pull request #870 from valentinewallace/invoices-crate

Invoices crate

Merge pull request #873 from TheBlueMatt/2021-861-missing-eof-eol

Add missing EOF newline

Take the full funding transaction from the user on generation

Instead of relying on the user to ensure the funding transaction is
correct (and panicing when it is confirmed), we should check it is
correct when it is generated. By taking the full funding transaciton
from the user on generation, we can also handle broadcasting for
them instead of doing so via an event.

Merge pull request #861 from lightning-signer/degenerify

De-generify Sign methods

Add missing EOF newline

Merge pull request #866 from TheBlueMatt/2021-04-log-err-node

Log the node generating an onion error

Merge pull request #863 from valentinewallace/expose-read-chanmons-from-disk

persister: Expose method to read ChannelMonitors from disk

persister: Expose method to read ChannelMonitors from disk

Fix Windows

Clean up lightning-invoice Cargo.toml and README

Add lightning invoice fuzzing to CI

Clean up lightning-invoice CI, license, and add to workspaces

Pure import of lightning-invoice crate

Original repo: https://github.com/rust-bitcoin/rust-lightning-invoice

Test that BaseSign can have a vtable

Move Writeable from BaseSign to Sign

Separate Clone from Sign

Clone requires Sized, which prevents Sign from being a dyn object.

Eliminate unnecessary generics from Sign

The generic methods prevent Sign from being a dyn object.

Use Secp256k1<All> as part of removing generics from Secp256k1 contexts passed into Sign methods.

Merge pull request #871 from TheBlueMatt/2021-03-bench-sends

Run FS bench in CI as well

Run FS bench in CI as well

Merge pull request #815 from TheBlueMatt/2021-03-router-fuzzzzzzzz

Track full-path htlc-minimum-msat while routing

[router] Add and clarify comments describing router internals

Drop unreachable underflow-handling block in route calculation

See comment in the removed block, note that the subsequent
subtraction will underflow if the block would otherwise have been
reached.

Don't clone Features during Dijkstras graph walk

We currently copy the features objects in each channel as we walk
the graph during route calculation. This implies a significant
amount of malloc traffic as the features flags object are stored
on the heap.

Instead, because they features being referenced are in the network
graph which we hold a reference to, we can simply store references
to them.

This nontrivially improves our get_route benchmark by around 5%.