Eliminate unnecessary generics from Sign

The generic methods prevent Sign from being a dyn object.

Use Secp256k1<All> as part of removing generics from Secp256k1 contexts passed into Sign methods.

Merge pull request #838 from TheBlueMatt/2021-03-skip-blocks

Make `Channel`'s block connection API more electrum-friendly

Handle 1-conf funding_locked in channel no matter the event order

See comment in the diff for more details

Allow changing the way we [dis]connect blocks in funtional tests

Drop ChannelManager::block_disconnected() entirely

It is now entirely redundant with ChannelManager::update_best_block
and is still accessible via `Listen::block_disconnected`.

Make the ChannelManager::block_connected API more electrum-friendly

See the similar commit that operates on `Channel`'s internal API
for more details on the reasoning.

Move ChannelManager to Channel's new block data API

This also moves the scanning of the block for commitment
transactions into channel, unifying the error path.

More regularly send an Error message when we force-close a channel

When we force-close a channel, for whatever reason, it is nice to
send an error message to our peer. This allows them to closes the
channel on their end instead of trying to send through it and
failing. Further, it may induce them to broadcast their commitment
transaction, possibly getting that confirmed and saving us on fees.

This commit adds a few more cases where we should have been sending
error messages but weren't. It also includes an almost-global
replace in tests of the second argument in
`check_closed_broadcast!()` from false to true (indicating an error
message is expected). There are only a few exceptions, notably
those where the closure is the result of our counterparty having
sent *us* an error message.

Merge pull request #864 from valentinewallace/background-process-peer-events

Call peer_manager.process_events() in BackgroundProcessor

Call peer_manager.process_events() in BackgroundProcessor

Make `Channel`'s block connection API more electrum-friendly

Electrum clients primarily operate in a world where they query (and
subscribe to notifications for) transactions by script_pubkeys.
They may never learn very much about the actual blockchain and
orient their events around individual transactions, not the
blockchain.

This makes our ChannelManager interface somewhat more amenable to
such a client by splitting `block_connected` into
`transactions_confirmed` and `update_best_block`. The first handles
checking the funding transaction and storing its height/confirmation
block, whereas the second handles funding_locked and reorg logic.

Sadly, this interface is somewhat easy to misuse - notifying the
channel of the funding transaction being reorganized out of the
chain is complicated when the only notification received is that
a new block is connected at a given height. This will be addressed
in a future commit.

Switch to height-based funding-tx tracking from conf-based tracking

Previously, we expected every block to be connected in-order,
allowing us to track confirmations by simply incrementing a counter
for each new block connected. In anticipation of moving to a
update-height model in the next commit, this moves to tracking
confirmations by simply storing the height at which the funding
transaction was confirmed.

This commit also corrects our "funding was reorganized out of the
best chain" heuristic, instead of a flat 6 blocks, it uses half the
confirmation count required as the point at which we force-close.

Even still, for low confirmation counts (eg 1 block), an ill-timed
reorg may still cause spurious force-closes, though that behavior
is not new in this commit.

Merge pull request #860 from TheBlueMatt/2021-03-bench-sends

Add a simple send-funds benchmark in channelmanager

Also benchmark sending funds with a FilesystemPersister

Merge pull request #859 from TheBlueMatt/2021-03-fix-warns

Cache our node ID in ChannelManager

While its not necessarily a common operation on a running node,
`get_our_node_id()` is used incredibly heavily in tests, and there
is no reason to not eat the extra ~64 bytes to just cache it.

Add a simple send-funds benchmark in channelmanager

Implement Persist for any Signer in TestPersister

Fix two new compiler warnings in fuzz

This fixes two trivial compiler warnings in fuzz that point to
broken usage of explicit `panic!()`s.

Merge pull request #840 from jkczyz/2021-03-rescan-logic

Rescan dependent transactions in ChainMonitor

Test register_output is called on dependent txn

chain::Filter::register_output may return an in-block dependent
transaction that spends the output. Test the scenario where the txdata
given to ChainMonitor::block_connected includes a commitment transaction
whose HTLC output is spent in the same block but not included in txdata.
Instead, it is returned by chain::Filter::register_output when given the
commitment transaction's HTLC output. This is a common scenario for
Electrum clients, which provided filtered txdata.

Mock-like expectations for TestChainSource

Add a method to TestChainSource to test chain::Filter expectations. This
is limited to register_output, allowing tests to assert that the method
was called with a specific output and dictate what the return value is.

Multiple expectations are checked in the order in which they were added.
Failure occurs if a call doesn't match the next expectation or if there
are unsatisfied expectations. If not expectations are added, then no
calls are checked.

Add rescan logic to ChainMonitor::block_connected

Electrum clients will only provide transaction data for outputs that
have been explicitly registered. Hence, upon registering new outputs,
recursively register any outputs to watch contained within dependent
transactions from the same block.

Include block hash for watched transaction output

When registering a watched transaction output, any in-block descendant
transactions spending the output must be supplied. Give the block hash
when registering such outputs such that this is possible. Otherwise,
spends from other blocks may be returned inadvertently.

Merge pull request #855 from valentinewallace/expose-asyncblocksourceresult

Expose AsyncBlockSourceResult as pub

Expose AsyncBlockSourceResult and BlockSourceResult as pub

Useful for writing objects that implement BlockSource trait.

Return optional Transaction from register_output

Electrum clients primarily operate by subscribing to notifications of
transactions by script pubkeys. Therefore, they will send filtered
transaction data without including dependent transactions. Outputs for
such transactions must be explicitly registered with these clients.

Therefore, upon block_connected, provide a mechanism for an Electrum-
backed chain::Filter to return new transaction data to scan.

Merge pull request #846 from TheBlueMatt/2021-03-test-chains

Require syntactically-valid blockchains in functional and unit tests

[functional tests] Drop unused disconnect_block utility

This also reduces some needless clones and indirections.

Drop height parameter from [dis]connect_block in functional tests

[tests] Demonstrate that the commit is trivially safe

See comment in the code, This commit exists only to aid reviewers.

[tests] Drop redundant parameters from connect_blocks

[test] Demonstrate that the next commit is trivially safe

See comment in the code. This commit exists only to aid reviewers.

Enforce block connection ordering in unit and functional tests

This expands the assertions on block ordering to apply to
`#[cfg(test)]` builds in addition to normal builds, requiring that
unit and functional tests have syntactically-valid (ie the previous
block hash pointer and the heights match the blocks) blockchains.

This requires a reasonably nontrivial diff in the functional tests
however it is mostly straightforward changes.

Fix block connection ordering in a number of functional tests

Many functional tests rely on being able to call block_connected
arbitrarily, jumping back in time to confirm a transaction at a
specific height. Instead, this takes us one step towards having a
well-formed blockchain in the functional tests.

We also take this opportunity to reduce the number of blocks
connected during tests, requiring a number of constant tweaks in
various functional tests.

Co-authored-by: Valentine Wallace <vwallace@protonmail.com>
Co-authored-by: Matt Corallo <git@bluematt.me>

Add assertions for in-order block [dis]connection in ChannelManager

Sadly the connected-in-order tests have to be skipped in our normal
test suite as many tests violate it. Luckily we can still enforce
it in the tests which run in other crates.

Co-authored-by: Matt Corallo <git@bluematt.me>
Co-authored-by: Jeffrey Czyz <jkczyz@gmail.com>

Add `Debug` to derive list in MessageSendEvent

It can be quite useful in debugging, and potentially also so for
users.

Clean up log warning in the event ChannelMonitor force-closed

Merge pull request #849 from TheBlueMatt/2021-03-config-cltv-delta

Make cltv_expiry_delta configurable and reduce the min/default some

Ignore patch codecov as long as total coverage is within 1% of base

In some PRs, codecov gets mad that the coverage of the patch itself
is lower than the base. In most cases, we largely don't want a Big
Red X, at least as long as the total coverage has not gone down
substantially.

Tweak our_to_self_delay documentation wording to make it flow better

Make cltv_expiry_delta configurable and reduce the min/default some

We allow users to configure the to_self_delay, which is analogous to
the cltv_expiry_delta in terms of its security context, so we should
allow users to specify both.

We similarly bound it on the lower end, but reduce that bound
somewhat now that it is configurable.

Merge pull request #848 from TheBlueMatt/2021-03-doc-cleanups

Clean up doc links and enforce them in CI

Also correct/check links in private item documentation

Drop all HTML-relative links since rustdoc now supports resolution

Enforce no missing docs in all crates (+ add docs that were missing)

Enforce doc link correctness during `cargo doc` runs and in CI

Clean up some doc links in lightning_block_sync.

Relative HTML doc paths in doc links works locally, but breaks on
crates.io. Luckily, we can now use explicit full paths and rustdoc
will resolve them for us.

Expose the constants mentioned in docs, and use doc links

Merge pull request #841 from valentinewallace/207-replacement

Expose counterparty forwarding info in ChannelDetails

Expose counterparty forwarding info in ChannelDetails.

Useful for constructing route hints for private channels in invoices.

Co-authored-by: Valentine Wallace <vwallace@protonmail.com>
Co-authored-by: Antoine Riard <ariard@student.42.fr>

Pass channel updates to ChannelManager and Channel.

This will be used to expose forwarding info for route hints in the next commit.

Co-authored-by: Valentine Wallace <vwallace@protonmail.com>
Co-authored-by: Antoine Riard <ariard@student.42.fr>

Add CounterpartyForwardingInfo field to channel.

This will be filled in in upcoming commits, then exposed in ChannelDetails
to allow constructing route hints for invoices.

Also update the cltv_expiry_deta comment in msgs::ChannelUpdate

Co-authored-by: Valentine Wallace <vwallace@protonmail.com>
Co-authored-by: Antoine Riard <ariard@student.42.fr>

Merge pull request #828 from bmancini55/reply_channel_range

Handle query_channel_range gossip queries

Simplify sequencing of handle_query_channel_range

Modify NetGraphMsgHandler::handle_query_channel_range to always use
first_blocknum=0 in replies. This is spec compliant after changes to
make sequence completion explicity using sync_complete.

Comment cleanup for handling query_channel_range

Cleans up NetGraphMsgHandler::handle_query_channel_range

Use constant MAX_REPLY_SCID

Modifies NetGraphMsgHandler::handle_query_channel_range to use a constant
max value in replies. Modifies tests to generate 8000 channels instead
of making this value configurable.

Merge pull request #836 from valentinewallace/invoice-features-methods

Add methods to set invoice features in Features objects.

Add methods to set features in Features objects.

Merge pull request #837 from TheBlueMatt/2021-03-0.0.13

Use constant in QueryChannelRange::end_blocknum

Clarifies u32 max value used as the default.

Merge pull request #834 from TheBlueMatt/2021-03-no-pub-internals

Make `util::logger::macro_logger` pub(crate) not pub.

Update licenses and add missing fields in Cargo.toml files

Add missing feature to background-processor dev-dependencies

Clean up iteration in handle_query_channel_range

Refactor to use an enumerator in NetGraphMsgHandler::handle_query_channel_range

Merge pull request #835 from TheBlueMatt/2021-03-0.0.13

Bump Version to 0.0.13

Use scid_from_parts in Channel::block_connected

Refactors validation and short_channel_id construction to use
the new scid_from_parts function.

Improve short_channel_id utils

Modifies scid_from_parts to use u64 inputs allowing untruncated
validation. Adds public constants for limits.

Bump versions to 0.0.13 across the board

We also skip having different versions for different subcrates,
since that is confusing.

Rename `background-processor` to `lightning-background-processor`

This matches our naming scheme better and fits better on crates.io.
Also drop the version to 0.0.1 to match our versioning scheme
better.

Merge pull request #827 from TheBlueMatt/2021-03-invoice-features

Disable MPP routing when the payee does not support it

Merge pull request #826 from valentinewallace/raise-max-to-self-delay

Raise max to_self_delay.

Raise max to_self_delay.

lnd requires this to_self_delay for the max channel size
(excluding wumbo).

Split router benchmark into an MPP and a non-MPP route benchmark

Disable MPP routing when the payee does not support it

Add an Option<>al InvoiceFeatures object for the payee in get_route

We currently only use it to override the graph-specific features
returned in the route, though we should also use it to enable or
disable MPP.

Note that tests which relied on MPP behavior have had all of their
get_route calls upgraded to provide the MPP flag.

Merge pull request #833 from TheBlueMatt/2021-03-no-xs

Drop C bindings (which are now in a separate repo)

Merge pull request #830 from TheBlueMatt/2021-03-chanmon-deser-utils

Make chain::Filter slightly easier with some ChannelMonitor utilities.

Make `util::logger::macro_logger` pub(crate) not pub.

There is no reason for it to be pub, its a largely-internal
implementation detail of how we format our own objects for logging.

Drop C bindings (which are now in a separate repo)

This allows us to drop the usually-failing C bindings CI check, and
makes Github code search more useful by dropping redundant things.

Create new `InvoiceFeatures` object for Invoice-specific features

In the past we skipped doing this since invoice parsing occurs in a
different crate. However, we need to accept InvoiceFeatures in routing
now that we support MPP route collection, to detect if we can select
multiple paths or not. Further, we should probably take
rust-lightning-invoice as either a module or a subcrate in this repo.

Add codecov.yml allowing coverage to drop slightly before "failing"

This should remove one big red X in our builds, making it harder
to miss other failing tests.

Merge pull request #832 from jkczyz/2021-03-typo-fix

Fix misspelling of 'occurred' in public interface

Use the new `load_outputs_to_watch` util in `ChainMonitor`

This is slightly more effecient as it avoids a clone, but its also
nice to use our own code more.

Make `get_outputs_to_watch` return a `Vec` instead of a `HashMap`

`get_outputs_to_watch` returned a reference to an existing
`HashMap` avoiding extra clones, but there isn't a huge reason to
do so now that we have to clone to copy it out of the
`ChannelMonitor` mutex. Instead, return a `Vec` since it may be
less memory and it allows us to have a bindings C mapping for the
function.

Co-authored-by: Jeffrey Czyz <jkczyz@gmail.com>
Co-authored-by: Matt Corallo <git@bluematt.me>

Fix misspelling of 'occurred' in public interface

Merge pull request #829 from TheBlueMatt/2021-03-0.0.13-bindings

0.0.13 Bindings Updates

Auto-generated bindings updates

[bindings] Check for a wasm32 target before compiling in genbindings

[bindings] Update demos for new upstream API

Make IgnoringMessageHandler and ErroringMessageHandler pub

This is largely useful for bindings, and the off-github discussion
around #814 concluded these should be pub, but the PR was not
updated to capture this. Now that the bindings support generation
for the structs, expose them.

[bindings] Handle ::-containing paths in generics

Specifically, this is required for some paths which use
`Option<msgs::Message>`.

[bindings] Be explicit when calling pointer.is_null()

When the (somewhat anti-pattern)
`impl Deref for X { type Target = X; .. }` is used, this avoids an
infinite dereference exception trying to figure out what type to
resolve `is_null` against.

[bindings] Avoid double-use'ing traits by writing out the path

Change ChannelManager::wait to be more descriptive

`wait` doesn't capture enough of what's going on, but also Java
Java doesn't accpet methods just called `wait`, as it conflicts
with existing sync primitives on all Objects.

Add utility in `ChannelMonitor` to reload `chain::Filter` data

The deserialization process for `ChannelManager`/`ChannelMonitor`
data includes reloading any relevant `chain::Filter` with data
provided from the `ChannelMonitor`, but its nice if we adapt the
data to `chain::Filter` calls for users.

[bindings] Support converting Network to rust, update variants

Merge pull request #823 from jkczyz/2021-03-birthday-hash

Replace default hash with birthday hash

Correctly update the last block hash on disconnect

When a block is disconnected, the hash of the disconnected block was
used to update the last connected block. However, this amounts to a
no-op because these hashes should be equal. Successive disconnections
would update the hash but leave it one block off.

Normally, this not a problem because the last block_disconnected should
be followed by block_connected since the former is triggered by a chain
re-org. However, this assumes the user calls the API correctly and that
no failure occurs that would prevent block_connected from being called
(e.g., if fetching the connected block fails).

Instead, update the last block hash with the disconnected block's
previous block hash.

Hold ChannelManager locks independently

ChannelManager reads channel_state and last_block_hash while processing
funding_created and funding_signed messages. It writes these while
processing block_connected and block_disconnected events. To avoid any
potential deadlocks, have each site hold these locks independent of one
another and in a consistent order.

Additionally, use a RwLock instead of Mutex for last_block_hash since
exclusive access is not needed in funding_created / funding_signed and
cannot be guaranteed in block_connected / block_disconnected because of
the reads in the former.