Replace use of ChainWatchInterface with WatchEvent

SimpleManyChannelMonitor is parameterized by ChainWatchInterface to
signal what transactions and outputs to watch for on chain. The
interface has grown to cover chain access (via get_chain_utxo) and block
block filtering (via filter_block and reentered), which has added
complexity for implementations and user (see ChainWatchInterfaceUtil).

Pull the watch functionality out as a first step to eliminating
ChainWatchInterface entirely.

Add test utilities for {dis}connecting a block

Replace direct uses of BlockNotifier in functional tests with utility
functions. This is in preparation for signaling watch events back via a
refactoring of ManyChannelMonitor and ChainWatchInterface. Those events
will be processed by connect_block.

Replace BlockNotifier with Node in test utilities

Change confirm_transaction and connect_blocks to take a Node instead of
a BlockNotifier. This is in preparation for signaling watch events back
via a refactoring of ManyChannelMonitor and ChainWatchInterface.

Simplify BlockNotifier tests

Use a simple ChainListner implementation rather than large test objects
for testing BlockNotifier.

Remove unregister_single_listener_ref_test since it is redundant with
unregister_single_listener_test.

Remove unnecessary clone() calls.

Align ChannelMonitor interface with ChainListener

ChannelMonitor has block_connected and block_disconnected methods called
by <SimpleManyChannelMonitor as ChainListener>. Use similar parameters
in ChannelMonitor such that transformations are not needed and the
interface is more closely aligned with ChainListener.

f - Update ChainListener::block_connected

Support filtered blocks by taking a &BlockHeader and &Transaction slice
of the form &[(usize, &Transaction)] where each transaction is paired
with its position within the block.

Remove ChainWatchInterface from BlockNotifier

ChainListeners should be independent of each other, but in practice this
is not the case because ChainWatchInterface introduces a dependency
between them. Push ChainWatchInterface down into the ChainListener
implementations where needed. Update ChainListener's block_connected
method to take the entire block.

Merge pull request #663 from TheBlueMatt/2020-08-codecov

Set codecov upload token

Set codecov upload token

Docs seem to indicate this should only be required for private
repos, but we have builds failing claiming this needs to be
specified, so just set it manually.

Merge pull request #658 from lightning-signer/self-delay

ChannelKeys - provide to_self_delay alongside the remote channel pubkeys

ChannelKeys - provide to_self_delay alongside the remote channel pubkeys

In the phase 2 signer, we will construct the commitment transaction inside the signer.
In preparation, provide needed channel related data.

Merge pull request #651 from naumenkogs/2020-06-routing-data-improvements

Routing improvements

Check htlc_maximum_msat on channel update

Store channel capacity if available

Add htlc_maximum_msat field

Update comment for test_msg_hole

Merge pull request #655 from lightning-signer/per-commitment

ChannelKeys - separate commitment revocation from getting the per-commitment point

ChannelKeys - separate commitment revocation from getting the per-commitment point

The commitment secret is sensitive - it can be used by an attacker to
steal funds if the node also signs the same transaction. Therefore,
only release the secret from ChannelKeys when we are revoking a
transaction.

Improve routing announcement test

Fix formatting

Use constant for max msats

Update get_route comment to reflect new parameters

Merge pull request #644 from joemphilips/improve_error_message

Improve error message.

Merge pull request #623 from LNP-BP/feat-msgsizelimit

Making message size limit an exportable constant

slightly refactor internal_announcement_signatures

For making debugging easy.
If the user gives a different node_secret for transport
layer (`PeerManager`) and for routing msg, internal_announcement_signatures
is the first place it causes an error.
By giving a detailed error message, user will be able to
fix the bug quickly.

Improve error message.

... for ChannelError and APIMisuseError
Before this commit, When rl returns error, we don't know
The actual parameter which caused the error.
By returning parameterised `String` instead of predefined `&'static str`,
We can give a caller improved error message.

TestLogger now has two additional methods
1. `assert_log_contains` which checks the logged messsage
  has how many entry which includes the specified string as a substring.
2. `aasert_log_regex` mostly the same with `assert_log_contains`
  but it is more flexible that caller specifies regex which has
  to be satisfied instead of just a substring.
For regex, tests now includes `regex` as dev-dependency.

Moving LN_MAX_MSG_LEN const to the actual use place

Removing spec quotation from LN_MAX_MSG_LEN definition

Removing duplicated code in message decryption test cases

Test cases for message encryption/decryption size limits

Fixing panic messages for decryption procedures

Making message size limit an exportable constant

Merge pull request #656 from erasmospunk/typo

Fix typo

Fix typo

Merge pull request #652 from lightning-signer/commitment-secret

ChannelKeys provides individual commitment secrets

ChannelKeys provides individual commitment secrets

Merge pull request #650 from TheBlueMatt/2020-06-fix-build

Fix silent merge conflict between bcd65be and 940d7ac

Fix unused-parentheses warnings newer rustcs have added

Fix silent merge conflict between bcd65bed7bd9a and 940d7ac8d897589

Merge pull request #647 from valentinewallace/test-remote-fee-spike-buffer-violation

Test remote fee spike buffer violation

Merge pull request #638 from TheBlueMatt/2020-06-c-bindings-cleanups-2

Pre-C bindings cleanups (2)

Use usize for transaction-position-in-block values

We use them largely as indexes into a Vec<Transaction> so there's
little reason for them to be u32s. Instead, use them as usize
everywhere.

We also take this opportunity to add range checks before
short_channel_id calculation, as we could otherwise end up with a
bogus short_channel_id due to an output index out of range.

Drop unused import in fuzz router.rs

Take &NetworkGraph as input in get_route, not a NetGraphMsgHandler

This was just an oversight when route calculation was split up into
parts - it makes no sense for get_route to require that we have a
full route message handler, only a network graph (which can always
be accessed from a NetGraphMsgHandler anyway).

Make ChainWatchInterface::filter_block return only idxes, not refs

Instead of making the filter_block fn in the ChainWatchInterface
trait return both a list of indexes of transaction positions within
the block and references to the transactions themselves, return
only the list of indexes and then build the reference list at the
callsite.

While this may be slightly less effecient from a memory locality
perspective, it shouldn't be materially different.

This should make it more practical to generate bindings for
filter_block as it no longer needs to reference Rust Transaction
objects that are contained in a Rust Block object (which we'd
otherwise just pass over the FFI in fully-serialized form).

Avoid references to primitives and add NetworkGraph::new()

non-mut references to primitives are only excess overhead, so
there's not much reason to ever have them. As a nice bonus, it also
is one less thing to worry about when generating C bindings

Avoid use std and use std::fmt and fmt:: instead in network_graph

This is more consistent with the way we use std::cmp over the
codebase and avoids `use std`, which is only actually needed to
support older rustcs, so feels a bit awkward.

Add test for remote fee spike buffer violations.

HTLCs that violate the remote's fee spike buffer should be failed.

Log fee spike buffer violations.

Reduce RwLock usage in public interface of NetworkGraph

This isn't a big difference in the API, but it avoids needing to
wrap a given NetworkGraph in a RwLock before passing it, which
makes it much easier to generate C bindings for.

Drop a useless import of std::result::Result since its always there

Drop some unnecessary lifetime specifiers in return type definitions

In general, we don't need an explicit lifetime when doing something
like:
fn get_thing(&self) -> &Thing { &self.thing }.

This also makes it easier to reason about what's going on in the
bindings generation.

ChannelMonitor::get_funding_txo returns both the txid and scriptPK

... instead of only the txid.

This is another instance of it not being possible to fully
re-implement SimpleManyChannelMonitor using only public methods. In
this case you couldn't properly register outpoints for monitoring
so that the funding transaction would be matched.

Merge pull request #641 from jkczyz/2020-06-deterministic-test-logging

Make test output deterministic

Make test output deterministic

Tests use sources of randomness to produce seeds, preimages, secrets,
and ephemeral data. However, this makes comparing logs between different
test runs difficult. Remove uses of random number generators and the
current time in favor of fixed values in order to make the test output
deterministic.

Merge pull request #639 from valentinewallace/fix-feerate-new-channel

Use our actual feerate in open_channel messages, not a new one

Switch all feerate u64's to u32's.

The protocol only allows a u32, so if we received or sent something
larger it would be an issue (though it's unlikely).

Use our actual feerate in open_channel messages, not a new one

When we were sending an open_channel messages we were asking the
feerate estimator for a new value instead of using the one we had.
If the feerate estimator gave a different value than the one it did
when we created the Channel struct, we'd start out-of-sync with our
counterparty and blow up on funding_signed. Even worse, the
ConfirmationTarget used was different, so its highly likely they
would disagree.

Also remove newly unused fee estimator parameter from get_open-channel
API.

Co-authored-by: Matt Corallo <git@bluematt.me>
Co-authored-by: Valentine Wallace <vwallace@protonmail.com>

Merge pull request #577 from valentinewallace/fix-onchain-fee-check-htlcs

Incl tx fee when calcing inbound+outbound HTLC limits on channels

Update chanmon fuzzer to include small payment actions.

This change should allow the fuzzer to catch more edge cases, such as
channel reserve checks that cut it close when sending payments.

Add fee spike buffer + incl commit tx fee in chan reserve calculation

When we receive an inbound HTLC from a peer on an inbound channel,
make sure the funder can still cover the additional on-chain cost
of the HTLC while maintaining their channel reserve.

When we're sending an outbound HTLC, make sure the funder can still
cover the additional on-chain cost of the HTLC while maintaining
their channel reserve.

+ implement fee spike buffer for channel initiators sending payments.
Also add an additional spec-deviating fee spike buffer on the
receiving side (but don't close the channel if this reserve is
violated, just fail the HTLC).
From lightning-rfc PR #740.

Co-authored-by: Matt Corallo <git@bluematt.me>
Co-authored-by: Valentine Wallace <vwallace@protonmail.com>

Merge pull request #634 from valentinewallace/improve-inbound-htlc-docs

Improve documentation for InboundHTLCState enum states.

Improve documentation for InboundHTLCState enum states.

Refactor: move channel checks for HTLC adds into Channel

This also includes adding a closure that creates a new pending HTLC status
as a parameter for Channel's update_add_htlc. This will later be useful
when we add the check for fee spike buffer violations, which will also result
in changing an HTLC's pending status to failing.

Co-authored-by: Jeffrey Czyz <jkczyz@gmail.com>
Co-authored-by: Valentine Wallace <vwallace@protonmail.com>

Merge pull request #629 from arik-so/message_handling_extraction

Extract wire message handling into a method.

Extract wire message handling into a method.

This is a response to splitting #585 into smaller components. This extraction should allow the subsequent creation of a trait for all message handling, thereby enabling more flexibility in the state machine, particularly for bindings.

Merge pull request #632 from TheBlueMatt/2020-05-drop-chankeys-privs

Drop ChannelKeys Private Key Methods

Drop requirement that all ChannelKeys expose htlc_basepoint

Drop requirement that ChannelKeys expose delayed_payment_basepoint

Drop requirement that all ChannelKeys expose revocaion_basepoint

Drop requirement that all ChannelKeys expose the payment_point

Drop requirement that all ChannelKeys expose the funding privkey

Expose private keys from InMemoryChannelKeys publicly

As we drop the requirement that all ChannelKeys expose the private
keys used, we should have a way to access the private keys in use
when using InMemoryChannelKeys.

Merge pull request #620 from TheBlueMatt/2020-05-pre-bindings-cleanups

Pre-C Bindings Cleanup

Merge pull request #610 from ariard/2020-04-cache-in-monitor

Move back to ChannelMonitor RemoteTxCache

Add test_key_derivation_params

`to_local` output or remote output on remote commitment transaction
needs a channel keys to be spent. As per-channel keys are derived from
KeysManager seed and per-channel secrets those must be backed up by
any descriptor bookmarking for latter spend. We test that generating
a new KeysManager loaded with such backed-up seed/per-channel secrets
return the correct keys for spending a `to_local` output.

Significantly clarify key derivation and expose methods referenced

Document better DynamicOutputP2WSH

Remove useless build warnings

Make get_revokable_redeemscript

Make derive_private_key public

Dry-up witnessScript in sign_remote_htlc_transaction

Instead of blindly signing provided witnessScript, signer must derive
channel keys corresponding to the provided per-commitment-point and
regenerate templated witnessScript to ensure its syntax correctness.

Dry-up witnessScript in sign_justice_transaction

Instead of blindly signing provided witnessScript, signer must derive
channel keys corresponding to the provided per-commitment-point and
regenerate templated witnessScript to ensure its syntax correctness.

Imp Writer/Reader for RemoteCommitmentTransaction

Rename RemoteTxCache as RemoteCommitmentTransaction and document better

We also remove an unecessary build warning.

Rename their_to_self_delay as on_local_tx_csv

on_remote_tx_csv is the CSV delay encumbering remote transactions
revokable outputs as required by local.

on_local_tx_csv is the CSV delay encumbering local transactions
revokable outputs as required by remote.

Local/remote is here defined from a code processing viewpoint,
process running this code is "local".

Drop remote_csv from OnchainTxHandler, cache it in Monitor's cache

Dedup RemoteTxCache by removing OnchainTxHandler copy

RemoteTxCache was providing all data needed at transaction
signature for any remote HTLC transaction or justice transaction.
This move was making the API between OnchainTxHandle akward and
scope of responsibilites with ChannelMonitor unclear.

Instead scope OnchainTxHandler to transaction-finalization, fee-bumping
and broadcast only.

Duplicate RemoteTxCache in ChannelMonitor

Dry-up remote pubkeys tracking in one struct.

This introduce a duplicate of RemoteTxCache, which is going
to be removed in next commit when OnchainTxHandler version is
removed.

Remove SecretKey from DynamicOuputP2WPKH descriptor

Add sign_payment_transaction in ChanSigner to be able to spend
SpendableOutputDescriptor in test framework

Extend ChannelKeys with remote_pubkeys to access remote revocation
basepoint for witnessScript construction.

Remove SecretKey from DynamicOutputP2WSH descriptor

Add sign_delayed_transaction in ChanSigner to be able to spend
SpendableOutputDescriptor in test framework.

Extend KeysInterface with derive_channel_keys

A dynamic-p2wsh-output like `to_local` on local commitment/HTLC txn
require a signature from delayed_payment_key to be spend. Instead of
sending private key in descriptor, we ask for spender to derive again
the corresponding ChannelKeys based on key state, uniquely identifying
a channel and encompassing its unique start data.

Descriptor modification is done in next commit.

Merge pull request #624 from arik-so/encode_and_send_msg_method_refactor

Extract encode_and_send_msg into a method.

Expose PeerHandleError::no_connection_possible

Its just a trivial bool and already has docs on it, so seems like
an oversight

Three small fixes to work around our bindings generator limitations

 * Return Self instead of the fully-written types for constructors,
 * Place definitions before use (in this case for KeysInterface),
 * Don't import foo::bar::self, but import foo::bar

 + a spelling fix in the KeysInterface docs for get_onion_rand.

Return a ChannelManager instead of result from ChannelManager::new()

We never actually fail, so we can just drop the Result type.

Make RoutingMessageHandler a generic Deref instead of an Arc

We also update to use single idents when referencing the Deref=*
types since the automated code generator is pretty braindead.

This also moves some test utils out of peer_handler.rs and into
util::test_utils to standardize things a little bit, which we need
to concretize the PeerHandler types used in testing.

Make ManyChannelMonitor Keys an associated type

Instead of using a raw generic type, an associted type allows us
to have explicit docs on the type, which is nice. More importantly,
however, our automated bindings generator knows how to read
associated types but not raw generics.

Also, our bindings generator expects things which are referenced to
have already been defined, so we move ManyChannelMonitor below the
ChannelMonitor definition.

Extract encode_and_send_msg into a method.

This is a response to splitting #585 into smaller components. This extraction will permit a future extraction of all message handling into a separate method, and then later even into a separate trait that will be accessible through language bindings.

Add KeysManager::derive_unique_start

In next commit, we add derive_channel_keys, a helper to rederive
keys from a SpendableOuptutDescriptor. We still need to ensure
that user rederive same set of keys even if KeyManager is started
at a later time. For doing so we need to pass starting time as
part of the re-derived sha_state, therefore we need to make it
accessible and part of channel state key material.

Seed is already required to be conserved between KeysManager
serializations.