A little bit of iteration instead of Vecs, though not complete

Test + fuzz that Channel{,Monitor} would_broadcast are identical

Add would_broadcast_at_height functionality to Channel

In service to the larger refactor of removing the Channel's reference
to its ChannelMonitor.

Merge pull request #662 from lightning-signer/compat5

Export various fields and structures

check the input shape in LocalCommitmentTransaction.new_missing_local_sig

make LocalCommitmentTransaction constructor public

Allows calling of InMemoryChannelKeys methods

make SimpleManyChannelMonitor.monitors public

export "unsafe_revoked_tx_signing" feature

Allows unsafe signing in dev code, such as functional testing of
justice transactions outside our crate.

Merge pull request #666 from TheBlueMatt/2020-08-license-change

Relicense as dual Apache-2.0 + MIT

Relicense as dual Apache-2.0 + MIT

This changes the LICENSE file and adds license headers to most files
to relicense under dual Apache-2.0 and MIT. This is helpful in that
we retain the patent grant issued under Apache-2.0-licensed work,
avoiding some sticky patent issues, while still allowing users who
are more comfortable with the simpler MIT license to use that.

See https://github.com/rust-bitcoin/rust-lightning/issues/659 for
relicensing statements from code authors.

Merge pull request #664 from lightning-signer/tx-creation-keys

Wrap transaction creation keys

nit

Expose TxCreationKeys in LocalCommitmentTransaction via a method

This makes it obvious to signer implementers that the pre-derived keys are a local cache and should not be trusted in a validating signer.

Make TxCreationKeys public and wrap it in PreCalculatedTxCreationKeys

Allows calling of InMemoryChannelKeys methods.

The wrapping makes it obvious to signer implementers that the pre-derived keys are a local cache and should not be trusted in a validating signer.

Merge pull request #640 from valentinewallace/test-holding-cell-edge-case

Fail back HTLCs that fail to be freed from the holding cell

Holding cell: if we fail to free an HTLC, fail it backwards

Plus add a test.

Merge pull request #663 from TheBlueMatt/2020-08-codecov

Set codecov upload token

Set codecov upload token

Docs seem to indicate this should only be required for private
repos, but we have builds failing claiming this needs to be
specified, so just set it manually.

Merge pull request #658 from lightning-signer/self-delay

ChannelKeys - provide to_self_delay alongside the remote channel pubkeys

ChannelKeys - provide to_self_delay alongside the remote channel pubkeys

In the phase 2 signer, we will construct the commitment transaction inside the signer.
In preparation, provide needed channel related data.

Merge pull request #651 from naumenkogs/2020-06-routing-data-improvements

Routing improvements

Check htlc_maximum_msat on channel update

Store channel capacity if available

Add htlc_maximum_msat field

Update comment for test_msg_hole

Merge pull request #655 from lightning-signer/per-commitment

ChannelKeys - separate commitment revocation from getting the per-commitment point

ChannelKeys - separate commitment revocation from getting the per-commitment point

The commitment secret is sensitive - it can be used by an attacker to
steal funds if the node also signs the same transaction. Therefore,
only release the secret from ChannelKeys when we are revoking a
transaction.

Improve routing announcement test

Fix formatting

Use constant for max msats

Update get_route comment to reflect new parameters

Merge pull request #644 from joemphilips/improve_error_message

Improve error message.

Merge pull request #623 from LNP-BP/feat-msgsizelimit

Making message size limit an exportable constant

slightly refactor internal_announcement_signatures

For making debugging easy.
If the user gives a different node_secret for transport
layer (`PeerManager`) and for routing msg, internal_announcement_signatures
is the first place it causes an error.
By giving a detailed error message, user will be able to
fix the bug quickly.

Improve error message.

... for ChannelError and APIMisuseError
Before this commit, When rl returns error, we don't know
The actual parameter which caused the error.
By returning parameterised `String` instead of predefined `&'static str`,
We can give a caller improved error message.

TestLogger now has two additional methods
1. `assert_log_contains` which checks the logged messsage
  has how many entry which includes the specified string as a substring.
2. `aasert_log_regex` mostly the same with `assert_log_contains`
  but it is more flexible that caller specifies regex which has
  to be satisfied instead of just a substring.
For regex, tests now includes `regex` as dev-dependency.

Moving LN_MAX_MSG_LEN const to the actual use place

Removing spec quotation from LN_MAX_MSG_LEN definition

Removing duplicated code in message decryption test cases

Test cases for message encryption/decryption size limits

Fixing panic messages for decryption procedures

Making message size limit an exportable constant

Merge pull request #656 from erasmospunk/typo

Fix typo

Fix typo

Merge pull request #652 from lightning-signer/commitment-secret

ChannelKeys provides individual commitment secrets

ChannelKeys provides individual commitment secrets

Merge pull request #650 from TheBlueMatt/2020-06-fix-build

Fix silent merge conflict between bcd65be and 940d7ac

Fix unused-parentheses warnings newer rustcs have added

Fix silent merge conflict between bcd65bed7bd9a and 940d7ac8d897589

Merge pull request #647 from valentinewallace/test-remote-fee-spike-buffer-violation

Test remote fee spike buffer violation

Merge pull request #638 from TheBlueMatt/2020-06-c-bindings-cleanups-2

Pre-C bindings cleanups (2)

Use usize for transaction-position-in-block values

We use them largely as indexes into a Vec<Transaction> so there's
little reason for them to be u32s. Instead, use them as usize
everywhere.

We also take this opportunity to add range checks before
short_channel_id calculation, as we could otherwise end up with a
bogus short_channel_id due to an output index out of range.

Drop unused import in fuzz router.rs

Take &NetworkGraph as input in get_route, not a NetGraphMsgHandler

This was just an oversight when route calculation was split up into
parts - it makes no sense for get_route to require that we have a
full route message handler, only a network graph (which can always
be accessed from a NetGraphMsgHandler anyway).

Make ChainWatchInterface::filter_block return only idxes, not refs

Instead of making the filter_block fn in the ChainWatchInterface
trait return both a list of indexes of transaction positions within
the block and references to the transactions themselves, return
only the list of indexes and then build the reference list at the
callsite.

While this may be slightly less effecient from a memory locality
perspective, it shouldn't be materially different.

This should make it more practical to generate bindings for
filter_block as it no longer needs to reference Rust Transaction
objects that are contained in a Rust Block object (which we'd
otherwise just pass over the FFI in fully-serialized form).

Avoid references to primitives and add NetworkGraph::new()

non-mut references to primitives are only excess overhead, so
there's not much reason to ever have them. As a nice bonus, it also
is one less thing to worry about when generating C bindings

Avoid use std and use std::fmt and fmt:: instead in network_graph

This is more consistent with the way we use std::cmp over the
codebase and avoids `use std`, which is only actually needed to
support older rustcs, so feels a bit awkward.

Add test for remote fee spike buffer violations.

HTLCs that violate the remote's fee spike buffer should be failed.

Log fee spike buffer violations.

Reduce RwLock usage in public interface of NetworkGraph

This isn't a big difference in the API, but it avoids needing to
wrap a given NetworkGraph in a RwLock before passing it, which
makes it much easier to generate C bindings for.

Drop a useless import of std::result::Result since its always there

Drop some unnecessary lifetime specifiers in return type definitions

In general, we don't need an explicit lifetime when doing something
like:
fn get_thing(&self) -> &Thing { &self.thing }.

This also makes it easier to reason about what's going on in the
bindings generation.

ChannelMonitor::get_funding_txo returns both the txid and scriptPK

... instead of only the txid.

This is another instance of it not being possible to fully
re-implement SimpleManyChannelMonitor using only public methods. In
this case you couldn't properly register outpoints for monitoring
so that the funding transaction would be matched.

Merge pull request #641 from jkczyz/2020-06-deterministic-test-logging

Make test output deterministic

Make test output deterministic

Tests use sources of randomness to produce seeds, preimages, secrets,
and ephemeral data. However, this makes comparing logs between different
test runs difficult. Remove uses of random number generators and the
current time in favor of fixed values in order to make the test output
deterministic.

Merge pull request #639 from valentinewallace/fix-feerate-new-channel

Use our actual feerate in open_channel messages, not a new one

Switch all feerate u64's to u32's.

The protocol only allows a u32, so if we received or sent something
larger it would be an issue (though it's unlikely).

Use our actual feerate in open_channel messages, not a new one

When we were sending an open_channel messages we were asking the
feerate estimator for a new value instead of using the one we had.
If the feerate estimator gave a different value than the one it did
when we created the Channel struct, we'd start out-of-sync with our
counterparty and blow up on funding_signed. Even worse, the
ConfirmationTarget used was different, so its highly likely they
would disagree.

Also remove newly unused fee estimator parameter from get_open-channel
API.

Co-authored-by: Matt Corallo <git@bluematt.me>
Co-authored-by: Valentine Wallace <vwallace@protonmail.com>

Merge pull request #577 from valentinewallace/fix-onchain-fee-check-htlcs

Incl tx fee when calcing inbound+outbound HTLC limits on channels

Update chanmon fuzzer to include small payment actions.

This change should allow the fuzzer to catch more edge cases, such as
channel reserve checks that cut it close when sending payments.

Add fee spike buffer + incl commit tx fee in chan reserve calculation

When we receive an inbound HTLC from a peer on an inbound channel,
make sure the funder can still cover the additional on-chain cost
of the HTLC while maintaining their channel reserve.

When we're sending an outbound HTLC, make sure the funder can still
cover the additional on-chain cost of the HTLC while maintaining
their channel reserve.

+ implement fee spike buffer for channel initiators sending payments.
Also add an additional spec-deviating fee spike buffer on the
receiving side (but don't close the channel if this reserve is
violated, just fail the HTLC).
From lightning-rfc PR #740.

Co-authored-by: Matt Corallo <git@bluematt.me>
Co-authored-by: Valentine Wallace <vwallace@protonmail.com>

Merge pull request #634 from valentinewallace/improve-inbound-htlc-docs

Improve documentation for InboundHTLCState enum states.

Improve documentation for InboundHTLCState enum states.

Refactor: move channel checks for HTLC adds into Channel

This also includes adding a closure that creates a new pending HTLC status
as a parameter for Channel's update_add_htlc. This will later be useful
when we add the check for fee spike buffer violations, which will also result
in changing an HTLC's pending status to failing.

Co-authored-by: Jeffrey Czyz <jkczyz@gmail.com>
Co-authored-by: Valentine Wallace <vwallace@protonmail.com>

Merge pull request #629 from arik-so/message_handling_extraction

Extract wire message handling into a method.

Extract wire message handling into a method.

This is a response to splitting #585 into smaller components. This extraction should allow the subsequent creation of a trait for all message handling, thereby enabling more flexibility in the state machine, particularly for bindings.

Merge pull request #632 from TheBlueMatt/2020-05-drop-chankeys-privs

Drop ChannelKeys Private Key Methods

Drop requirement that all ChannelKeys expose htlc_basepoint

Drop requirement that ChannelKeys expose delayed_payment_basepoint

Drop requirement that all ChannelKeys expose revocaion_basepoint

Drop requirement that all ChannelKeys expose the payment_point

Drop requirement that all ChannelKeys expose the funding privkey

Expose private keys from InMemoryChannelKeys publicly

As we drop the requirement that all ChannelKeys expose the private
keys used, we should have a way to access the private keys in use
when using InMemoryChannelKeys.

Merge pull request #620 from TheBlueMatt/2020-05-pre-bindings-cleanups

Pre-C Bindings Cleanup

Merge pull request #610 from ariard/2020-04-cache-in-monitor

Move back to ChannelMonitor RemoteTxCache

Add test_key_derivation_params

`to_local` output or remote output on remote commitment transaction
needs a channel keys to be spent. As per-channel keys are derived from
KeysManager seed and per-channel secrets those must be backed up by
any descriptor bookmarking for latter spend. We test that generating
a new KeysManager loaded with such backed-up seed/per-channel secrets
return the correct keys for spending a `to_local` output.

Significantly clarify key derivation and expose methods referenced

Document better DynamicOutputP2WSH

Remove useless build warnings

Make get_revokable_redeemscript

Make derive_private_key public

Dry-up witnessScript in sign_remote_htlc_transaction

Instead of blindly signing provided witnessScript, signer must derive
channel keys corresponding to the provided per-commitment-point and
regenerate templated witnessScript to ensure its syntax correctness.

Dry-up witnessScript in sign_justice_transaction

Instead of blindly signing provided witnessScript, signer must derive
channel keys corresponding to the provided per-commitment-point and
regenerate templated witnessScript to ensure its syntax correctness.

Imp Writer/Reader for RemoteCommitmentTransaction

Rename RemoteTxCache as RemoteCommitmentTransaction and document better

We also remove an unecessary build warning.

Rename their_to_self_delay as on_local_tx_csv

on_remote_tx_csv is the CSV delay encumbering remote transactions
revokable outputs as required by local.

on_local_tx_csv is the CSV delay encumbering local transactions
revokable outputs as required by remote.

Local/remote is here defined from a code processing viewpoint,
process running this code is "local".

Drop remote_csv from OnchainTxHandler, cache it in Monitor's cache

Dedup RemoteTxCache by removing OnchainTxHandler copy

RemoteTxCache was providing all data needed at transaction
signature for any remote HTLC transaction or justice transaction.
This move was making the API between OnchainTxHandle akward and
scope of responsibilites with ChannelMonitor unclear.

Instead scope OnchainTxHandler to transaction-finalization, fee-bumping
and broadcast only.

Duplicate RemoteTxCache in ChannelMonitor

Dry-up remote pubkeys tracking in one struct.

This introduce a duplicate of RemoteTxCache, which is going
to be removed in next commit when OnchainTxHandler version is
removed.

Remove SecretKey from DynamicOuputP2WPKH descriptor

Add sign_payment_transaction in ChanSigner to be able to spend
SpendableOutputDescriptor in test framework

Extend ChannelKeys with remote_pubkeys to access remote revocation
basepoint for witnessScript construction.

Remove SecretKey from DynamicOutputP2WSH descriptor

Add sign_delayed_transaction in ChanSigner to be able to spend
SpendableOutputDescriptor in test framework.