Use Debian experimental in CI to match LLVM between rustc and clang

Specify panic = abort in profiles for lightning-c-bindings

Apply -O1 only to tests, not all dev (which is used for bindings)

Add bindings README

Add CI run for bindings generation (though we'll allow it to fail)

LTO in release mode by default, which is really critical for C libs

Update the root Cargo.toml to point to the new subcrate

Add automatically generated C/C++ wrapper bindings

Add all the manually-generated bits for the c-bindings crate

Including:
 * A script to automatically generate all the rest,
 * Cargo.toml and cbindgen.toml,
 * manually-written wrapper types for a few types

Add annotations for things which we cannot (yet) expose

Add tool to read a Rust crate and generate C-compatible wrappers

In general, it maps:
 * Traits to a struct with a void* and a list of function pointers,
   emulating what the compiler will do for a dyn trait anyway,
 * Structs as a struct with a single opaque pointer to the
   underlying type and a flag to indicate ownership. While this is
   a bit less effecient than just a direct pointer, it neatly lets
   us expose in the public interface the concept of ownership by
   setting a flag in the generated struct.
 * Unit enums as enums with each type copied over and conversion
   functions,
 * Non-unit enums have each field converted back and forth with a
   type flag and a union across all the C-mapped fields.

Remove a few final ::-containing paths in generic args

This cleans upa few last cases of functions/objects which our C
bindings generator doesn't know how to read.

Merge pull request #686 from TheBlueMatt/2020-09-bump-deps

Bump rust-bitcoin and friends

Silence new rustc warning about useless muts

Use rust-bitcoin's new SigHashCache instead of SignatureHashComp's

Thew new API is a bit harder to misuse by taking a reference to the
transaction to require the inputs match the input being signed.

Update to latest upstream rust-bitcoin

Merge pull request #676 from TheBlueMatt/2020-08-c-bindings-cleanups-3

Pre-C-Bindings Cleanups #3

Merge pull request #674 from TheBlueMatt/2020-08-keyif-rand-names

Simplify + clarify random-bytes-fetching from KeysInterface

Add a C-bindings-compatible read lock type for NetworkGraph

In order to calculate a route, it is likely that users need to take
a read()-lock on NetGraphMsgHandler::network_graph. This is not
possible naively from C bindings, as Rust's native RwLock is not
exposed.

Thus, we provide a simple wrapper around the RwLockReadGuard and
expose simple accessor methods.

Rename TxCreationKeys::new to not conflict w/ auto-gen'd C bindings

The C bindings automatically create a _new() function for structs
which contain only pub fields which we know how to map. This
conflicts with the actual TxCreationKeys::new() function, so we
simply rename it to capture its nature as a derivation function.

Give ChannelManagerReadArgs HashMap-of-monitors ownership

Its somewhat awkward that ChannelManagerReadArgs requires a mutable
reference to a HashMap of ChannelMonitors, forcing the callsite to
define a scope for the HashMap which they almost certainly won't use
after deserializing the ChannelManager. Worse, to map the current
version to C bindings, we'd need to also create a HashMap binding,
which is overkill for just this one use.

Instead, we just give the ReadArgs struct ownership of the HashMap
and add a constructor which fills the HashMap for you.

Use ln OutPoints not bitcoin ones in SpendableOutputDescriptors

Lightning OutPoints only have 16 bits to express the output index
instead of Bitcoin's 32 bits, implying that some outputs are
possibly not expressible as lightning OutPoints. However, such
OutPoints can never be hit within the lightning protocol, and must
be on-chain spam sent by a third party wishing to donate us money.
Still, in order to do so, the third party would need to fill nearly
an entire block with garbage, so this case should be relatively
safe.

A new comment in channelmonitor explains the reasoning a bit
further.

Use slices to references not slices of concrete objects in pub API

Because the C bindings maps objects into new structs which contain
only a pointer to the underlying (immovable) Rust type, it cannot
create a list of Rust types which are contiguous in memory. Thus,
in order to allow C clients to call certain Rust functions, we have
to use &[&Type] not &[Type]. This commit fixes this issue for the
get_route function.

Refer to return types by the trait that they're defined via

Instead of using the explicit type which is being returned, refer
to them as Self::AssociatedType, to make clear to the bindings what
type of thing is being returned.

Refer to generic types by importing them instead of a super-mod.

This avoids one case the bindings generation hasn't bothered to
handle by simply importing types that are referred to.

Always refer to Deref types with where clauses instead of direct

This makes it a little easier to write C bindings generation as
we only have to handle one case instead of both.

Reorder struct definitions so that they are in dependency order.

There are a few cases where the upcoming C bindings don't know how
to handle something which depends on something defined later in the
file. Instead of adding another pass to the C bindings generator,
it is much simpler to just reorder structs.

Merge pull request #667 from valentinewallace/remove-channels-chanmon

Remove Channel's ChannelMonitor copy

Remove Channel's ChannelMonitor copy

Add commitment transaction broadcast as a ChannelMonitor event

To do this, we replace get_and_clear_pending_htlcs_updated with
get_and_clear_pending_monitor_events, and which still transmits HTLCUpdates
as before, but now also transmits a new MonitorEvent::CommitmentTxBroadcasted
event when a channel's commitment transaction is broadcasted.

Merge pull request #675 from dspicher/master

Refactor route tests

Refactor route tests

* Splits up the monolithic test into smaller unit tests

* Factors out helpers for graph setup

* Changes `id_to_feature_flags` to be a function, there was no
reason why it had to be a macro

* Activates a previously commented-out test that checks for
the failure case in `disable_node_test`

Simplify + clarify random-bytes-fetching from KeysInterface

Due to a desire to be able to override temporary channel IDs and
onion keys, KeysInterface had two separate fetch-random-32-bytes
interfaces - an onion-key specific version which fetched 2 random
32 byte strings and a temporary-channel-id specific version.

It turns out, we never actually need to override both at once (as
creating a new channel and sending an outbound payment are always
separate top-level calls), so there's no reason to add two
functions to the interface when both really do the same thing.

Merge pull request #665 from lightning-signer/pub-messages

Make message fields public

Make message fields public

Merge pull request #671 from valentinewallace/bump-msrv

Bump MSRV to 1.30.0

Bump MSRV to 1.30.0

We wanted to bump to 1.29 to continue to support mrustc bootstrapping, but on 1.29
there's a bug preventing us from compiling the lightning package only, thus parts
of lightning-net-tokio cause a compilation error.

The advantage of bumping the MSRV is an improved borrow checker which should
enable improved code quality, and not having jump through weird hoops sometimes
to get 1.22 working.

Merge pull request #669 from joemphilips/fix_capacity-is-always-zero-bug_in_list_channels

Fix bug in Channel

Merge pull request #668 from lightning-signer/nit

fix typo

Fix bug in Channel

Before this commit, `fn get_inbound_outbound_available_balance_msat` always returns 0.
It is because using `cmp::min` instead of `cmp::max` .

fix typo

Merge pull request #662 from lightning-signer/compat5

Export various fields and structures

check the input shape in LocalCommitmentTransaction.new_missing_local_sig

make LocalCommitmentTransaction constructor public

Allows calling of InMemoryChannelKeys methods

make SimpleManyChannelMonitor.monitors public

export "unsafe_revoked_tx_signing" feature

Allows unsafe signing in dev code, such as functional testing of
justice transactions outside our crate.

Merge pull request #666 from TheBlueMatt/2020-08-license-change

Relicense as dual Apache-2.0 + MIT

Relicense as dual Apache-2.0 + MIT

This changes the LICENSE file and adds license headers to most files
to relicense under dual Apache-2.0 and MIT. This is helpful in that
we retain the patent grant issued under Apache-2.0-licensed work,
avoiding some sticky patent issues, while still allowing users who
are more comfortable with the simpler MIT license to use that.

See https://github.com/rust-bitcoin/rust-lightning/issues/659 for
relicensing statements from code authors.

Merge pull request #664 from lightning-signer/tx-creation-keys

Wrap transaction creation keys

nit

Expose TxCreationKeys in LocalCommitmentTransaction via a method

This makes it obvious to signer implementers that the pre-derived keys are a local cache and should not be trusted in a validating signer.

Make TxCreationKeys public and wrap it in PreCalculatedTxCreationKeys

Allows calling of InMemoryChannelKeys methods.

The wrapping makes it obvious to signer implementers that the pre-derived keys are a local cache and should not be trusted in a validating signer.

Merge pull request #640 from valentinewallace/test-holding-cell-edge-case

Fail back HTLCs that fail to be freed from the holding cell

Holding cell: if we fail to free an HTLC, fail it backwards

Plus add a test.

Merge pull request #663 from TheBlueMatt/2020-08-codecov

Set codecov upload token

Set codecov upload token

Docs seem to indicate this should only be required for private
repos, but we have builds failing claiming this needs to be
specified, so just set it manually.

Merge pull request #658 from lightning-signer/self-delay

ChannelKeys - provide to_self_delay alongside the remote channel pubkeys

ChannelKeys - provide to_self_delay alongside the remote channel pubkeys

In the phase 2 signer, we will construct the commitment transaction inside the signer.
In preparation, provide needed channel related data.

Merge pull request #651 from naumenkogs/2020-06-routing-data-improvements

Routing improvements

Check htlc_maximum_msat on channel update

Store channel capacity if available

Add htlc_maximum_msat field

Update comment for test_msg_hole

Merge pull request #655 from lightning-signer/per-commitment

ChannelKeys - separate commitment revocation from getting the per-commitment point

ChannelKeys - separate commitment revocation from getting the per-commitment point

The commitment secret is sensitive - it can be used by an attacker to
steal funds if the node also signs the same transaction. Therefore,
only release the secret from ChannelKeys when we are revoking a
transaction.

Improve routing announcement test

Fix formatting

Use constant for max msats

Update get_route comment to reflect new parameters

Merge pull request #644 from joemphilips/improve_error_message

Improve error message.

Merge pull request #623 from LNP-BP/feat-msgsizelimit

Making message size limit an exportable constant

slightly refactor internal_announcement_signatures

For making debugging easy.
If the user gives a different node_secret for transport
layer (`PeerManager`) and for routing msg, internal_announcement_signatures
is the first place it causes an error.
By giving a detailed error message, user will be able to
fix the bug quickly.

Improve error message.

... for ChannelError and APIMisuseError
Before this commit, When rl returns error, we don't know
The actual parameter which caused the error.
By returning parameterised `String` instead of predefined `&'static str`,
We can give a caller improved error message.

TestLogger now has two additional methods
1. `assert_log_contains` which checks the logged messsage
  has how many entry which includes the specified string as a substring.
2. `aasert_log_regex` mostly the same with `assert_log_contains`
  but it is more flexible that caller specifies regex which has
  to be satisfied instead of just a substring.
For regex, tests now includes `regex` as dev-dependency.

Moving LN_MAX_MSG_LEN const to the actual use place

Removing spec quotation from LN_MAX_MSG_LEN definition

Removing duplicated code in message decryption test cases

Test cases for message encryption/decryption size limits

Fixing panic messages for decryption procedures

Making message size limit an exportable constant

Merge pull request #656 from erasmospunk/typo

Fix typo

Fix typo

Merge pull request #652 from lightning-signer/commitment-secret

ChannelKeys provides individual commitment secrets

ChannelKeys provides individual commitment secrets

Merge pull request #650 from TheBlueMatt/2020-06-fix-build

Fix silent merge conflict between bcd65be and 940d7ac

Fix unused-parentheses warnings newer rustcs have added

Fix silent merge conflict between bcd65bed7bd9a and 940d7ac8d897589

Merge pull request #647 from valentinewallace/test-remote-fee-spike-buffer-violation

Test remote fee spike buffer violation

Merge pull request #638 from TheBlueMatt/2020-06-c-bindings-cleanups-2

Pre-C bindings cleanups (2)

Use usize for transaction-position-in-block values

We use them largely as indexes into a Vec<Transaction> so there's
little reason for them to be u32s. Instead, use them as usize
everywhere.

We also take this opportunity to add range checks before
short_channel_id calculation, as we could otherwise end up with a
bogus short_channel_id due to an output index out of range.

Drop unused import in fuzz router.rs

Take &NetworkGraph as input in get_route, not a NetGraphMsgHandler

This was just an oversight when route calculation was split up into
parts - it makes no sense for get_route to require that we have a
full route message handler, only a network graph (which can always
be accessed from a NetGraphMsgHandler anyway).

Make ChainWatchInterface::filter_block return only idxes, not refs

Instead of making the filter_block fn in the ChainWatchInterface
trait return both a list of indexes of transaction positions within
the block and references to the transactions themselves, return
only the list of indexes and then build the reference list at the
callsite.

While this may be slightly less effecient from a memory locality
perspective, it shouldn't be materially different.

This should make it more practical to generate bindings for
filter_block as it no longer needs to reference Rust Transaction
objects that are contained in a Rust Block object (which we'd
otherwise just pass over the FFI in fully-serialized form).

Avoid references to primitives and add NetworkGraph::new()

non-mut references to primitives are only excess overhead, so
there's not much reason to ever have them. As a nice bonus, it also
is one less thing to worry about when generating C bindings

Avoid use std and use std::fmt and fmt:: instead in network_graph

This is more consistent with the way we use std::cmp over the
codebase and avoids `use std`, which is only actually needed to
support older rustcs, so feels a bit awkward.

Add test for remote fee spike buffer violations.

HTLCs that violate the remote's fee spike buffer should be failed.

Log fee spike buffer violations.

Reduce RwLock usage in public interface of NetworkGraph

This isn't a big difference in the API, but it avoids needing to
wrap a given NetworkGraph in a RwLock before passing it, which
makes it much easier to generate C bindings for.

Drop a useless import of std::result::Result since its always there

Drop some unnecessary lifetime specifiers in return type definitions

In general, we don't need an explicit lifetime when doing something
like:
fn get_thing(&self) -> &Thing { &self.thing }.

This also makes it easier to reason about what's going on in the
bindings generation.

ChannelMonitor::get_funding_txo returns both the txid and scriptPK

... instead of only the txid.

This is another instance of it not being possible to fully
re-implement SimpleManyChannelMonitor using only public methods. In
this case you couldn't properly register outpoints for monitoring
so that the funding transaction would be matched.