Fail back dust HTLC of local commitment tx after enough confirmations

Add test_failure_delay_htlc_local_commitment and
test_no_failure_dust_htlc_local_commitment

Move some bits of check_spend_remote as we need to fail dust HTLCs
which can be spread on both prev/lastest local commitment tx

Delay failure of non-dust HTLC-outputs until solving timeout tx matures

Fix tests broken by introduced change

Implement block_disconnect for pruning of waiting-conf HTLC updates

Modify ChainListener API by adding height field to block_disconnect

Track HTLC-failure trigger tx until anti-reorg delay reached

Broadcasting a commitment tx means that we have to fail
inbound HTLC in backward channel. Doing it prematurely would
put us at risk in case of reorg. So we delay passing failure
update upstream until solving tx mature to HTLC_FAIL_ANTI_
REORG_DELAY.
Requirements differ if HTLC is a revoked/non-revoked dust/
non-revoked non-dust one.

Add connect_blocks in test_utils to fix broken tests due to
anti-reorg delay enforcement

Remove anti-duplicate htlc update stuff in ManySimpleChannelMonitor

Add log_trace on to_remote/to_local inclusion in commitment tx

Gracefully handle fee-larger-than-claimed-value in ChannelMonitor

This resulted in a full_stack_target failure as we overflow during
subtraction otherwise.

Instead, we try lower and lower fee estimator confirmation targets
until we find one low enough, or discard the transaction. We should
be able to handle this much cleaner, but for now this at least gets
the fuzzer working again.

Merge pull request #339 from TheBlueMatt/2019-06-net-tokio-ver-bump

Add subcrate that implements network socket handling with Tokio, bump to 0.0.9

Bump version to 0.0.9 to get current master fixes uploaded.

Add subcrate that implements network socket handling with Tokio

This is still pretty raw and ist mostly just a straight move from
rust-lightning-bitcoinrpc, but first step is to get it there,
second is to actually make it actually safe to use.

Bump rust-bitcoin dep to 0.18

Merge pull request #320 from TheBlueMatt/2019-03-chan-send-rewrite

Rewrite Channel resend tracking to make it much more reliable

Merge pull request #334 from ariard/2019-04-fee-estimation-monitor

Add Fee Estimation in ChannelMonitor

Assert that our weight prediction can't result in unspendable txn

Add unit test for get_witnesses_weight

Add fee estimation in check_spend_remote_htlc

Add FeeEstimator in ChannelMonitor

Merge pull request #335 from TheBlueMatt/2019-04-330-nits

Make channel open confs configurable (and change from 12 to 6)

Make channel open confs configurable (and change from 12 to 6)

This fixes compatibility with c-lightning etc as they won't accept
a minimum_depth of 12.

Merge pull request #332 from ariard/2019-03-option-serialize-channel-monitor

Use more Writeable/Readable for Option<T> in ChannelMonitor serializer/deserializer

Use more Writeable/Readable for Option<T> in ChannelMonitor

Merge pull request #328 from dongcarl/fine

Add test for tie breaking when sorting outputs

Merge pull request #329 from dongcarl/patch-1

Improve README usability

Merge pull request #326 from TheBlueMatt/2019-03-temp-failure-use-cases

Update docs for TemporaryFailure to note other use-cases

Improve README usability

Add test for tie breaking when sorting outputs

Update docs for TemporaryFailure to note other use-cases

Merge pull request #325 from TheBlueMatt/2019-03-322-cleanup

Extract preimage from revoked HTLC-Success to claim backward

Fix crash in chanmon_fail_consistency due to fuzz hash collisions

Rewrite Channel resend tracking to make it much more reliable

Resending revoke_and_ack and commitment_signed (+update) messages
after monitor-update-failure or disconnection has been a highly
unreliable part of our codebase for some time (as evidenced by the
number of bugs caught in the chanmon_fail_consistency fuzz target).
This is due to its rather ad-hoc nature and tracking/behavior which
consists of checking a number of different flags to try to deduce
which messages were/were not delivered and go from there. Instead,
this commit rewrites it to simply keep track of the order messages
were generated originally, as we always resend in the
originally-generated order.

I'm anticipating this will be way more robust than the old code, in
addition to its simplicity.

Add log_trace on completion of monitor update restoration in Chan

Extract preimage from revoked HTLC-Success to claim backward

Tweaks by Matt Corallo <git@bluematt.me>

Merge pull request #319 from TheBlueMatt/2019-03-htlc-sorting

Fix HTLC-output-in-commitment sorting for duplicate-HTLCs

Merge pull request #316 from TheBlueMatt/2019-03-removed-reserve-check

Fix remote reserve check with inbound claims-in-flight

Fix potential overflow bug introduced in channel reserve check fix

Found by chanmon_fail_consistency fuzz test.

Fix inbound channel reserve check for removed-outbound-HTLCs

Found by chanmon_fail_consistency fuzzer.

Add macro for PaymentSent event checking in test_utils

Merge pull request #314 from TheBlueMatt/2019-03-chan-cleanup

Two simple Channel cleanups

Remove unused BIP69 input sorting

Lightning doesn't (currently) do any input sorting at the protocol
level, but if we ever need to re-add this its in git history.

Fix HTLC-output-in-commitment sorting for duplicate-HTLCs

This resolves both an issue that hits fuzzing due to hash
collisions as well as implements an update to the BOLT spec.

Merge pull request #318 from tamasblummer/rbitcoin017

migration to rust-bitcoin 0.17

migration to rust-bitcoin 0.17
typedef Sha256dHash with bitcoin_hashes::sha256d::Hash
SecretKey -> PrivateKey.key
assume compressed public keys

Add a useful log_trace before we release holding cell.

Move fail_reason into OutboundHTLCState states

This should probably have happened when we moved most state into
the state enums themselves, but specifically forcing awareness of
the removed/not removed state would have prevented me from
introducing a bug in the first version of an upcoming reserve-value
patch.

Merge pull request #313 from ariard/2019-02-clarify-test-full-stack-target

Clarify a bit full_stack_target test_no_existing_test_breakage

Merge pull request #292 from ariard/2019-12-serialization-test

[Ready for Review] Add msgs serialization tests

Clarify a bit full_stack_target test_no_existing_test_breakage

Merge pull request #308 from dongcarl/2019-02-reformulate-unknown-bits-calculation

msgs: Reformulate unknown bits calculation w/ any

Merge pull request #307 from dongcarl/2019-02-derive-partialeq

util: Derive PartialEq for Level

Add bolt1 msgs serialization tests

Add bolt2 msgs serialization tests

Add bolt7 msgs serialization tests

Merge pull request #309 from TheBlueMatt/2019-02-306-nits

Explicit tests for update_*_htlc message BOLT2 requirements

Fix uneccessary mut found by 1.22

Explicit tests for update_*_htlc message BOLT2 requirements

msgs: Reformulate unknown bits calculation w/ any

util: Derive PartialEq for Level

PartialEq, Eq, and Hash should all be derived together wherever possible
to not violate Hash invariants. See the documentation for
std::hash::Hash for more details.

Merge pull request #304 from TheBlueMatt/2019-01-bump-08

Bump version to 0.0.8

Merge pull request #303 from TheBlueMatt/2019-01-log-more

Add a bunch of additional logging

Bump version to 0.0.8

Log information about channel freeze/restore from monitor updates

log_trace HTLC changes in Channel::get_update_fulfill_htlc

log_trace HTLC transitions in RAA handling (best reviewed with -b)

log_trace information about commitment txn as they're being built

Merge pull request #302 from TheBlueMatt/2019-01-hashes03

Bump bitcoin_hashes to 0.3

Merge pull request #297 from TheBlueMatt/2019-01-back-fail-privacy

Send back the actual received amount, not expected on HTLC fails

Merge pull request #290 from TheBlueMatt/2019-01-monitor-update-handle-fuzz

Handle monitor update failures in two more places + new fuzz test

Bump bitcoin_hashes to 0.3

Merge pull request #295 from TheBlueMatt/2019-01-holding-cell-limits

Fix holding cell freeing in case we fail to add some HTLC

Fix holding cell freeing in case we fail to add some HTLC

Previously, if we went to free the holding cell HTLC updates, and
adding one failed as we hit our outbound HTLC limit (or in-flight
value limit), we would not send a commitment_signed, leaving us in
an invalid state. We first fix that bug, and then refuse to add
things to our holding cell once we reach our limits considering the
holding cell, as we shouldn't have multiple commitment dance rounds
worth of HTLCs in the holding cell anyway.

Send back the actual received amount, not expected on HTLC fails

This resolves an incorrect implementation of the spec and fixes a
major privacy leak.

Fixes GH #289.

Add a fuzz target to test monitor update failure handling

Sadly this requires reducing the honggfuzz iterations to fit within
Travis' runtime limits.

Take the logger from test_utils into fuzz::test_utils

Expose CommitmentUpdate contents

This is an oversight as the MessageSendEvent is otherwise entirely
useless.

Drop pending outbound messages on peer disconnection

This shouldn't be required, but it may help prevent some downstream
race conditions due to clients not sending message events quickly
enough and trying to send stale messages before new
channel_reestablish messages.

Handle monitor update failures in two more places

Best reviewed with -b

Merge pull request #288 from TheBlueMatt/2019-01-test-split-raa-flag-fix

Fix several more monitor-update-failed cases

Merge pull request #301 from rex4539/fix-typos

Fix typos

Fix typos

Fix responding to RAAs when monitor updating had already failed

Remove incorrect debug_assert!() from reestablish handling and test

Add a test for the ordering setting in channel_reestablish handling

Fix AwaitingRAA on RAA receipt when monitor updating had failed

This fixes a rather subtle case handling RAAs when we don't
generate a response due to a previous monitor update failure, but
would otherwise send a CS response. We need to still set
AwaitingRemoteRevoke on the channl in question, but previously did
not. Found by chanmon_fail_consistency fuzz test with the failing
test converted and added manually.

Merge pull request #300 from TheBlueMatt/2019-01-tests-split

Split up functional_tests into three separate files

Fix indentation in a few new tests

Fix spelling in do_test_monitor_temporary_update_fail comment

Split up monitor-update-failed tests and other functional tests

Split up functional_tests into utils and the tests themselves

Merge pull request #299 from TheBlueMatt/2019-01-262-redux

Added tests to check the bolt 2 specs for open_channel (Sending Node)

Added tests to check the bolt 2 specs for Sending Node Channel

Merge pull request #298 from TheBlueMatt/2019-01-271-cleanup

Implement serialize/deserialize for Router

Implement serialize/deserialize for Router.

Extend route_test to check if serialize/deserialize of
NetworkMap works.

Add PartialEq traits on some Router's structs.

Modify also UnsignedNodeAnnouncement serialization

Implement Writeable/Readable for Option<T>

Add OptionalField in OpenChannel, AcceptChannel
ChannelReestablish to avoid serialization implementation
conflicts

Merge pull request #286 from TheBlueMatt/2019-01-monitor-update-fixes

Fix a few monitor-update failure bugs found by new fuzzer

Fix handling RAA when a monitor update previously failed

Rewrite monitor_update_failed as it didn't capture all the options

Primarily this fixes the case where we receive an RAA which does
not require a response, allowing us to call monitor_update_failed
without generating pending messages.

Remove unused argument from handle_error!

Merge pull request #294 from TheBlueMatt/2019-01-deps-bump

Upgrade to secp256k1 v12, bitcoin v16, and crates bitcoin_hashes

Ensure Message always unwraps in fuzztarget

Hashes cant be all-0s, so we can normally unwrap, but fuzztarget
can generate all-0 hashes, so we have to handle it and swap for
something else.

Drop verification context from keys manager

Upgrade to secp256k1 v12, bitcoin v16, and crates bitcoin_hashes