Add deserialize+load steps to chanmon_fail_consistency (fixes #327)

Drop msgs bound for a disconnecting peer at disconnect time

This simplifies chanmon_fail_consistency greatly and makes it a
tiny bit more realistic. It also sets us up for more
disconnect-relatex events without the complexity blowing up.

Fix some newly-introduced unused-$THING warnings

Merge pull request #353 from TheBlueMatt/2019-07-no-rand

Make rand a dev-dependency

Make rand a dev-dep by having the user randomize HTLC forward delay

This removes the last calls to rand outside of test and moves the
dep to a dev-dependency, dropping our fuzz rng wrapper in the
process.

Stop using rng in peer_channel_encryptor to generate ephemeral keys

This removes the bulk of our reliance on the rand crate in non-test
envs, paving a way towards a syscall-less rust-lightning and WASM.
Since this is a breaking change for full_stack_target (and several
fuzz targets), go ahead and make other changes to make things more
distinct.

Update commitment tx to match actual tx (dunno when it broke)

Move travis fuzzing to 1.34.2 to get integer atomics

Remove dangling link in fuzz/

Drop rng and SystemTime calls from KeysManager

They were only used for ensuring generated keys were globally
unique (ie in case the user opened the same seed at a different
time, we need generated keys to be globally unique).

Instead, we let the user specify a time in secs/nanos, and provide
a precise meaning for the user to understand.

Merge pull request #348 from ariard/2019-07-upfront-shutdown-script

Implement option_upfront_shutdown_script on both sides

Test option_upfront_shutdown_script

Pass UserConfig to node creation test utilities

We way want more granularity on the set of user opt-in features at
a given time, specially with new 1.1 spec features

Pass LocalFeatures flag to channel creation test utilities

We may want more granularity on the set of features activated at
a given time, specially with new 1.1 spec features

Implement option_upfront_shutdown_script user-side

We use user config to decide to commit to closing script
in open_channel/accept_channel messages. We don't check
that other peer supporting the option as including
script without other peer public support is borne by
the protocol. If user opt-out, following protocol and
due to the fact we always signal, we provide a zero-length
script

Support option_upfront_shutdown_script for local peer

Track shutdown_pubkey of peer at open/accept_channel messages

Fix encoding_init test

Provide peer local_features to handle_open_channel/accept_channel

Peer may send us a shutdown_scriptpubkey in open_channel or
accept_channel messages. Before to enforce this policy on channel
closing, we want to be sure that our peer has opt-in to it.

Extend LocalFeatures new method visibilty from crate to public
for fuzz tests

Merge pull request #336 from ariard/2019-04-in-flight-txn-tracking-clean

2019 04 in flight txn tracking clean

Implement dynamic height timer for bump candidates txn

We must adapt our delay between two bumps of claim txn in respect
to the timelock encumbering the targeted outpoint. If HTLC or
revoked output is near to expire, we should try to get our claim
in every block. If it's reasonably in the future, we may give us
more latency to bump

Add in-flight claim-tx tracking

When we generate a justice tx, a htlc tx on remote commitment or
a htlc tx on local commitment we track them until first conf.

Add more comments about timelock assumptions and security model

Rename HTLC_FAIL_ANTI_REORG_DELAY to ANTI_REORG_DELAY because
we are going to rely on it also to remove bump candidates outpoint
from tracker after claim get enough depth.

Rename HTLC_FAIL_TIMEOUT_BLOCKS to LATENCY_GRACE_PERIOD_BLOCKS because
it's carrying more meaningfully that we are doing a favor to our
peer instead of ruthlessly enforcing the contract.

CLTV_EXPIRY_DELTA should be > to LATENCY_GRACE_PERIOD_BLOCKS +
+CLTV_CLAIM_BUFFER + ANTI_REORG_DELAY + LATENCY_GRACE_PERIOD_BLOCKS
When we reached height + LATENCY_GRACE_PERIOD_BLOCKS and we have pending
unsolved outbound HTLC, we fail onchain with
our local commitment tx. At this point we expect to get in chain in a
worst-case delay of CLTV_CLAIM_BUFFER. When our HTLC-timeout is
confirmed with ANTI_REORG_DELAY we may safely fail backward the
corresponding inbound output.

Merge pull request #340 from TheBlueMatt/2019-06-channeldetails-fields

Add balance and is_live fields to ChannelDetails

Merge pull request #351 from TheBlueMatt/2019-07-no-instant

Drop system clock calls for PendingHTLCsForwardable events.

Drop system clock calls for PendingHTLCsForwardable events.

Instead, return a Duration and let the user do the work of waiting.
This is one of only a handful of steps to make us
mostly-syscall-free, at least enough to run in WASM according to
elichai.

Drop time_created in HTLCAwaitingACK::AddHTLC (we can use the CLTV)

Add balance and is_live fields to ChannelDetails

Move htlc_updated_waiting_threshold_conf to an OnchainEvent model

We need also to track claim tx until their maturation to know
when we may safely remove them from could-be-bumped-txn buffer

Add block_disconnecting tests to cancel HTLC failure updates

Add test_sweep_outbound_htlc_failure_update

Fail back dust HTLC of local commitment tx after enough confirmations

Add test_failure_delay_htlc_local_commitment and
test_no_failure_dust_htlc_local_commitment

Move some bits of check_spend_remote as we need to fail dust HTLCs
which can be spread on both prev/lastest local commitment tx

Delay failure of non-dust HTLC-outputs until solving timeout tx matures

Fix tests broken by introduced change

Implement block_disconnect for pruning of waiting-conf HTLC updates

Modify ChainListener API by adding height field to block_disconnect

Track HTLC-failure trigger tx until anti-reorg delay reached

Broadcasting a commitment tx means that we have to fail
inbound HTLC in backward channel. Doing it prematurely would
put us at risk in case of reorg. So we delay passing failure
update upstream until solving tx mature to HTLC_FAIL_ANTI_
REORG_DELAY.
Requirements differ if HTLC is a revoked/non-revoked dust/
non-revoked non-dust one.

Add connect_blocks in test_utils to fix broken tests due to
anti-reorg delay enforcement

Remove anti-duplicate htlc update stuff in ManySimpleChannelMonitor

Add log_trace on to_remote/to_local inclusion in commitment tx

Merge pull request #346 from ariard/log_trace_remote_local_outp

Add log_trace on to_remote/to_local inclusion in commitment tx

Add log_trace on to_remote/to_local inclusion in commitment tx

Merge pull request #341 from TheBlueMatt/2019-06-fuzz-crash-fee-sub

Gracefully handle fee-larger-than-claimed-value in ChannelMonitor

Gracefully handle fee-larger-than-claimed-value in ChannelMonitor

This resulted in a full_stack_target failure as we overflow during
subtraction otherwise.

Instead, we try lower and lower fee estimator confirmation targets
until we find one low enough, or discard the transaction. We should
be able to handle this much cleaner, but for now this at least gets
the fuzzer working again.

Merge pull request #339 from TheBlueMatt/2019-06-net-tokio-ver-bump

Add subcrate that implements network socket handling with Tokio, bump to 0.0.9

Bump version to 0.0.9 to get current master fixes uploaded.

Add subcrate that implements network socket handling with Tokio

This is still pretty raw and ist mostly just a straight move from
rust-lightning-bitcoinrpc, but first step is to get it there,
second is to actually make it actually safe to use.

Bump rust-bitcoin dep to 0.18

Merge pull request #320 from TheBlueMatt/2019-03-chan-send-rewrite

Rewrite Channel resend tracking to make it much more reliable

Merge pull request #334 from ariard/2019-04-fee-estimation-monitor

Add Fee Estimation in ChannelMonitor

Assert that our weight prediction can't result in unspendable txn

Add unit test for get_witnesses_weight

Add fee estimation in check_spend_remote_htlc

Add FeeEstimator in ChannelMonitor

Merge pull request #335 from TheBlueMatt/2019-04-330-nits

Make channel open confs configurable (and change from 12 to 6)

Make channel open confs configurable (and change from 12 to 6)

This fixes compatibility with c-lightning etc as they won't accept
a minimum_depth of 12.

Merge pull request #332 from ariard/2019-03-option-serialize-channel-monitor

Use more Writeable/Readable for Option<T> in ChannelMonitor serializer/deserializer

Use more Writeable/Readable for Option<T> in ChannelMonitor

Merge pull request #328 from dongcarl/fine

Add test for tie breaking when sorting outputs

Merge pull request #329 from dongcarl/patch-1

Improve README usability

Merge pull request #326 from TheBlueMatt/2019-03-temp-failure-use-cases

Update docs for TemporaryFailure to note other use-cases

Improve README usability

Add test for tie breaking when sorting outputs

Update docs for TemporaryFailure to note other use-cases

Merge pull request #325 from TheBlueMatt/2019-03-322-cleanup

Extract preimage from revoked HTLC-Success to claim backward

Fix crash in chanmon_fail_consistency due to fuzz hash collisions

Rewrite Channel resend tracking to make it much more reliable

Resending revoke_and_ack and commitment_signed (+update) messages
after monitor-update-failure or disconnection has been a highly
unreliable part of our codebase for some time (as evidenced by the
number of bugs caught in the chanmon_fail_consistency fuzz target).
This is due to its rather ad-hoc nature and tracking/behavior which
consists of checking a number of different flags to try to deduce
which messages were/were not delivered and go from there. Instead,
this commit rewrites it to simply keep track of the order messages
were generated originally, as we always resend in the
originally-generated order.

I'm anticipating this will be way more robust than the old code, in
addition to its simplicity.

Add log_trace on completion of monitor update restoration in Chan

Extract preimage from revoked HTLC-Success to claim backward

Tweaks by Matt Corallo <git@bluematt.me>

Merge pull request #319 from TheBlueMatt/2019-03-htlc-sorting

Fix HTLC-output-in-commitment sorting for duplicate-HTLCs

Merge pull request #316 from TheBlueMatt/2019-03-removed-reserve-check

Fix remote reserve check with inbound claims-in-flight

Fix potential overflow bug introduced in channel reserve check fix

Found by chanmon_fail_consistency fuzz test.

Fix inbound channel reserve check for removed-outbound-HTLCs

Found by chanmon_fail_consistency fuzzer.

Add macro for PaymentSent event checking in test_utils

Merge pull request #314 from TheBlueMatt/2019-03-chan-cleanup

Two simple Channel cleanups

Remove unused BIP69 input sorting

Lightning doesn't (currently) do any input sorting at the protocol
level, but if we ever need to re-add this its in git history.

Fix HTLC-output-in-commitment sorting for duplicate-HTLCs

This resolves both an issue that hits fuzzing due to hash
collisions as well as implements an update to the BOLT spec.

Merge pull request #318 from tamasblummer/rbitcoin017

migration to rust-bitcoin 0.17

migration to rust-bitcoin 0.17
typedef Sha256dHash with bitcoin_hashes::sha256d::Hash
SecretKey -> PrivateKey.key
assume compressed public keys

Add a useful log_trace before we release holding cell.

Move fail_reason into OutboundHTLCState states

This should probably have happened when we moved most state into
the state enums themselves, but specifically forcing awareness of
the removed/not removed state would have prevented me from
introducing a bug in the first version of an upcoming reserve-value
patch.

Merge pull request #313 from ariard/2019-02-clarify-test-full-stack-target

Clarify a bit full_stack_target test_no_existing_test_breakage

Merge pull request #292 from ariard/2019-12-serialization-test

[Ready for Review] Add msgs serialization tests

Clarify a bit full_stack_target test_no_existing_test_breakage

Merge pull request #308 from dongcarl/2019-02-reformulate-unknown-bits-calculation

msgs: Reformulate unknown bits calculation w/ any

Merge pull request #307 from dongcarl/2019-02-derive-partialeq

util: Derive PartialEq for Level

Add bolt1 msgs serialization tests

Add bolt2 msgs serialization tests

Add bolt7 msgs serialization tests

Merge pull request #309 from TheBlueMatt/2019-02-306-nits

Explicit tests for update_*_htlc message BOLT2 requirements

Fix uneccessary mut found by 1.22

Explicit tests for update_*_htlc message BOLT2 requirements

msgs: Reformulate unknown bits calculation w/ any

util: Derive PartialEq for Level

PartialEq, Eq, and Hash should all be derived together wherever possible
to not violate Hash invariants. See the documentation for
std::hash::Hash for more details.

Merge pull request #304 from TheBlueMatt/2019-01-bump-08

Bump version to 0.0.8

Merge pull request #303 from TheBlueMatt/2019-01-log-more

Add a bunch of additional logging

Bump version to 0.0.8

Log information about channel freeze/restore from monitor updates

log_trace HTLC changes in Channel::get_update_fulfill_htlc

log_trace HTLC transitions in RAA handling (best reviewed with -b)

log_trace information about commitment txn as they're being built

Merge pull request #302 from TheBlueMatt/2019-01-hashes03

Bump bitcoin_hashes to 0.3

Merge pull request #297 from TheBlueMatt/2019-01-back-fail-privacy

Send back the actual received amount, not expected on HTLC fails

Merge pull request #290 from TheBlueMatt/2019-01-monitor-update-handle-fuzz

Handle monitor update failures in two more places + new fuzz test

Bump bitcoin_hashes to 0.3

Merge pull request #295 from TheBlueMatt/2019-01-holding-cell-limits

Fix holding cell freeing in case we fail to add some HTLC

Fix holding cell freeing in case we fail to add some HTLC

Previously, if we went to free the holding cell HTLC updates, and
adding one failed as we hit our outbound HTLC limit (or in-flight
value limit), we would not send a commitment_signed, leaving us in
an invalid state. We first fix that bug, and then refuse to add
things to our holding cell once we reach our limits considering the
holding cell, as we shouldn't have multiple commitment dance rounds
worth of HTLCs in the holding cell anyway.