Merge pull request #186 from TheBlueMatt/2018-09-ser-rework-2

Drop old serialization framework

Merge pull request #185 from TheBlueMatt/2018-09-ser-rework

Serialization Framework Tweaks

Drop MsgEncodable in favor of default fns on Writeable

Fix peer_handler message serialization

Fixes a bug introduced in 3e89106163b941aa4dc4ff92bdb484b7bbcf50c4
where messages were being encoded with their size instead of their
type.
Also utilizes the new size_hinting in peer_handler

Make Writeable::write typed instead of Writeable

This lets us add some untyped default functions to the trait

Utilize Writer size hinting in message fuzz targets and check them

Stop checking size > 64KB in serialization

This removes a bunch of potentially new error handling in writers
and the checks were kinda useless anyway - in normal operation we
unwrap()ed anyway, and we're gonna want to use the serializtion
framework for ChannelMonitor/ChannelManager serialization, which
may generate things larger than 64KB anyway.

Add size_hint in ser and call size_hint in all message serializers

Remove MsgDecodable and most MsgEncodable impls

Split out Vec<u8> and Vec<Signature> ser impls cause there's 2

Should resolve any performance issues with Vec<u8> serialization.

Remove uses of MsgDecodable from ChannelManager

Simplify serialization a bit by removing the useless newtypes

Expose (de)serialziers as we'll need them and I don't like warnings

Merge pull request #178 from TheBlueMatt/2018-09-channel_reestablish

Handle peer disconnect tracking/channel_reestablish

Constify 2**48-1 and add some additional comments in Channel

Add a simple channel_reestablish test

Track peer-disconnection in Channel and handle channel_reestablish

Add a Disconnected ChannelState and check/handle it everywhere

Setting/removing it comes next

Add channel_reestablish + peer_connected events to channel handler

Clarify update_fail/fulfill_htlc holding cell allowed Errs

Specifically, there really should be no Errs, but in case there is
some case where duplicate HTLC removes are possible, return
IgnoreError and debug_assert to see if fuzzing can find them.

Drop channels on disconnection if we haven't funded them yet

Remove/fail uncommitted HTLCs upon peer disconnection

Merge pull request #179 from TheBlueMatt/2018-09-pre-178-cleanups

Pre-reconnect ChannelManager test cleanups

Merge pull request #183 from yuntai/201809-unwrap-getopenchannel

unwrap channel.get_open_channel

unwrap channel.get_open_channel

Split claim and fail payment functions to be able to skip one hop

Move all-events check into framework instead of per-test

Split up send_commitment into a const and non-const version

Remove unused import and uneccessary mut

Merge pull request #180 from TheBlueMatt/2018-09-htlc-tx-unwrap-fix

Ignore HTLC txn we dont know how to claim instead of unwrap()ing and Do not fail-backwards LocalAnnounced HTLCs upon force-close.

Tweak + extend full_stack_target sample to incl HTLC tx broadcasts

Test that we do not fail-backwards HTLCs that the remote on-chained

Make the commitment signed dance a macro in ChannelManager tests

Do not fail-backwards LocalAnnounced HTLCs upon force-close.

This is completely unsafe as we have provided the remote side with
a commitment_signed which they can broadcast, including the HTLC
transaction, and then could claim it on-chain after we've failed it
backwards!

Ignore HTLC txn we dont know how to claim instead of unwrap()ing

This fixes a crash introduced in 3e149b1fb6624eef99b055bde772842f36
and introduces a test which will tickle the bug.

Merge pull request #177 from TheBlueMatt/2018-09-163-cleanups

Optimize some ChannelMonitor stuff after #163

Clean up and clarify tx broadcast checks in channelmonitor tests

This effecitlvey reverts the refactors in 383bd90a481bc146b3a3b1d8,
however keeps the actully new test code.

It also writes documentation for the super confusing tx test func
and makes it a bit less permissive.

There can only be one input in matched txn in ChannelMonitor

This lets us simplify a few tidbits of loop.

Optimize check_spend_remote HTLC a tad by avoiding indirections

Instead of hopping a pointer, we're only ever going to return one
Transaction at max, so skip the Vec. Also avoid
re-pubkey-converting the revocation key.

Merge pull request #163 from ariard/claim_revoked_htlc_tx

Implement claiming of revoked HTLC transactions by ChannelMonitor

Merge pull request #175 from TheBlueMatt/2018-09-173-whitespace-err

raise APIError from send_payment (#173 without whitespace nit)

raise APIError from send_payment

add APIError::RouteError

Merge pull request #174 from yuntai/201809-funding_created_sig

verify incoming sig first to fail earlier

verify incoming sig first and fail earlier

Add test of claiming HTLC-Timeout outputs based on a revoked commitment
tx

Implement claiming of revoked HTLC transactions by ChannelMonitor

Refactor check_spend_remote_transaction in part to check_spend_remote_htlc to
avoid lock mess in block_connected. We need
remote_commitment_txn_on_chain to match remote HTLC tx

Implement set_their_delayed_payment_base_key in ChannelMonitor

Needed to build redeemscript on HTLC-Success/HTLC-Timeout tx from
remote revoked commitment tx

Merge pull request #171 from TheBlueMatt/2018-09-ser-fixes

Correct MAX_BUF_SIZE in serialization

Correct MAX_BUF_SIZE in serialization

I think this might have been my fault due to faulty review
feedback, but fuzzer caught trivial crash here where you try to
send a ping message larger than 16KB (but smaller than the
max-length 64KB) and you crash as message serialization is unwrap()

Fix some double-indentation in util/ser

Merge pull request #167 from TheBlueMatt/2018-09-dup-htlc

 Allow duplicate-payment_hash HTLCs for HTLC forwards

Merge pull request #170 from TheBlueMatt/2018-09-119-rebased

#119 squashed

Add simple test for duplicate-payment_hash HTLC tracking

Avoid cross-test statics in ChannelManager network tests

Allow duplicate-payment_hash HTLCs for HTLC forwards

This is required by BOLT 2 to ensure that no attacker can simply
relay every public node a duplicate-payment_hash HTLC for each HTLC
it receives to deduce where an HTLC came from.

Note that this makes the claim logic much less incentive-compatible
as we will not claim all available HTLCs with the same payment_hash
even if we know the preimage! This is OK because, most likely, any
attackers trying to map the network will use small-value payments
and, hopefully, we will move away from constant hashes across an
entire payment at some point in the near future.

This further simplifies the payment transition state a bit, so
hopefully at least we got some readability out of all of this

Migrate fuzz router/channel target to Readable

and be more specific about DecodeError::InvalidValue

migrate peer_handler to use Writeable

added inplace byte_utils

Add fuzz targets for Writeable messages/migrate fuzz test

Implement Writeable for messages

Implement Writer/Reader

with additional variants in DecodeError

Split HTLC tracking into separate Inbound/Outbound types

This isnt as simplifying as I'd hoped, but still increases
compile-time checking, which is nice, and removes one of two
panic!()s.

Merge pull request #165 from TheBlueMatt/2018-09-pre-disconnect-misc

Further minor misc changes from reconnect work

panic on invalid calls to Channel::send_commitment instead of Err

Do not allow sending HTLCs when the first hop is disconnected

Sync get_update_fail_htlc, get_update_fulfill_htlc state err result

Both get_update_fail_htlc and get_update_fulfill_htlc should never
be called before any HTLC could have been accepted (ie
pre-ChannelFunded) nor should they ever be called
post-ShutdownComplete as the Channel object should be destroyed at
that point. Previously get_update_fulfill_htlc would panic, but
get_update_fail_htlc would return an Err. For now make them both
panic but we can revisit this if we want to have fewer panics in
the future.

Add force_close_channel call command to full_stack_target

Merge pull request #164 from TheBlueMatt/2018-09-channel-connection-cleanups

Minor cleanups

Disallow duplicate Init messages from peers

Fix PeerManager::get_peer_node_ids to filter according to docs

Disconnect duplicate node_id connections after Noise handshake

Update add_update_monitor docs to indicate registration req.

It wasn't entirely clear from the existing docs that it is the
responsibility of the implementor of ManyChannelMonitor to
register the relevant outpoint.

Document Channel::get_funding_redeemscript precondition

Merge pull request #159 from ariard/channel_monitor

Add registration of commitment tx's outputs from check_spend_remote_transaction

Add registration of commitment tx's outputs from
check_spend_remote_transaction

Fixup more descriptive var names by Matt Corallo <git@bluematt.me>

Refactor/dont re-enter block_conencted on duplicate watch calls

Previously we'd hit an infinite loop if a block_connected call
always resulted in the same ChainWatchInterface registrations.
While we're at it, we also split ChainWatchUtil in two to make
things a bit more flexible for users, though not sure if that
actually matters, and make the matching more aggressive in testing,
even if we pick the more performant option at runtime.

Narrow ChainWatchInterface::install_watch_script

Merge pull request #162 from ariard/channel_manager_refactor_all

Channel manager refactor all (following & end)

Refactor handle_update_fee to wrapper error handling function

Refactor handle_revoke_and_ack to wrapper error handling function

Refactor handle_commitment_signed to wrapper error handling function

Refactor handle_update_fail_malformed_htlc to wrapper error handling function

Refactor handle_update_fail_htlc to wrapper error handling function

Refactor handle_update_fulfill_htlc to wrapper error handling function

Refactor handle_update_add_htlc to wrapper error handling function

Refactor handle_closing_signed to wrapper error handling function

Merge pull request #160 from ariard/channel_manager_refactor_all

Channel manager refactor all

Merge pull request #156 from TheBlueMatt/2018-09-funding_created_action

Ensure funding_created always returns Some(_) HandleError::action

Refactor handle_shutdown to wrapper error handling function

Refactor handle_funding_locked to wrapper error handling function

Refactor handle_funding_signed to wrapper error handling function

Remove unused import in router_target

Ensure funding_created always returns Some(_) HandleError::action

Merge pull request #154 from ariard/funding_created_refactor

Refactor handle_funding_created to wrapper error handling function

Refactor handle_funding_created to wrapper error handling function

Merge pull request #155 from SWvheerden/patch-1

patch to change temp_channel from deserialise to copy

change temp_channel from deserialise to copy

Merge pull request #151 from ariard/channel_manager_refactor

Refactor handle_accept_channel to wrapper error handling function

Refactor handle_accept_channel to wrapper error handling function

Merge pull request #152 from TheBlueMatt/2018-09-chan-cleanups

Channel cleanups

Add further clarification TODO in finish_force_close_channel