Merge pull request #147 from TheBlueMatt/2018-09-channelmanager-err-macro

Refactor ChannelManager handle functions into a Channel-closing macro

Handle partial-response UTXO impls or reorgs in chan_announcements

Mostly to add a big comment noting why we aren't "spec-compliant"

Util-func channel removal (fixing a bug in HTLC failure updates)

Reject rumors of channels that are from one node back to itself

Move announcement_signatures handling into new force-close macro

Because we've separated out channel closure from ErrorMessage
returning we can return error messages in a few additional cases,
like if the peer sent us a message for a channel they didn't own.

Fill out IgnoreError actions in get_channel_announcement

They are all just "its too early/late to get an announcement"
errors so simply ignoring them and not sending an announce is fine

Simplify secp_call! macro in ChannelManager

Ensure Channel::new_from_req always returns an ErrorMessage on Err

Dont return an Err from Channel::get_accept_channel that can't fail

Refactor handle_open_channel to wrapper error handling function

Original version is from Antoine Riard <ariard@student.42.fr>,
the error type and some return type fixes are from
Matt Corallo <git@bluematt.me>

Add ChannelManager-specific HandleError type and macro to use it

Original macro is from Antoine Riard <ariard@student.42.fr>,
the error type and additional mappings are from
Matt Corallo <git@bluematt.me>

Merge pull request #145 from TheBlueMatt/2018-09-134-rebased

#134 rebased

Merge pull request #143 from TheBlueMatt/2018-08-announcement_sigs_erroraction

Ensure handle_announcement_signatures always has a ErrorAction

Provide better get_chain_utxo return coverage in router_target

Ensure we aren't duplicatively reading things in router_target

Add DummyChainWatcher in route_target

Add test_invalid_channel_announcemnt + test utilities

Fix typo

Check script_pubkey against expected channel_announcement

Implement get_chain_utxo and ChainError in
ChainWatchInterface to Router check on channel_announcement

Needed for BOLT 7

Add ChainWatchInterface in Router

Merge pull request #144 from yuntai/onion_call_back_simple

Remove code fragments with no effect

Remove code fragments with no effect

Check for misuse of funding_transaction_generated and panic

Ensure handle_announcement_signatures always has a ErrorAction

Add ErrorAction in secp Error -> HandleError conv in ChannelManager

Merge pull request #139 from TheBlueMatt/2018-08-fuzz-fixes-7

Fix crash that #127 intended to fix but did not completely fix

Remove unused feeest field in ChannelManager tests

Fix crash that #127 intended to fix but did not completely fix

Introduced in #124, and found by fuzzer

Merge pull request #136 from TheBlueMatt/2018-08-excess-signed-data-bolt-7

Correctly verify and forward excess data post-signature in signed announcement messages

Also fwd channel_update and node_announcement immediately

Not really sure why the API was different for channel_announcement,
but this brings everything in sync.

Fail parsing node/channel announcements with unknown even features

This is required for BOLT 7 compliance

Update msg_targets with new, must-roundtrip, and hole messages

Correct excess-data handling in NodeAnnouncement

Breaks parsing of padding within addresses, but nothing currently
generates such messages, and I'm proposing we remove it in the spec

Correct excess-data handling in ChannelUpdate

Correct excess-data handling in ChannelAnnouncement verif in Router

Ignore invalid lnd msgs by matching DecodeError instead of a macro

Remove unused test variable left orphaned by 5d923e2a634351e2852924

Merge pull request #133 from TheBlueMatt/2018-08-announcement_sigs

Clean up/clarify channel announcement_signatures handling

Merge pull request #135 from yuntai/201808-channelreestablish

Make my_current_per_commitment_point in ChannelReestablish optional

Use Option<DataLossProtect> for ChannelReestablish

and fix test

Fix test for ChannelReestablish

Make my_current_per_commitment_point Option

Per Bolt #2, both your_last_per_commitment_secret &
my_current_per_commitment_point are optional depending on
`data_loss_protect`

Clean up/clarify channel announcement_signatures handling

Make note about complying with BOLT 7 announcement_signatures

Merge pull request #132 from TheBlueMatt/2018-08-bolt-4-spec-return-fail

Return a malformed HTLC message when ephemeral pubkey is garbage

Remove incorrect auto-generated header from error_message_target

Return a malformed HTLC message when ephemeral pubkey is garbage

This resolves a spec-compliance bug with BOLT 4 where we simply
failed to deserialize the message and thus could never return an
HTLC failure message. However, note that BOLT 4 incorrectly hints
that a non-malformed message should be used ("...MUST report a
route failure to the origin node") which we cannot do as we cannot
derive a SharedSecret to encrypt a regular update_fail_htlc message

Update PendingHTLCStatus to hold malformed HTLC error messages

Add update_fail_malformed_htlcs vec to CommitmentUpdate

Not sure why this wasn't there to begin with

Merge pull request #131 from TheBlueMatt/2018-08-bolt-1-compliance

update Error/Init handling to be BOLT 1 compliant

Merge pull request #130 from TheBlueMatt/2018-08-fuzz-fixes-6

 Fix crash introduced in #124

Update error deserialization in compliance with BOLT #1

Handle Error messages by closing channels as required by BOLT 1

Ensure we never send messages prior to Init for BOLT 1 compliance

Remove unused node_id tracking in ChannelManager tests

Fix crash introduced in #124

I'm rapidly starting to regret holding failed HTLCs in Channel,
given we allow them to violate the no-duplicate-hashes
precondition.

Found by fuzzer

Merge pull request #127 from TheBlueMatt/2018-08-fuzz-fixes-5

Fix several panics introduced by #125 (#114) and #124

Fix integer overflow panic in new HTLC-forwarding fee checks

Found by fuzzer

Fix duplicate payment_hashes one immediately failed, one fail crash

Found by fuzzer

Merge pull request #124 from TheBlueMatt/2018-08-htlc-fail-spec

Do not return UpdateFailHTLC updates until the HTLC is committed

Merge pull request #126 from TheBlueMatt/2018-08-restore-full-fuzz

Restore full_stack_target fuzzer

Merge HTLC-update events, remove FailHTLC ErrorAction

UpdateFailHTLC isn't really an error anymore now that its handled
async after channel commitment (as required by BOLT 2), and since
its unused this is free. To resolve the TODO which intended to use
it for HTLC failure when trying to route forwards, we instead opt
to merge all the HTLC update events into one UpdateHTLCs event
which just contains a CommitmentUpdate object.

Restore push_msat in full_stack_target

Do not return UpdateFailHTLC updates until the HTLC is committed

This fixes a violation of BOLT 2 and will let us consolidate some
HTLC update handling. Good bit of code movement, but is mostly
refactor to store HTLC failure status in pending_htlcs in Channel.

Restore full_stack_target fuzzer

Add trace logs for Errs when handling peer messages

Merge pull request #123 from TheBlueMatt/2018-08-secp-0.10

Update to rust-secp256k1 v0.11 and rust-bitcoin v0.14

Merge pull request #125 from TheBlueMatt/2018-08-114-rebase

Rebase of #114

Update to rust-secp256k1 v0.11 and rust-bitcoin v0.14

Clean up excess \ns in route debug, use all debug encoders

Return channel_updates when failing a HTLC for fee/CLTV reasons

Add Display trait on network structs for routing bug track

Check amt_to_forward and outgoing_cltv_value in add_update_htlc

Merge pull request #111 from TheBlueMatt/2018-08-full-stack-target-upstream-1

 Expand full_stack_target somewhat

Add a full_stack_target sample test to avoid unintentional breakage

Disable push_msat in full_stack_target temporarily

Upgrade AFL to 0.4 with persistent mode fuzzing

Expand full_stack_target somewhat

Add simple utility to ChannelManager to force close all channels

Only enforce no-dup-payment_hash precondition on non-removed HTLCs

This fixes a panic found by fuzzer.

Merge pull request #122 from TheBlueMatt/2018-08-doc-usability-fixes

Simple log usability fix, add some missing docs

Remove implicit Record import requirement in logging macros

Add APIError docs

Merge pull request #118 from TheBlueMatt/2018-08-103-rebased

Rebase of #103

Merge pull request #117 from TheBlueMatt/2018-08-no-claim-fuzz-bug

Don't HTLC claim with no-possible-preimage in full_stack_target

Ignore unknown channel flags as required in BOLT 2

add 1% chnnel reserve while keeping min value

if 1000 is always used it will almost always fail test reserve < dust_limit check

Add checking locally derived reserve and dust limit

document optional channel constraints per spec

Add various checking when handling open and accept

Add `derive_minimum_depth()` and `derive_maximum_minimum_depth()` and hide
CONF_TARGET constant behind these functions.

Replace `DisconnectPeer` error with `HandleError` with `ErrorAction::SendErrorMessage`

Add push_msat to new outbound API

Also add APIMisuseError to be thrown to the API client

Add APIError enum

`APIMisuse` when paramters passed from the client is invalid
`FeeRateTooHigh` when a channel cannot be opened due to high feerate

Don't HTLC claim with no-possible-preimage in full_stack_target

Merge pull request #116 from TheBlueMatt/2018-08-peer_handler-trace

Add some trace logging in peer_handler

Add some trace logging in peer_handler

Default test logger to Trace to make error debugging easier

Add some useful delayed-formatting formatters to macro_logger

Remove some dead Logger code

Merge pull request #115 from TheBlueMatt/2018-08-channel-fuzz-fixes

Fixes from channelmanager fuzzing work

Fix PaymentReceived/sha256 handling in full_stack_target

Sha256 in fuzztarget was updated some time ago to use XOR instead
of the first byte of a real SHA256 run and somehow received and
sent payments got crossed in full_stack_target.