Return a malformed HTLC message when ephemeral pubkey is garbage

This resolves a spec-compliance bug with BOLT 4 where we simply
failed to deserialize the message and thus could never return an
HTLC failure message. However, note that BOLT 4 incorrectly hints
that a non-malformed message should be used ("...MUST report a
route failure to the origin node") which we cannot do as we cannot
derive a SharedSecret to encrypt a regular update_fail_htlc message

Update PendingHTLCStatus to hold malformed HTLC error messages

Add update_fail_malformed_htlcs vec to CommitmentUpdate

Not sure why this wasn't there to begin with

Merge pull request #131 from TheBlueMatt/2018-08-bolt-1-compliance

update Error/Init handling to be BOLT 1 compliant

Merge pull request #130 from TheBlueMatt/2018-08-fuzz-fixes-6

 Fix crash introduced in #124

Update error deserialization in compliance with BOLT #1

Handle Error messages by closing channels as required by BOLT 1

Ensure we never send messages prior to Init for BOLT 1 compliance

Remove unused node_id tracking in ChannelManager tests

Fix crash introduced in #124

I'm rapidly starting to regret holding failed HTLCs in Channel,
given we allow them to violate the no-duplicate-hashes
precondition.

Found by fuzzer

Merge pull request #127 from TheBlueMatt/2018-08-fuzz-fixes-5

Fix several panics introduced by #125 (#114) and #124

Fix integer overflow panic in new HTLC-forwarding fee checks

Found by fuzzer

Fix duplicate payment_hashes one immediately failed, one fail crash

Found by fuzzer

Merge pull request #124 from TheBlueMatt/2018-08-htlc-fail-spec

Do not return UpdateFailHTLC updates until the HTLC is committed

Merge pull request #126 from TheBlueMatt/2018-08-restore-full-fuzz

Restore full_stack_target fuzzer

Merge HTLC-update events, remove FailHTLC ErrorAction

UpdateFailHTLC isn't really an error anymore now that its handled
async after channel commitment (as required by BOLT 2), and since
its unused this is free. To resolve the TODO which intended to use
it for HTLC failure when trying to route forwards, we instead opt
to merge all the HTLC update events into one UpdateHTLCs event
which just contains a CommitmentUpdate object.

Restore push_msat in full_stack_target

Do not return UpdateFailHTLC updates until the HTLC is committed

This fixes a violation of BOLT 2 and will let us consolidate some
HTLC update handling. Good bit of code movement, but is mostly
refactor to store HTLC failure status in pending_htlcs in Channel.

Restore full_stack_target fuzzer

Add trace logs for Errs when handling peer messages

Merge pull request #123 from TheBlueMatt/2018-08-secp-0.10

Update to rust-secp256k1 v0.11 and rust-bitcoin v0.14

Merge pull request #125 from TheBlueMatt/2018-08-114-rebase

Rebase of #114

Update to rust-secp256k1 v0.11 and rust-bitcoin v0.14

Clean up excess \ns in route debug, use all debug encoders

Return channel_updates when failing a HTLC for fee/CLTV reasons

Add Display trait on network structs for routing bug track

Check amt_to_forward and outgoing_cltv_value in add_update_htlc

Merge pull request #111 from TheBlueMatt/2018-08-full-stack-target-upstream-1

 Expand full_stack_target somewhat

Add a full_stack_target sample test to avoid unintentional breakage

Disable push_msat in full_stack_target temporarily

Upgrade AFL to 0.4 with persistent mode fuzzing

Expand full_stack_target somewhat

Add simple utility to ChannelManager to force close all channels

Only enforce no-dup-payment_hash precondition on non-removed HTLCs

This fixes a panic found by fuzzer.

Merge pull request #122 from TheBlueMatt/2018-08-doc-usability-fixes

Simple log usability fix, add some missing docs

Remove implicit Record import requirement in logging macros

Add APIError docs

Merge pull request #118 from TheBlueMatt/2018-08-103-rebased

Rebase of #103

Merge pull request #117 from TheBlueMatt/2018-08-no-claim-fuzz-bug

Don't HTLC claim with no-possible-preimage in full_stack_target

Ignore unknown channel flags as required in BOLT 2

add 1% chnnel reserve while keeping min value

if 1000 is always used it will almost always fail test reserve < dust_limit check

Add checking locally derived reserve and dust limit

document optional channel constraints per spec

Add various checking when handling open and accept

Add `derive_minimum_depth()` and `derive_maximum_minimum_depth()` and hide
CONF_TARGET constant behind these functions.

Replace `DisconnectPeer` error with `HandleError` with `ErrorAction::SendErrorMessage`

Add push_msat to new outbound API

Also add APIMisuseError to be thrown to the API client

Add APIError enum

`APIMisuse` when paramters passed from the client is invalid
`FeeRateTooHigh` when a channel cannot be opened due to high feerate

Don't HTLC claim with no-possible-preimage in full_stack_target

Merge pull request #116 from TheBlueMatt/2018-08-peer_handler-trace

Add some trace logging in peer_handler

Add some trace logging in peer_handler

Default test logger to Trace to make error debugging easier

Add some useful delayed-formatting formatters to macro_logger

Remove some dead Logger code

Merge pull request #115 from TheBlueMatt/2018-08-channel-fuzz-fixes

Fixes from channelmanager fuzzing work

Fix PaymentReceived/sha256 handling in full_stack_target

Sha256 in fuzztarget was updated some time ago to use XOR instead
of the first byte of a real SHA256 run and somehow received and
sent payments got crossed in full_stack_target.

Handle duplicate funding transaction gracefully.

This can otherwise cause strange behavior, including a panic on
force_close_all_channels found by full_stack_target fuzzing.

Fix handle_funding_created bug/TODO

The fuzzer was able to tickle this

Fix bug in early-HTLC-fulfill handling

Caught by fuzzer. See new comments for more

Merge pull request #110 from TheBlueMatt/2018-08-router-crashes-2

Fix several fuzzer-found bugs

[Router] Remove channels from nodes when the channel is failed

Found by fuzzer

Handle only-path-overflows-fee in get_route and avoid PubKey::new()

Found by fuzzer

Fix fee_base_msat overflowing entire fee range in RouteHint

Err from get_route if the requested value is more than 21m BTC

This fixes a potential overflow panic.

Correct lowest_inbound_proportional_fee deduction in route finding

Found cause fuzzer was able to crash us if we don't

Fix multiply-with-overflow panic in router

Found by fuzzer

Merge pull request #91 from ariard/logging_interface

Logging interface

Logging interface

Implement error, warn, info, debug and trace macros, internally calling
an instance of Logger, and passing it to every main structures
Build-time or client-side filtering.
Issue #54

Merge pull request #107 from ariard/event_handle_error

Implement HandleError event with ErrorAction field

Implement HandleError event with ErrorAction field

Merge pull request #108 from TheBlueMatt/2018-08-fuzz-fixes

Asorted Fixes from full_stack_target work

Fix UpdateAddHTLC serialize vec capacity default

Stub out ChaCha20 non-HMAC encryption/decryption in fuzztarget

Fix fuzztarget insert_combine hash-collision panic

Fix panic on reorg through the funding_locked-generating block

We had a TODO to handle "lost confirmation" in block_connected,
which we recently did in block_disconnected (calling force_shutdown
in case we get too many blocks disconnected) but didn't handle the
case where we had a simple reorg through the block that resulted in
us generating a funding_locked.

Fix fuzztarget ChannelKeys generation

Fix types in Channel::funding_tx_confirmed_in

This should have no effect in a real system but was causing the
full_stack_target fuzz test to fail due to a block with a null hash
being disconnected.

Fix panic!() in block_connected on unfunded channels (fixes #42)

The new full_stack_target fuzzing stuff was able to find this bug,
which gives me a bit of hope for full_stack_target's utility.

Merge pull request #100 from TheBlueMatt/2018-07-htlc-balance-calc

Fix non-HTLC-inclusion balance calculation (mark II)

Merge pull request #102 from savil/hex-version

change hex version to 0.3, and leave out the minor bumps

change hex version to 0.3, and leave out the minor bumps

Fix non-HTLC-inclusion balance calculation (mark II)

Merge pull request #98 from TheBlueMatt/2018-07-invalid-funding

Handle invalid funding tx in channelmanager

Merge pull request #97 from TheBlueMatt/2018-07-no-useless-preimages

Stop adding remote's payment_preimages to our channel monitor

Merge pull request #96 from TheBlueMatt/2018-07-force-close-handling

Add pending-HTLC-failure to and unify force_shutdown() handling

Handle invalid funding tx in channelmanager

Stop adding remote's payment_preimages to our channel monitor

Some match -> if let replacement

Assert usize is 32 or 64 bits, as required in a TODO

Remove some excess mut's 1.22 complains about

Add pending-HTLC-failure to and unify force_shutdown() handling

This patch got a bit bigger than I'd intended, but primarily this
unifies force_shutdown() handling so all the callsites at least
look similar. It also fails backwards any HTLCs which were
completely pending (ie hadn't been committed to) and ensures we
broadcast our local commitment transaction. It also adds a
force_close_channel method to ChannelManager to expose
force-closure.

Remove some useless Vecs

Clean up forward_/claimable_htlcs handling and document consistency

Fix force_shutdown() bug where we lose knowledge of a preimage

In case we are in AwaitingRemoteRevoke and we go to claim an HTLC
(at which point we've already given up the money to the next hop in
the payment) we just write it to holding_cell_htlc_updates.
However, we should be ensuring we *also* write it to our
channel_monitor as we need to make sure we can still claim it after
a force_shutdown() or otherwise after hitting the chain.

Merge pull request #95 from savil/rm-bitcoin-util-hexbytes

replace use of bitcoin::utils::misc::hex_bytes with hex::decode

use hex::decode instead of extend_vec_from_hex

replace use of bitcoin::utils::misc::hex_bytes with hex::decode

as requested in #84 discussion
https://github.com/rust-bitcoin/rust-lightning/pull/84#discussion_r205508845

Merge pull request #94 from TheBlueMatt/2018-07-duplicate_hash

Handle duplicate payment_hash send_payment()s

Handle duplicate payment_hash send_payment()s

We don't bother doing anything smart, we just return an Err in
case we have a pending outbound HTLC with the payment_hash provided
for the send.

This doesn't resolve the TODO as users can still send duplicative
payments that have the same payment_hash as was already sent,
though the docs are updated and hopefully users do so on their own.

Merge pull request #93 from TheBlueMatt/2018-07-announce-bug

Properly calculate Channel::announce_publicly

Remove excess mut warned on in 1.22

Properly calculate Channel::announce_publicly

For some reason we were only setting "announce_publicly" when
Channel::new_from_req had announce_publicly set to true and the
open_channel message had the relevant flag set. However, this
resulted in us rejecting peers for sending unsolicited
announcement_signatures messages, despite them having indicated,
and us having accepted, their announce-bit-set open_channel.