Add simple utility to ChannelManager to force close all channels

Only enforce no-dup-payment_hash precondition on non-removed HTLCs

This fixes a panic found by fuzzer.

Merge pull request #122 from TheBlueMatt/2018-08-doc-usability-fixes

Simple log usability fix, add some missing docs

Remove implicit Record import requirement in logging macros

Add APIError docs

Merge pull request #118 from TheBlueMatt/2018-08-103-rebased

Rebase of #103

Merge pull request #117 from TheBlueMatt/2018-08-no-claim-fuzz-bug

Don't HTLC claim with no-possible-preimage in full_stack_target

Ignore unknown channel flags as required in BOLT 2

add 1% chnnel reserve while keeping min value

if 1000 is always used it will almost always fail test reserve < dust_limit check

Add checking locally derived reserve and dust limit

document optional channel constraints per spec

Add various checking when handling open and accept

Add `derive_minimum_depth()` and `derive_maximum_minimum_depth()` and hide
CONF_TARGET constant behind these functions.

Replace `DisconnectPeer` error with `HandleError` with `ErrorAction::SendErrorMessage`

Add push_msat to new outbound API

Also add APIMisuseError to be thrown to the API client

Add APIError enum

`APIMisuse` when paramters passed from the client is invalid
`FeeRateTooHigh` when a channel cannot be opened due to high feerate

Don't HTLC claim with no-possible-preimage in full_stack_target

Merge pull request #116 from TheBlueMatt/2018-08-peer_handler-trace

Add some trace logging in peer_handler

Add some trace logging in peer_handler

Default test logger to Trace to make error debugging easier

Add some useful delayed-formatting formatters to macro_logger

Remove some dead Logger code

Merge pull request #115 from TheBlueMatt/2018-08-channel-fuzz-fixes

Fixes from channelmanager fuzzing work

Fix PaymentReceived/sha256 handling in full_stack_target

Sha256 in fuzztarget was updated some time ago to use XOR instead
of the first byte of a real SHA256 run and somehow received and
sent payments got crossed in full_stack_target.

Handle duplicate funding transaction gracefully.

This can otherwise cause strange behavior, including a panic on
force_close_all_channels found by full_stack_target fuzzing.

Fix handle_funding_created bug/TODO

The fuzzer was able to tickle this

Fix bug in early-HTLC-fulfill handling

Caught by fuzzer. See new comments for more

Merge pull request #110 from TheBlueMatt/2018-08-router-crashes-2

Fix several fuzzer-found bugs

[Router] Remove channels from nodes when the channel is failed

Found by fuzzer

Handle only-path-overflows-fee in get_route and avoid PubKey::new()

Found by fuzzer

Fix fee_base_msat overflowing entire fee range in RouteHint

Err from get_route if the requested value is more than 21m BTC

This fixes a potential overflow panic.

Correct lowest_inbound_proportional_fee deduction in route finding

Found cause fuzzer was able to crash us if we don't

Fix multiply-with-overflow panic in router

Found by fuzzer

Merge pull request #91 from ariard/logging_interface

Logging interface

Logging interface

Implement error, warn, info, debug and trace macros, internally calling
an instance of Logger, and passing it to every main structures
Build-time or client-side filtering.
Issue #54

Merge pull request #107 from ariard/event_handle_error

Implement HandleError event with ErrorAction field

Implement HandleError event with ErrorAction field

Merge pull request #108 from TheBlueMatt/2018-08-fuzz-fixes

Asorted Fixes from full_stack_target work

Fix UpdateAddHTLC serialize vec capacity default

Stub out ChaCha20 non-HMAC encryption/decryption in fuzztarget

Fix fuzztarget insert_combine hash-collision panic

Fix panic on reorg through the funding_locked-generating block

We had a TODO to handle "lost confirmation" in block_connected,
which we recently did in block_disconnected (calling force_shutdown
in case we get too many blocks disconnected) but didn't handle the
case where we had a simple reorg through the block that resulted in
us generating a funding_locked.

Fix fuzztarget ChannelKeys generation

Fix types in Channel::funding_tx_confirmed_in

This should have no effect in a real system but was causing the
full_stack_target fuzz test to fail due to a block with a null hash
being disconnected.

Fix panic!() in block_connected on unfunded channels (fixes #42)

The new full_stack_target fuzzing stuff was able to find this bug,
which gives me a bit of hope for full_stack_target's utility.

Merge pull request #100 from TheBlueMatt/2018-07-htlc-balance-calc

Fix non-HTLC-inclusion balance calculation (mark II)

Merge pull request #102 from savil/hex-version

change hex version to 0.3, and leave out the minor bumps

change hex version to 0.3, and leave out the minor bumps

Fix non-HTLC-inclusion balance calculation (mark II)

Merge pull request #98 from TheBlueMatt/2018-07-invalid-funding

Handle invalid funding tx in channelmanager

Merge pull request #97 from TheBlueMatt/2018-07-no-useless-preimages

Stop adding remote's payment_preimages to our channel monitor

Merge pull request #96 from TheBlueMatt/2018-07-force-close-handling

Add pending-HTLC-failure to and unify force_shutdown() handling

Handle invalid funding tx in channelmanager

Stop adding remote's payment_preimages to our channel monitor

Some match -> if let replacement

Assert usize is 32 or 64 bits, as required in a TODO

Remove some excess mut's 1.22 complains about

Add pending-HTLC-failure to and unify force_shutdown() handling

This patch got a bit bigger than I'd intended, but primarily this
unifies force_shutdown() handling so all the callsites at least
look similar. It also fails backwards any HTLCs which were
completely pending (ie hadn't been committed to) and ensures we
broadcast our local commitment transaction. It also adds a
force_close_channel method to ChannelManager to expose
force-closure.

Remove some useless Vecs

Clean up forward_/claimable_htlcs handling and document consistency

Fix force_shutdown() bug where we lose knowledge of a preimage

In case we are in AwaitingRemoteRevoke and we go to claim an HTLC
(at which point we've already given up the money to the next hop in
the payment) we just write it to holding_cell_htlc_updates.
However, we should be ensuring we *also* write it to our
channel_monitor as we need to make sure we can still claim it after
a force_shutdown() or otherwise after hitting the chain.

Merge pull request #95 from savil/rm-bitcoin-util-hexbytes

replace use of bitcoin::utils::misc::hex_bytes with hex::decode

use hex::decode instead of extend_vec_from_hex

replace use of bitcoin::utils::misc::hex_bytes with hex::decode

as requested in #84 discussion
https://github.com/rust-bitcoin/rust-lightning/pull/84#discussion_r205508845

Merge pull request #94 from TheBlueMatt/2018-07-duplicate_hash

Handle duplicate payment_hash send_payment()s

Handle duplicate payment_hash send_payment()s

We don't bother doing anything smart, we just return an Err in
case we have a pending outbound HTLC with the payment_hash provided
for the send.

This doesn't resolve the TODO as users can still send duplicative
payments that have the same payment_hash as was already sent,
though the docs are updated and hopefully users do so on their own.

Merge pull request #93 from TheBlueMatt/2018-07-announce-bug

Properly calculate Channel::announce_publicly

Remove excess mut warned on in 1.22

Properly calculate Channel::announce_publicly

For some reason we were only setting "announce_publicly" when
Channel::new_from_req had announce_publicly set to true and the
open_channel message had the relevant flag set. However, this
resulted in us rejecting peers for sending unsolicited
announcement_signatures messages, despite them having indicated,
and us having accepted, their announce-bit-set open_channel.

Merge pull request #90 from TheBlueMatt/2018-07-percent-bump

Bump README percent usable

Fix some tab-space errors in #84

ACHIEVEMENT UNLOCKED

Merge pull request #84 from savil/sort_outputs

[RFC][Tx Sort] Implement sorting of inputs

Merge pull request #92 from savil/editorconfig-fix

fix editorconfig so it applies to every file

adding BIP69 test-cases

fix editorconfig so it applies to every file

Merge pull request #89 from TheBlueMatt/2018-07-route-fuzz-fix-1

Fix fee addition overflow in get_route

Fix fee addition overflow in get_route

Merge pull request #87 from savil/editorconfig

add .editorconfig to ensure we use tabs, not spaces

Merge pull request #88 from TheBlueMatt/2018-07-new-fuzzing

Add Router Fuzz Target

Only abort channel_target fuzz test on Err if ErrorAction says to

Add router_target to fuzzing which fuzzes router msgs + get_route

Catch fee overflow panic in get_route

Update NodeAnnouncement addr deserialization to check addr len.

This more aggressively checks the message contents are correct
before returning WrongLength so existing fuzz setup has an easier
time.

Ensure all msg deserialization can provide extra bytes, rename err

add .editorconfig to ensure we use tabs, not spaces

Merge pull request #86 from TheBlueMatt/2018-07-event-fixes

Fix one bug on event handling, clean up docs

Make claim_funds_INTERNAL private

Do not pass DisconnectPeer events upstream to the client

PendingHTLCsForwardable really should just be upstreamed.

This is just a comment/docs/function rename change

Merge pull request #85 from TheBlueMatt/2018-07-fees

Convert fee API to per_kw instead of per_vb

Convert fee API to per_kw instead of per_vb

This (a) cuts down a bit on some conversions, reducing chances for
bugsand (b) provides greater accuracy for clients.

Merge pull request #82 from TheBlueMatt/2018-07-send-initial

Initial fixes for payment sending

Fix HTLC exclusion balance calculation criteria

Half-ass some CLTV fixes for real channel creation

[RFC][Tx Sort] Implement sorting of inputs

Follows BIP69: https://github.com/bitcoin/bips/blob/master/bip-0069.mediawiki

1. Implements sorting of transactoin inputs.
- BIP says to use "reversed byte-order" for the `prev_hash`. I interpreted this as: little-endian.
- TODO need to add tests

2. Re: improve sorting of TxOut's script_pubkey to use lexicographic ordering, and not length.
From the test-cases i've included it seems that the current code already does lexicographic ordering (and not length based). Am i missing something?

Set associated_data to payment_hash

Merge pull request #83 from TheBlueMatt/2018-07-direct-route

Short-circuit router for an outbound specified direct channel

Short-circuit router for an outbound specified direct channel

Merge pull request #79 from TheBlueMatt/2018-07-chanmon-oom

Fix OOM crash in ChannelMonitor::deserialize found by AFL

Fix OOM crash in ChannelMonitor::deserialize found by AFL