Avoid needless on-chain channel failing for timing-out HTLCs

See new comments in code for more details

Onion error handling in the origin node

Add PaymentData to HTLCSource to reconstruct incoming_htlc_msat and cltv for each
node when an onion failure message is returned. These values are used to
check whether an updated chan_update is valid.

Refactor onion failure code and more error cases are handled

Some changes in comments and error messages.

Add channel_update_timestamp to RouteHop

to compare it agains the timestamp of channel_update coming with onion
failure message

Error handling in decoding onion

Add is_permanent field to ChannelClosed message and add NodeFailure
message

Merge pull request #206 from TheBlueMatt/2018-10-189-rebase

#189 rebased

Further simplify get_{inbound,outbound}_pending_htlc_stats

Split get_pending_htlc_stats

to get_inbound_pending_htlc_stats and get_outbound_pending_htlc_stats

Check that reserves are met or progress is made on commitment tx gen

Add test for channel_reserve with holding cell HTLCs counted

Add simple test for channel_reserve/max_htlc_value_in_flight_msat

Break up test channel creation to specify values explicitly

Add a ChannelValueStat getter to simplify tests

Document channel reserve behavior a bit better

Fix checking of channel_reserve values

Merge pull request #196 from yuntai/shutdown-apify

Raise APIError from close_channel

add a ChannelUnavailable error

raise APIError from close_channel

Merge pull request #201 from TheBlueMatt/2018-09-channelerror-1

Introduce a Channel-specific Err type and return it in a few places

Use new ChannelError in get_channel_announcement

Use new ChannelError in channel_reestablish handling

Use new ChannelError in HTLC-removal msgs, filling out more handling

Use new ChannelError in funding_locked, filling out more handling

Use new ChannelError type in accept_channel

Introduce a Channel-specific Err type and return it in a few places

This is way simpler than writing out the whole ErrorAction mess and
we can just convert it as appropriate in ChannelManager.

Merge pull request #199 from TheBlueMatt/2018-09-184-fixed-monitor

Fix simple to_local revoked output claim and rebase #184

Merge pull request #200 from TheBlueMatt/2018-09-187-tweaks

#187 rebased + squashed

Macro-out checking a tx validly spends another (and add one more)

Test htlc outputs single tx claim due to timeout case

Test htlc outputs shared tx claim case

Fix and test simple remote-revoked-commitment-output claiming

Add 2-inbound-in-flight update_fee test (that we wouldn't generate)

Annotate test_update_fee to make events more clear

Add test for out-of-order update_fee commitment_signed/RAA

Add test for send_commitment pending non-committed feerate updates

Note that update_fee is likely not gonna be our final API

Add update_fee tests

Expose updating fee on an individual channel

Implement update_fee handling

Macro out one-monitor-added check in network tests (thanks @yuntai)

Originally suggested by Yuntai Kyong <yuntai.kyong@gmail.com> in
some new tests.

Macro out getting payment_preimage/hash in network tests

Merge pull request #197 from TheBlueMatt/master

Fix fuzztarget failures

Avoid double-panic in ChannelManager when tests fail

Handle temporary_channel_id collision in fuzztarget mode

Narrow check_spend_remote_htlc input/output count check.

This fixes a crash found by fuzztester where a 0-output tx causes a
[] panic (though this shouldn't happen in the real-world as
0-output txn should never be able to be mined).

Merge pull request #193 from SWvheerden/Bolt2-specs-errors-of-closing-messages-

Added test for testing sciptpubkey of closing message per bolt 2 spec

Merge pull request #194 from TheBlueMatt/2018-09-doc-cleanup

Make docs look nicer by adding explicit spacing

Added test for testing sciptpubkey of closing message per bolt 2 spec

Make docs look nicer by adding explicit spacing

Merge pull request #191 from TheBlueMatt/2018-09-chanmon-ser-framework

Migrate ChannelMonitor writing/reading to new serialization framework

Bump version to 0.0.5 to get new docs out

Switch to -O1 in dev as we have long-running tests and O1 is cheap

Migrate ChannelMonitor serialization to new ser framework(ish)

Sadly we can't straight up use the new serialization framework as
we have a few different serialization variants, but that's OK, it
looks identical and is just missing the Writeable impl

Move ChannelMonitor deserialization to new ser framework

Simplify DecodeError enum by removing some useless distinctions

Merge pull request #192 from TheBlueMatt/2018-09-docs-docs-docs

Add module and all-pub-things docs and deny missing docs

Add module and all-pub-things docs and deny missing docs

Document ConfirmationTarget a little bit (closes #101)

Document all the fields in Errors

Make message fields pub(crate) and hide a few internal fns

Log peer features in peer_handler (and check for all req bits)

Remove fuzz channel_target.

It has bitrotted a lot and doesn't really make sense given all the
precondition enforcement that is in channelmanager, sadly.

Merge pull request #186 from TheBlueMatt/2018-09-ser-rework-2

Drop old serialization framework

Merge pull request #185 from TheBlueMatt/2018-09-ser-rework

Serialization Framework Tweaks

Drop MsgEncodable in favor of default fns on Writeable

Fix peer_handler message serialization

Fixes a bug introduced in 3e89106163b941aa4dc4ff92bdb484b7bbcf50c4
where messages were being encoded with their size instead of their
type.
Also utilizes the new size_hinting in peer_handler

Make Writeable::write typed instead of Writeable

This lets us add some untyped default functions to the trait

Utilize Writer size hinting in message fuzz targets and check them

Stop checking size > 64KB in serialization

This removes a bunch of potentially new error handling in writers
and the checks were kinda useless anyway - in normal operation we
unwrap()ed anyway, and we're gonna want to use the serializtion
framework for ChannelMonitor/ChannelManager serialization, which
may generate things larger than 64KB anyway.

Add size_hint in ser and call size_hint in all message serializers

Remove MsgDecodable and most MsgEncodable impls

Split out Vec<u8> and Vec<Signature> ser impls cause there's 2

Should resolve any performance issues with Vec<u8> serialization.

Remove uses of MsgDecodable from ChannelManager

Simplify serialization a bit by removing the useless newtypes

Expose (de)serialziers as we'll need them and I don't like warnings

Merge pull request #178 from TheBlueMatt/2018-09-channel_reestablish

Handle peer disconnect tracking/channel_reestablish

Constify 2**48-1 and add some additional comments in Channel

Add a simple channel_reestablish test

Track peer-disconnection in Channel and handle channel_reestablish

Add a Disconnected ChannelState and check/handle it everywhere

Setting/removing it comes next

Add channel_reestablish + peer_connected events to channel handler

Clarify update_fail/fulfill_htlc holding cell allowed Errs

Specifically, there really should be no Errs, but in case there is
some case where duplicate HTLC removes are possible, return
IgnoreError and debug_assert to see if fuzzing can find them.

Drop channels on disconnection if we haven't funded them yet

Remove/fail uncommitted HTLCs upon peer disconnection

Merge pull request #179 from TheBlueMatt/2018-09-pre-178-cleanups

Pre-reconnect ChannelManager test cleanups

Merge pull request #183 from yuntai/201809-unwrap-getopenchannel

unwrap channel.get_open_channel

unwrap channel.get_open_channel

Split claim and fail payment functions to be able to skip one hop

Move all-events check into framework instead of per-test

Split up send_commitment into a const and non-const version

Remove unused import and uneccessary mut

Merge pull request #180 from TheBlueMatt/2018-09-htlc-tx-unwrap-fix

Ignore HTLC txn we dont know how to claim instead of unwrap()ing and Do not fail-backwards LocalAnnounced HTLCs upon force-close.

Tweak + extend full_stack_target sample to incl HTLC tx broadcasts

Test that we do not fail-backwards HTLCs that the remote on-chained

Make the commitment signed dance a macro in ChannelManager tests

Do not fail-backwards LocalAnnounced HTLCs upon force-close.

This is completely unsafe as we have provided the remote side with
a commitment_signed which they can broadcast, including the HTLC
transaction, and then could claim it on-chain after we've failed it
backwards!

Ignore HTLC txn we dont know how to claim instead of unwrap()ing

This fixes a crash introduced in 3e149b1fb6624eef99b055bde772842f36
and introduces a test which will tickle the bug.

Merge pull request #177 from TheBlueMatt/2018-09-163-cleanups

Optimize some ChannelMonitor stuff after #163

Clean up and clarify tx broadcast checks in channelmonitor tests

This effecitlvey reverts the refactors in 383bd90a481bc146b3a3b1d8,
however keeps the actully new test code.

It also writes documentation for the super confusing tx test func
and makes it a bit less permissive.