Add assertions for in-order block [dis]connection in ChannelManager
[rust-lightning] / lightning / src / ln / reorg_tests.rs
1 // This file is Copyright its original authors, visible in version control
2 // history.
3 //
4 // This file is licensed under the Apache License, Version 2.0 <LICENSE-APACHE
5 // or http://www.apache.org/licenses/LICENSE-2.0> or the MIT license
6 // <LICENSE-MIT or http://opensource.org/licenses/MIT>, at your option.
7 // You may not use this file except in accordance with one or both of these
8 // licenses.
9
10 //! Further functional tests which test blockchain reorganizations.
11
12 use chain::channelmonitor::{ANTI_REORG_DELAY, ChannelMonitor};
13 use chain::Watch;
14 use ln::channelmanager::{ChannelManager, ChannelManagerReadArgs};
15 use ln::features::InitFeatures;
16 use ln::msgs::{ChannelMessageHandler, ErrorAction, HTLCFailChannelUpdate};
17 use util::config::UserConfig;
18 use util::enforcing_trait_impls::EnforcingSigner;
19 use util::events::{Event, EventsProvider, MessageSendEvent, MessageSendEventsProvider};
20 use util::test_utils;
21 use util::ser::{ReadableArgs, Writeable};
22
23 use bitcoin::blockdata::block::{Block, BlockHeader};
24 use bitcoin::blockdata::constants::genesis_block;
25 use bitcoin::hash_types::BlockHash;
26 use bitcoin::network::constants::Network;
27
28 use std::collections::HashMap;
29 use std::mem;
30
31 use ln::functional_test_utils::*;
32
33 fn do_test_onchain_htlc_reorg(local_commitment: bool, claim: bool) {
34         // Our on-chain HTLC-claim learning has a few properties worth testing:
35         //  * If an upstream HTLC is claimed with a preimage (both against our own commitment
36         //    transaction our counterparty's), we claim it backwards immediately.
37         //  * If an upstream HTLC is claimed with a timeout, we delay ANTI_REORG_DELAY before failing
38         //    it backwards to ensure our counterparty can't claim with a preimage in a reorg.
39         //
40         // Here we test both properties in any combination based on the two bools passed in as
41         // arguments.
42         //
43         // If local_commitment is set, we first broadcast a local commitment containing an offered HTLC
44         // and an HTLC-Timeout tx, otherwise we broadcast a remote commitment containing a received
45         // HTLC and a local HTLC-Timeout tx spending it.
46         //
47         // We then either allow these transactions to confirm (if !claim) or we wait until one block
48         // before they otherwise would and reorg them out, confirming an HTLC-Success tx instead.
49         let chanmon_cfgs = create_chanmon_cfgs(3);
50         let node_cfgs = create_node_cfgs(3, &chanmon_cfgs);
51         let node_chanmgrs = create_node_chanmgrs(3, &node_cfgs, &[None, None, None]);
52         let nodes = create_network(3, &node_cfgs, &node_chanmgrs);
53
54         create_announced_chan_between_nodes(&nodes, 0, 1, InitFeatures::known(), InitFeatures::known());
55         let chan_2 = create_announced_chan_between_nodes(&nodes, 1, 2, InitFeatures::known(), InitFeatures::known());
56
57         let (our_payment_preimage, our_payment_hash) = route_payment(&nodes[0], &[&nodes[1], &nodes[2]], 1000000);
58
59         // Provide preimage to node 2 by claiming payment
60         nodes[2].node.claim_funds(our_payment_preimage, &None, 1000000);
61         check_added_monitors!(nodes[2], 1);
62         get_htlc_update_msgs!(nodes[2], nodes[1].node.get_our_node_id());
63
64         let header = BlockHeader { version: 0x2000_0000, prev_blockhash: Default::default(), merkle_root: Default::default(), time: 42, bits: 42, nonce: 42 };
65         let claim_txn = if local_commitment {
66                 // Broadcast node 1 commitment txn to broadcast the HTLC-Timeout
67                 let node_1_commitment_txn = get_local_commitment_txn!(nodes[1], chan_2.2);
68                 assert_eq!(node_1_commitment_txn.len(), 2); // 1 local commitment tx, 1 Outbound HTLC-Timeout
69                 assert_eq!(node_1_commitment_txn[0].output.len(), 2); // to-self and Offered HTLC (to-remote/to-node-3 is dust)
70                 check_spends!(node_1_commitment_txn[0], chan_2.3);
71                 check_spends!(node_1_commitment_txn[1], node_1_commitment_txn[0]);
72
73                 // Give node 2 node 1's transactions and get its response (claiming the HTLC instead).
74                 connect_block(&nodes[2], &Block { header, txdata: node_1_commitment_txn.clone() }, CHAN_CONFIRM_DEPTH + 1);
75                 check_added_monitors!(nodes[2], 1);
76                 check_closed_broadcast!(nodes[2], false); // We should get a BroadcastChannelUpdate (and *only* a BroadcstChannelUpdate)
77                 let node_2_commitment_txn = nodes[2].tx_broadcaster.txn_broadcasted.lock().unwrap();
78                 assert_eq!(node_2_commitment_txn.len(), 3); // ChannelMonitor: 1 offered HTLC-Claim, ChannelManger: 1 local commitment tx, 1 Received HTLC-Claim
79                 assert_eq!(node_2_commitment_txn[1].output.len(), 2); // to-remote and Received HTLC (to-self is dust)
80                 check_spends!(node_2_commitment_txn[1], chan_2.3);
81                 check_spends!(node_2_commitment_txn[2], node_2_commitment_txn[1]);
82                 check_spends!(node_2_commitment_txn[0], node_1_commitment_txn[0]);
83
84                 // Confirm node 1's commitment txn (and HTLC-Timeout) on node 1
85                 connect_block(&nodes[1], &Block { header, txdata: node_1_commitment_txn.clone() }, CHAN_CONFIRM_DEPTH + 1);
86
87                 // ...but return node 1's commitment tx in case claim is set and we're preparing to reorg
88                 vec![node_1_commitment_txn[0].clone(), node_2_commitment_txn[0].clone()]
89         } else {
90                 // Broadcast node 2 commitment txn
91                 let node_2_commitment_txn = get_local_commitment_txn!(nodes[2], chan_2.2);
92                 assert_eq!(node_2_commitment_txn.len(), 2); // 1 local commitment tx, 1 Received HTLC-Claim
93                 assert_eq!(node_2_commitment_txn[0].output.len(), 2); // to-remote and Received HTLC (to-self is dust)
94                 check_spends!(node_2_commitment_txn[0], chan_2.3);
95                 check_spends!(node_2_commitment_txn[1], node_2_commitment_txn[0]);
96
97                 // Give node 1 node 2's commitment transaction and get its response (timing the HTLC out)
98                 connect_block(&nodes[1], &Block { header, txdata: vec![node_2_commitment_txn[0].clone()] }, CHAN_CONFIRM_DEPTH + 1);
99                 let node_1_commitment_txn = nodes[1].tx_broadcaster.txn_broadcasted.lock().unwrap();
100                 assert_eq!(node_1_commitment_txn.len(), 3); // ChannelMonitor: 1 offered HTLC-Timeout, ChannelManger: 1 local commitment tx, 1 Offered HTLC-Timeout
101                 assert_eq!(node_1_commitment_txn[1].output.len(), 2); // to-local and Offered HTLC (to-remote is dust)
102                 check_spends!(node_1_commitment_txn[1], chan_2.3);
103                 check_spends!(node_1_commitment_txn[2], node_1_commitment_txn[1]);
104                 check_spends!(node_1_commitment_txn[0], node_2_commitment_txn[0]);
105
106                 // Confirm node 2's commitment txn (and node 1's HTLC-Timeout) on node 1
107                 connect_block(&nodes[1], &Block { header, txdata: vec![node_2_commitment_txn[0].clone(), node_1_commitment_txn[0].clone()] }, CHAN_CONFIRM_DEPTH + 1);
108                 // ...but return node 2's commitment tx (and claim) in case claim is set and we're preparing to reorg
109                 node_2_commitment_txn
110         };
111         check_added_monitors!(nodes[1], 1);
112         check_closed_broadcast!(nodes[1], false); // We should get a BroadcastChannelUpdate (and *only* a BroadcstChannelUpdate)
113         let mut block = Block { header, txdata: vec![] };
114         let mut blocks = Vec::new();
115         blocks.push(block.clone());
116         // At CHAN_CONFIRM_DEPTH + 1 we have a confirmation count of 1, so CHAN_CONFIRM_DEPTH +
117         // ANTI_REORG_DELAY - 1 will give us a confirmation count of ANTI_REORG_DELAY - 1.
118         for i in CHAN_CONFIRM_DEPTH + 2..CHAN_CONFIRM_DEPTH + ANTI_REORG_DELAY - 1 {
119                 block = Block {
120                         header: BlockHeader { version: 0x20000000, prev_blockhash: block.block_hash(), merkle_root: Default::default(), time: 42, bits: 42, nonce: 42 },
121                         txdata: vec![],
122                 };
123                 connect_block(&nodes[1], &block, i);
124                 blocks.push(block.clone());
125         }
126         check_added_monitors!(nodes[1], 0);
127         assert_eq!(nodes[1].node.get_and_clear_pending_events().len(), 0);
128
129         if claim {
130                 // Now reorg back to CHAN_CONFIRM_DEPTH and confirm node 2's broadcasted transactions:
131                 for (height, block) in (CHAN_CONFIRM_DEPTH + 1..CHAN_CONFIRM_DEPTH + ANTI_REORG_DELAY - 1).zip(blocks.iter()).rev() {
132                         disconnect_block(&nodes[1], &block.header, height);
133                 }
134
135                 block = Block {
136                         header: BlockHeader { version: 0x20000000, prev_blockhash: Default::default(), merkle_root: Default::default(), time: 42, bits: 42, nonce: 42 },
137                         txdata: claim_txn,
138                 };
139                 connect_block(&nodes[1], &block, CHAN_CONFIRM_DEPTH + 1);
140
141                 // ChannelManager only polls chain::Watch::release_pending_monitor_events when we
142                 // probe it for events, so we probe non-message events here (which should still end up empty):
143                 assert_eq!(nodes[1].node.get_and_clear_pending_events().len(), 0);
144         } else {
145                 // Confirm the timeout tx and check that we fail the HTLC backwards
146                 block = Block {
147                         header: BlockHeader { version: 0x20000000, prev_blockhash: block.block_hash(), merkle_root: Default::default(), time: 42, bits: 42, nonce: 42 },
148                         txdata: vec![],
149                 };
150                 connect_block(&nodes[1], &block, CHAN_CONFIRM_DEPTH + ANTI_REORG_DELAY);
151                 expect_pending_htlcs_forwardable!(nodes[1]);
152         }
153
154         check_added_monitors!(nodes[1], 1);
155         // Which should result in an immediate claim/fail of the HTLC:
156         let htlc_updates = get_htlc_update_msgs!(nodes[1], nodes[0].node.get_our_node_id());
157         if claim {
158                 assert_eq!(htlc_updates.update_fulfill_htlcs.len(), 1);
159                 nodes[0].node.handle_update_fulfill_htlc(&nodes[1].node.get_our_node_id(), &htlc_updates.update_fulfill_htlcs[0]);
160         } else {
161                 assert_eq!(htlc_updates.update_fail_htlcs.len(), 1);
162                 nodes[0].node.handle_update_fail_htlc(&nodes[1].node.get_our_node_id(), &htlc_updates.update_fail_htlcs[0]);
163         }
164         commitment_signed_dance!(nodes[0], nodes[1], htlc_updates.commitment_signed, false, true);
165         if claim {
166                 expect_payment_sent!(nodes[0], our_payment_preimage);
167         } else {
168                 let events = nodes[0].node.get_and_clear_pending_msg_events();
169                 assert_eq!(events.len(), 1);
170                 if let MessageSendEvent::PaymentFailureNetworkUpdate { update: HTLCFailChannelUpdate::ChannelClosed { ref is_permanent, .. } } = events[0] {
171                         assert!(is_permanent);
172                 } else { panic!("Unexpected event!"); }
173                 expect_payment_failed!(nodes[0], our_payment_hash, false);
174         }
175 }
176
177 #[test]
178 fn test_onchain_htlc_claim_reorg_local_commitment() {
179         do_test_onchain_htlc_reorg(true, true);
180 }
181 #[test]
182 fn test_onchain_htlc_timeout_delay_local_commitment() {
183         do_test_onchain_htlc_reorg(true, false);
184 }
185 #[test]
186 fn test_onchain_htlc_claim_reorg_remote_commitment() {
187         do_test_onchain_htlc_reorg(false, true);
188 }
189 #[test]
190 fn test_onchain_htlc_timeout_delay_remote_commitment() {
191         do_test_onchain_htlc_reorg(false, false);
192 }
193
194 fn do_test_unconf_chan(reload_node: bool, reorg_after_reload: bool) {
195         // After creating a chan between nodes, we disconnect all blocks previously seen to force a
196         // channel close on nodes[0] side. We also use this to provide very basic testing of logic
197         // around freeing background events which store monitor updates during block_[dis]connected.
198         let chanmon_cfgs = create_chanmon_cfgs(2);
199         let node_cfgs = create_node_cfgs(2, &chanmon_cfgs);
200         let node_chanmgrs = create_node_chanmgrs(2, &node_cfgs, &[None, None]);
201         let persister: test_utils::TestPersister;
202         let new_chain_monitor: test_utils::TestChainMonitor;
203         let nodes_0_deserialized: ChannelManager<EnforcingSigner, &test_utils::TestChainMonitor, &test_utils::TestBroadcaster, &test_utils::TestKeysInterface, &test_utils::TestFeeEstimator, &test_utils::TestLogger>;
204         let mut nodes = create_network(2, &node_cfgs, &node_chanmgrs);
205         let chan_id = create_announced_chan_between_nodes(&nodes, 0, 1, InitFeatures::known(), InitFeatures::known()).2;
206
207         let channel_state = nodes[0].node.channel_state.lock().unwrap();
208         assert_eq!(channel_state.by_id.len(), 1);
209         assert_eq!(channel_state.short_to_id.len(), 1);
210         mem::drop(channel_state);
211
212         let mut headers = Vec::new();
213         let mut header = BlockHeader { version: 0x20000000, prev_blockhash: genesis_block(Network::Testnet).header.block_hash(), merkle_root: Default::default(), time: 42, bits: 42, nonce: 42 };
214         headers.push(header.clone());
215         for _i in 2..100 {
216                 header = BlockHeader { version: 0x20000000, prev_blockhash: header.block_hash(), merkle_root: Default::default(), time: 42, bits: 42, nonce: 42 };
217                 headers.push(header.clone());
218         }
219         if !reorg_after_reload {
220                 while !headers.is_empty() {
221                         nodes[0].node.block_disconnected(&headers.pop().unwrap());
222                 }
223                 check_closed_broadcast!(nodes[0], false);
224                 {
225                         let channel_state = nodes[0].node.channel_state.lock().unwrap();
226                         assert_eq!(channel_state.by_id.len(), 0);
227                         assert_eq!(channel_state.short_to_id.len(), 0);
228                 }
229         }
230
231         if reload_node {
232                 // Since we currently have a background event pending, it's good to test that we survive a
233                 // serialization roundtrip. Further, this tests the somewhat awkward edge-case of dropping
234                 // the Channel object from the ChannelManager, but still having a monitor event pending for
235                 // it when we go to deserialize, and then use the ChannelManager.
236                 let nodes_0_serialized = nodes[0].node.encode();
237                 let mut chan_0_monitor_serialized = test_utils::TestVecWriter(Vec::new());
238                 nodes[0].chain_monitor.chain_monitor.monitors.read().unwrap().iter().next().unwrap().1.write(&mut chan_0_monitor_serialized).unwrap();
239
240                 persister = test_utils::TestPersister::new();
241                 let keys_manager = &chanmon_cfgs[0].keys_manager;
242                 new_chain_monitor = test_utils::TestChainMonitor::new(Some(nodes[0].chain_source), nodes[0].tx_broadcaster.clone(), nodes[0].logger, node_cfgs[0].fee_estimator, &persister, keys_manager);
243                 nodes[0].chain_monitor = &new_chain_monitor;
244                 let mut chan_0_monitor_read = &chan_0_monitor_serialized.0[..];
245                 let (_, mut chan_0_monitor) = <(BlockHash, ChannelMonitor<EnforcingSigner>)>::read(
246                         &mut chan_0_monitor_read, keys_manager).unwrap();
247                 assert!(chan_0_monitor_read.is_empty());
248
249                 let mut nodes_0_read = &nodes_0_serialized[..];
250                 let config = UserConfig::default();
251                 nodes_0_deserialized = {
252                         let mut channel_monitors = HashMap::new();
253                         channel_monitors.insert(chan_0_monitor.get_funding_txo().0, &mut chan_0_monitor);
254                         <(BlockHash, ChannelManager<EnforcingSigner, &test_utils::TestChainMonitor, &test_utils::TestBroadcaster,
255                           &test_utils::TestKeysInterface, &test_utils::TestFeeEstimator, &test_utils::TestLogger>)>::read(
256                                 &mut nodes_0_read, ChannelManagerReadArgs {
257                                         default_config: config,
258                                         keys_manager,
259                                         fee_estimator: node_cfgs[0].fee_estimator,
260                                         chain_monitor: nodes[0].chain_monitor,
261                                         tx_broadcaster: nodes[0].tx_broadcaster.clone(),
262                                         logger: nodes[0].logger,
263                                         channel_monitors,
264                         }).unwrap().1
265                 };
266                 nodes[0].node = &nodes_0_deserialized;
267                 assert!(nodes_0_read.is_empty());
268
269                 nodes[0].chain_monitor.watch_channel(chan_0_monitor.get_funding_txo().0.clone(), chan_0_monitor).unwrap();
270                 check_added_monitors!(nodes[0], 1);
271         }
272
273         if reorg_after_reload {
274                 while !headers.is_empty() {
275                         nodes[0].node.block_disconnected(&headers.pop().unwrap());
276                 }
277                 check_closed_broadcast!(nodes[0], false);
278                 {
279                         let channel_state = nodes[0].node.channel_state.lock().unwrap();
280                         assert_eq!(channel_state.by_id.len(), 0);
281                         assert_eq!(channel_state.short_to_id.len(), 0);
282                 }
283         }
284
285         // With expect_channel_force_closed set the TestChainMonitor will enforce that the next update
286         // is a ChannelForcClosed on the right channel with should_broadcast set.
287         *nodes[0].chain_monitor.expect_channel_force_closed.lock().unwrap() = Some((chan_id, true));
288         nodes[0].node.test_process_background_events(); // Required to free the pending background monitor update
289         check_added_monitors!(nodes[0], 1);
290 }
291
292 #[test]
293 fn test_unconf_chan() {
294         do_test_unconf_chan(true, true);
295         do_test_unconf_chan(false, true);
296         do_test_unconf_chan(true, false);
297         do_test_unconf_chan(false, false);
298 }
299
300 #[test]
301 fn test_set_outpoints_partial_claiming() {
302         // - remote party claim tx, new bump tx
303         // - disconnect remote claiming tx, new bump
304         // - disconnect tx, see no tx anymore
305         let chanmon_cfgs = create_chanmon_cfgs(2);
306         let node_cfgs = create_node_cfgs(2, &chanmon_cfgs);
307         let node_chanmgrs = create_node_chanmgrs(2, &node_cfgs, &[None, None]);
308         let nodes = create_network(2, &node_cfgs, &node_chanmgrs);
309
310         let chan = create_announced_chan_between_nodes_with_value(&nodes, 0, 1, 1000000, 59000000, InitFeatures::known(), InitFeatures::known());
311         let payment_preimage_1 = route_payment(&nodes[1], &vec!(&nodes[0])[..], 3_000_000).0;
312         let payment_preimage_2 = route_payment(&nodes[1], &vec!(&nodes[0])[..], 3_000_000).0;
313
314         // Remote commitment txn with 4 outputs: to_local, to_remote, 2 outgoing HTLC
315         let remote_txn = get_local_commitment_txn!(nodes[1], chan.2);
316         assert_eq!(remote_txn.len(), 3);
317         assert_eq!(remote_txn[0].output.len(), 4);
318         assert_eq!(remote_txn[0].input.len(), 1);
319         assert_eq!(remote_txn[0].input[0].previous_output.txid, chan.3.txid());
320         check_spends!(remote_txn[1], remote_txn[0]);
321         check_spends!(remote_txn[2], remote_txn[0]);
322
323         // Connect blocks on node A to advance height towards TEST_FINAL_CLTV
324         let block_hash_100 = connect_blocks(&nodes[1], 100, 0, false, genesis_block(Network::Testnet).header.block_hash());
325         // Provide node A with both preimage
326         nodes[0].node.claim_funds(payment_preimage_1, &None, 3_000_000);
327         nodes[0].node.claim_funds(payment_preimage_2, &None, 3_000_000);
328         check_added_monitors!(nodes[0], 2);
329         nodes[0].node.get_and_clear_pending_events();
330         nodes[0].node.get_and_clear_pending_msg_events();
331
332         // Connect blocks on node A commitment transaction
333         let header_101 = BlockHeader { version: 0x20000000, prev_blockhash: block_hash_100, merkle_root: Default::default(), time: 42, bits: 42, nonce: 42 };
334         connect_block(&nodes[0], &Block { header: header_101, txdata: vec![remote_txn[0].clone()] }, 101);
335         check_closed_broadcast!(nodes[0], false);
336         check_added_monitors!(nodes[0], 1);
337         // Verify node A broadcast tx claiming both HTLCs
338         {
339                 let mut node_txn = nodes[0].tx_broadcaster.txn_broadcasted.lock().unwrap();
340                 // ChannelMonitor: claim tx, ChannelManager: local commitment tx + HTLC-Success*2
341                 assert_eq!(node_txn.len(), 4);
342                 check_spends!(node_txn[0], remote_txn[0]);
343                 check_spends!(node_txn[1], chan.3);
344                 check_spends!(node_txn[2], node_txn[1]);
345                 check_spends!(node_txn[3], node_txn[1]);
346                 assert_eq!(node_txn[0].input.len(), 2);
347                 node_txn.clear();
348         }
349
350         // Connect blocks on node B
351         connect_blocks(&nodes[1], 135, 0, false, Default::default());
352         check_closed_broadcast!(nodes[1], false);
353         check_added_monitors!(nodes[1], 1);
354         // Verify node B broadcast 2 HTLC-timeout txn
355         let partial_claim_tx = {
356                 let node_txn = nodes[1].tx_broadcaster.txn_broadcasted.lock().unwrap();
357                 assert_eq!(node_txn.len(), 3);
358                 check_spends!(node_txn[1], node_txn[0]);
359                 check_spends!(node_txn[2], node_txn[0]);
360                 assert_eq!(node_txn[1].input.len(), 1);
361                 assert_eq!(node_txn[2].input.len(), 1);
362                 node_txn[1].clone()
363         };
364
365         // Broadcast partial claim on node A, should regenerate a claiming tx with HTLC dropped
366         let header_102 = BlockHeader { version: 0x20000000, prev_blockhash: header_101.block_hash(), merkle_root: Default::default(), time: 42, bits: 42, nonce: 42 };
367         connect_block(&nodes[0], &Block { header: header_102, txdata: vec![partial_claim_tx.clone()] }, 102);
368         {
369                 let mut node_txn = nodes[0].tx_broadcaster.txn_broadcasted.lock().unwrap();
370                 assert_eq!(node_txn.len(), 1);
371                 check_spends!(node_txn[0], remote_txn[0]);
372                 assert_eq!(node_txn[0].input.len(), 1); //dropped HTLC
373                 node_txn.clear();
374         }
375         nodes[0].node.get_and_clear_pending_msg_events();
376
377         // Disconnect last block on node A, should regenerate a claiming tx with HTLC dropped
378         disconnect_block(&nodes[0], &header_102, 102);
379         {
380                 let mut node_txn = nodes[0].tx_broadcaster.txn_broadcasted.lock().unwrap();
381                 assert_eq!(node_txn.len(), 1);
382                 check_spends!(node_txn[0], remote_txn[0]);
383                 assert_eq!(node_txn[0].input.len(), 2); //resurrected HTLC
384                 node_txn.clear();
385         }
386
387         //// Disconnect one more block and then reconnect multiple no transaction should be generated
388         disconnect_block(&nodes[0], &header_101, 101);
389         connect_blocks(&nodes[1], 15, 101, false, block_hash_100);
390         {
391                 let mut node_txn = nodes[0].tx_broadcaster.txn_broadcasted.lock().unwrap();
392                 assert_eq!(node_txn.len(), 0);
393                 node_txn.clear();
394         }
395 }