_ Git - rapid-gossip-sync-server/blob - src/config.rs

   1 use crate::hex_utils;
   2
   3 use std::convert::TryInto;
   4 use std::env;
   5 use std::io::Cursor;
   6 use std::net::{SocketAddr, ToSocketAddrs};
   7
   8 use bitcoin::Network;
   9 use bitcoin::hashes::hex::FromHex;
  10 use bitcoin::secp256k1::PublicKey;
  11 use futures::stream::{FuturesUnordered, StreamExt};
  12 use lightning::ln::msgs::ChannelAnnouncement;
  13 use lightning::util::ser::Readable;
  14 use lightning_block_sync::http::HttpEndpoint;
  15 use tokio_postgres::Config;
  16
  17 pub(crate) const SCHEMA_VERSION: i32 = 8;
  18 pub(crate) const SNAPSHOT_CALCULATION_INTERVAL: u32 = 3600 * 24; // every 24 hours, in seconds
  19 pub(crate) const DOWNLOAD_NEW_GOSSIP: bool = true;
  20
  21 pub(crate) fn network() -> Network {
  22         let network = env::var("RAPID_GOSSIP_SYNC_SERVER_NETWORK").unwrap_or("Bitcoin".to_string());
  23         match network.as_str() {
  24                 "Bitcoin" => Network::Bitcoin,
  25                 "Testnet" => Network::Testnet,
  26                 "Signet" => Network::Signet,
  27                 "Regtest" => Network::Regtest,
  28                 _ => panic!("Invalid network"),
  29         }
  30 }
  31
  32 pub(crate) fn network_graph_cache_path() -> &'static str {
  33         "./res/network_graph.bin"
  34 }
  35
  36 pub(crate) fn db_connection_config() -> Config {
  37         let mut config = Config::new();
  38         let host = env::var("RAPID_GOSSIP_SYNC_SERVER_DB_HOST").unwrap_or("localhost".to_string());
  39         let user = env::var("RAPID_GOSSIP_SYNC_SERVER_DB_USER").unwrap_or("alice".to_string());
  40         let db = env::var("RAPID_GOSSIP_SYNC_SERVER_DB_NAME").unwrap_or("ln_graph_sync".to_string());
  41         config.host(&host);
  42         config.user(&user);
  43         config.dbname(&db);
  44         if let Ok(password) = env::var("RAPID_GOSSIP_SYNC_SERVER_DB_PASSWORD") {
  45                 config.password(&password);
  46         }
  47         config
  48 }
  49
  50 pub(crate) fn bitcoin_rest_endpoint() -> HttpEndpoint {
  51         let host = env::var("BITCOIN_REST_DOMAIN").unwrap_or("127.0.0.1".to_string());
  52         let port = env::var("BITCOIN_REST_PORT")
  53                 .unwrap_or("8332".to_string())
  54                 .parse::<u16>()
  55                 .expect("BITCOIN_REST_PORT env variable must be a u16.");
  56         let path = env::var("BITCOIN_REST_PATH").unwrap_or("/rest/".to_string());
  57         HttpEndpoint::for_host(host).with_port(port).with_path(path)
  58 }
  59
  60 pub(crate) fn db_config_table_creation_query() -> &'static str {
  61         "CREATE TABLE IF NOT EXISTS config (
  62                 id SERIAL PRIMARY KEY,
  63                 db_schema integer
  64         )"
  65 }
  66
  67 pub(crate) fn db_announcement_table_creation_query() -> &'static str {
  68         "CREATE TABLE IF NOT EXISTS channel_announcements (
  69                 id SERIAL PRIMARY KEY,
  70                 short_channel_id bigint NOT NULL UNIQUE,
  71                 announcement_signed BYTEA,
  72                 seen timestamp NOT NULL DEFAULT NOW()
  73         )"
  74 }
  75
  76 pub(crate) fn db_channel_update_table_creation_query() -> &'static str {
  77         "CREATE TABLE IF NOT EXISTS channel_updates (
  78                 id SERIAL PRIMARY KEY,
  79                 short_channel_id bigint NOT NULL,
  80                 timestamp bigint NOT NULL,
  81                 channel_flags smallint NOT NULL,
  82                 direction boolean NOT NULL,
  83                 disable boolean NOT NULL,
  84                 cltv_expiry_delta integer NOT NULL,
  85                 htlc_minimum_msat bigint NOT NULL,
  86                 fee_base_msat integer NOT NULL,
  87                 fee_proportional_millionths integer NOT NULL,
  88                 htlc_maximum_msat bigint NOT NULL,
  89                 blob_signed BYTEA NOT NULL,
  90                 seen timestamp NOT NULL DEFAULT NOW()
  91         )"
  92 }
  93
  94 pub(crate) fn db_index_creation_query() -> &'static str {
  95         "
  96         CREATE INDEX IF NOT EXISTS channel_updates_seen ON channel_updates(seen, short_channel_id, direction) INCLUDE (id, blob_signed);
  97         CREATE INDEX IF NOT EXISTS channel_updates_scid_seen ON channel_updates(short_channel_id, seen) INCLUDE (blob_signed);
  98         CREATE INDEX IF NOT EXISTS channel_updates_seen_scid ON channel_updates(seen, short_channel_id);
  99         CREATE INDEX IF NOT EXISTS channel_updates_scid_dir_seen ON channel_updates(short_channel_id ASC, direction ASC, seen DESC) INCLUDE (id, blob_signed);
 100         CREATE UNIQUE INDEX IF NOT EXISTS channel_updates_key ON channel_updates (short_channel_id, direction, timestamp);
 101         "
 102 }
 103
 104 pub(crate) async fn upgrade_db(schema: i32, client: &mut tokio_postgres::Client) {
 105         if schema == 1 {
 106                 let tx = client.transaction().await.unwrap();
 107                 tx.execute("ALTER TABLE channel_updates DROP COLUMN chain_hash", &[]).await.unwrap();
 108                 tx.execute("ALTER TABLE channel_announcements DROP COLUMN chain_hash", &[]).await.unwrap();
 109                 tx.execute("UPDATE config SET db_schema = 2 WHERE id = 1", &[]).await.unwrap();
 110                 tx.commit().await.unwrap();
 111         }
 112         if schema == 1 || schema == 2 {
 113                 let tx = client.transaction().await.unwrap();
 114                 tx.execute("ALTER TABLE channel_updates DROP COLUMN short_channel_id", &[]).await.unwrap();
 115                 tx.execute("ALTER TABLE channel_updates ADD COLUMN short_channel_id bigint DEFAULT null", &[]).await.unwrap();
 116                 tx.execute("ALTER TABLE channel_updates DROP COLUMN direction", &[]).await.unwrap();
 117                 tx.execute("ALTER TABLE channel_updates ADD COLUMN direction boolean DEFAULT null", &[]).await.unwrap();
 118                 loop {
 119                         let rows = tx.query("SELECT id, composite_index FROM channel_updates WHERE short_channel_id IS NULL LIMIT 50000", &[]).await.unwrap();
 120                         if rows.is_empty() { break; }
 121                         let mut updates = FuturesUnordered::new();
 122                         for row in rows {
 123                                 let id: i32 = row.get("id");
 124                                 let index: String = row.get("composite_index");
 125                                 let tx_ref = &tx;
 126                                 updates.push(async move {
 127                                         let mut index_iter = index.split(":");
 128                                         let scid_hex = index_iter.next().unwrap();
 129                                         index_iter.next().unwrap();
 130                                         let direction_str = index_iter.next().unwrap();
 131                                         assert!(direction_str == "1" || direction_str == "0");
 132                                         let direction = direction_str == "1";
 133                                         let scid_be_bytes = hex_utils::to_vec(scid_hex).unwrap();
 134                                         let scid = i64::from_be_bytes(scid_be_bytes.try_into().unwrap());
 135                                         assert!(scid > 0); // Will roll over in some 150 years or so
 136                                         tx_ref.execute("UPDATE channel_updates SET short_channel_id = $1, direction = $2 WHERE id = $3", &[&scid, &direction, &id]).await.unwrap();
 137                                 });
 138                         }
 139                         while let Some(_) = updates.next().await { }
 140                 }
 141                 tx.execute("ALTER TABLE channel_updates ALTER short_channel_id DROP DEFAULT", &[]).await.unwrap();
 142                 tx.execute("ALTER TABLE channel_updates ALTER short_channel_id SET NOT NULL", &[]).await.unwrap();
 143                 tx.execute("ALTER TABLE channel_updates ALTER direction DROP DEFAULT", &[]).await.unwrap();
 144                 tx.execute("ALTER TABLE channel_updates ALTER direction SET NOT NULL", &[]).await.unwrap();
 145                 tx.execute("UPDATE config SET db_schema = 3 WHERE id = 1", &[]).await.unwrap();
 146                 tx.commit().await.unwrap();
 147         }
 148         if schema >= 1 && schema <= 3 {
 149                 let tx = client.transaction().await.unwrap();
 150                 tx.execute("ALTER TABLE channel_announcements DROP COLUMN short_channel_id", &[]).await.unwrap();
 151                 tx.execute("ALTER TABLE channel_announcements ADD COLUMN short_channel_id bigint DEFAULT null", &[]).await.unwrap();
 152                 loop {
 153                         let rows = tx.query("SELECT id, announcement_signed FROM channel_announcements WHERE short_channel_id IS NULL LIMIT 10000", &[]).await.unwrap();
 154                         if rows.is_empty() { break; }
 155                         let mut updates = FuturesUnordered::new();
 156                         for row in rows {
 157                                 let id: i32 = row.get("id");
 158                                 let announcement: Vec<u8> = row.get("announcement_signed");
 159                                 let tx_ref = &tx;
 160                                 updates.push(async move {
 161                                         let scid = ChannelAnnouncement::read(&mut Cursor::new(announcement)).unwrap().contents.short_channel_id as i64;
 162                                         assert!(scid > 0); // Will roll over in some 150 years or so
 163                                         tx_ref.execute("UPDATE channel_announcements SET short_channel_id = $1 WHERE id = $2", &[&scid, &id]).await.unwrap();
 164                                 });
 165                         }
 166                         while let Some(_) = updates.next().await { }
 167                 }
 168                 tx.execute("ALTER TABLE channel_announcements ADD CONSTRAINT channel_announcements_short_channel_id_key UNIQUE (short_channel_id)", &[]).await.unwrap();
 169                 tx.execute("ALTER TABLE channel_announcements ALTER short_channel_id DROP DEFAULT", &[]).await.unwrap();
 170                 tx.execute("ALTER TABLE channel_announcements ALTER short_channel_id SET NOT NULL", &[]).await.unwrap();
 171                 tx.execute("UPDATE config SET db_schema = 4 WHERE id = 1", &[]).await.unwrap();
 172                 tx.commit().await.unwrap();
 173         }
 174         if schema >= 1 && schema <= 4 {
 175                 let tx = client.transaction().await.unwrap();
 176                 tx.execute("ALTER TABLE channel_updates ALTER composite_index SET DATA TYPE character(29)", &[]).await.unwrap();
 177                 tx.execute("UPDATE config SET db_schema = 5 WHERE id = 1", &[]).await.unwrap();
 178                 tx.commit().await.unwrap();
 179         }
 180         if schema >= 1 && schema <= 5 {
 181                 let tx = client.transaction().await.unwrap();
 182                 tx.execute("ALTER TABLE channel_updates ALTER channel_flags SET DATA TYPE smallint", &[]).await.unwrap();
 183                 tx.execute("ALTER TABLE channel_announcements DROP COLUMN block_height", &[]).await.unwrap();
 184                 tx.execute("UPDATE config SET db_schema = 6 WHERE id = 1", &[]).await.unwrap();
 185                 tx.commit().await.unwrap();
 186         }
 187         if schema >= 1 && schema <= 6 {
 188                 let tx = client.transaction().await.unwrap();
 189                 tx.execute("ALTER TABLE channel_updates DROP COLUMN composite_index", &[]).await.unwrap();
 190                 tx.execute("ALTER TABLE channel_updates ALTER timestamp SET NOT NULL", &[]).await.unwrap();
 191                 tx.execute("ALTER TABLE channel_updates ALTER channel_flags SET NOT NULL", &[]).await.unwrap();
 192                 tx.execute("ALTER TABLE channel_updates ALTER disable SET NOT NULL", &[]).await.unwrap();
 193                 tx.execute("ALTER TABLE channel_updates ALTER cltv_expiry_delta SET NOT NULL", &[]).await.unwrap();
 194                 tx.execute("ALTER TABLE channel_updates ALTER htlc_minimum_msat SET NOT NULL", &[]).await.unwrap();
 195                 tx.execute("ALTER TABLE channel_updates ALTER fee_base_msat SET NOT NULL", &[]).await.unwrap();
 196                 tx.execute("ALTER TABLE channel_updates ALTER fee_proportional_millionths SET NOT NULL", &[]).await.unwrap();
 197                 tx.execute("ALTER TABLE channel_updates ALTER htlc_maximum_msat SET NOT NULL", &[]).await.unwrap();
 198                 tx.execute("ALTER TABLE channel_updates ALTER blob_signed SET NOT NULL", &[]).await.unwrap();
 199                 tx.execute("CREATE UNIQUE INDEX channel_updates_key ON channel_updates (short_channel_id, direction, timestamp)", &[]).await.unwrap();
 200                 tx.execute("UPDATE config SET db_schema = 7 WHERE id = 1", &[]).await.unwrap();
 201                 tx.commit().await.unwrap();
 202         }
 203         if schema >= 1 && schema <= 7 {
 204                 let tx = client.transaction().await.unwrap();
 205                 tx.execute("DROP INDEX channels_seen", &[]).await.unwrap();
 206                 tx.execute("DROP INDEX channel_updates_scid", &[]).await.unwrap();
 207                 tx.execute("DROP INDEX channel_updates_direction", &[]).await.unwrap();
 208                 tx.execute("DROP INDEX channel_updates_seen", &[]).await.unwrap();
 209                 tx.execute("DROP INDEX channel_updates_scid_seen", &[]).await.unwrap();
 210                 tx.execute("DROP INDEX channel_updates_scid_dir_seen", &[]).await.unwrap();
 211                 tx.execute("UPDATE config SET db_schema = 8 WHERE id = 1", &[]).await.unwrap();
 212                 tx.commit().await.unwrap();
 213         }
 214         if schema <= 1 || schema > SCHEMA_VERSION {
 215                 panic!("Unknown schema in db: {}, we support up to {}", schema, SCHEMA_VERSION);
 216         }
 217         // PostgreSQL (at least v13, but likely later versions as well) handles insert-only tables
 218         // *very* poorly. After some number of inserts, it refuses to rely on indexes, assuming them to
 219         // be possibly-stale, until a VACUUM happens. Thus, we set the vacuum factor really low here,
 220         // pushing PostgreSQL to vacuum often.
 221         // See https://www.cybertec-postgresql.com/en/postgresql-autovacuum-insert-only-tables/
 222         let _ = client.execute("ALTER TABLE channel_updates SET ( autovacuum_vacuum_insert_scale_factor = 0.005 );", &[]).await;
 223         let _ = client.execute("ALTER TABLE channel_announcements SET ( autovacuum_vacuum_insert_scale_factor = 0.005 );", &[]).await;
 224 }
 225
 226 pub(crate) fn ln_peers() -> Vec<(PublicKey, SocketAddr)> {
 227         const WALLET_OF_SATOSHI: &str = "035e4ff418fc8b5554c5d9eea66396c227bd429a3251c8cbc711002ba215bfc226@170.75.163.209:9735";
 228         let list = env::var("LN_PEERS").unwrap_or(WALLET_OF_SATOSHI.to_string());
 229         let mut peers = Vec::new();
 230         for peer_info in list.split(',') {
 231                 peers.push(resolve_peer_info(peer_info).expect("Invalid peer info in LN_PEERS"));
 232         }
 233         peers
 234 }
 235
 236 fn resolve_peer_info(peer_info: &str) -> Result<(PublicKey, SocketAddr), &str> {
 237         let mut peer_info = peer_info.splitn(2, '@');
 238
 239         let pubkey = peer_info.next().ok_or("Invalid peer info. Should be formatted as: `pubkey@host:port`")?;
 240         let pubkey = Vec::from_hex(pubkey).map_err(|_| "Invalid node pubkey")?;
 241         let pubkey = PublicKey::from_slice(&pubkey).map_err(|_| "Invalid node pubkey")?;
 242
 243         let socket_address = peer_info.next().ok_or("Invalid peer info. Should be formatted as: `pubkey@host:port`")?;
 244         let socket_address = socket_address
 245                 .to_socket_addrs()
 246                 .map_err(|_| "Cannot resolve node address")?
 247                 .next()
 248                 .ok_or("Cannot resolve node address")?;
 249
 250         Ok((pubkey, socket_address))
 251 }
 252
 253 #[cfg(test)]
 254 mod tests {
 255         use super::resolve_peer_info;
 256         use bitcoin::hashes::hex::ToHex;
 257
 258         #[test]
 259         fn test_resolve_peer_info() {
 260                 let wallet_of_satoshi = "035e4ff418fc8b5554c5d9eea66396c227bd429a3251c8cbc711002ba215bfc226@170.75.163.209:9735";
 261                 let (pubkey, socket_address) = resolve_peer_info(wallet_of_satoshi).unwrap();
 262                 assert_eq!(pubkey.serialize().to_hex(), "035e4ff418fc8b5554c5d9eea66396c227bd429a3251c8cbc711002ba215bfc226");
 263                 assert_eq!(socket_address.to_string(), "170.75.163.209:9735");
 264
 265                 let ipv6 = "033d8656219478701227199cbd6f670335c8d408a92ae88b962c49d4dc0e83e025@[2001:db8::1]:80";
 266                 let (pubkey, socket_address) = resolve_peer_info(ipv6).unwrap();
 267                 assert_eq!(pubkey.serialize().to_hex(), "033d8656219478701227199cbd6f670335c8d408a92ae88b962c49d4dc0e83e025");
 268                 assert_eq!(socket_address.to_string(), "[2001:db8::1]:80");
 269
 270                 let localhost = "033d8656219478701227199cbd6f670335c8d408a92ae88b962c49d4dc0e83e025@localhost:9735";
 271                 let (pubkey, socket_address) = resolve_peer_info(localhost).unwrap();
 272                 assert_eq!(pubkey.serialize().to_hex(), "033d8656219478701227199cbd6f670335c8d408a92ae88b962c49d4dc0e83e025");
 273                 let socket_address = socket_address.to_string();
 274                 assert!(socket_address == "127.0.0.1:9735" || socket_address == "[::1]:9735");
 275         }
 276 }