Merge pull request #43 from TheBlueMatt/main

Require DB insertions to complete in five seconds

Require DB insertions to complete in fifteen seconds

For some reason the mainnet server hung, seemingly on the DB
insertion task. This will improve debugging by simply crashing if
an insertion takes longer than five seconds.

Merge pull request #42 from TheBlueMatt/main

#39 Followups

Redo indexes for new SELECTs and trivially tweak one old query

Build reminder updates with correct SCID field

When the reminder updates were added, a dummy `ChannelUpdate` with
a number of zero'd fields were created under the assumption that
the zero'd fields would be ignored downstream when building
serialized updates. However, the SCID field was `assert`'ed on (and
serialized in the update), causing any reminder updates to cause an
assertion panic.

Instead, we do it the Right Way (tm) here and move the
only-sometimes-available fields into the update type enum, ensuring
we can't access "poison" fields downstream.

Let postgres filter timestamps rather than doing it in Rust

Fix query compat with Postgres 13

...which requires DISTINCT ON to match the start of ORDER BY.

Clean up SQL query formatting to make them somewhat more readable

Reduce data loaded from the `channel_update` table when not needed

Merge pull request #39 from arik-so/2023-06-announcement_inclusion_fixes

Announcement inclusion fixes & reminders

Merge pull request #40 from arik-so/2023-06-0.0.115

Update lightning to 0.0.115

Omit reminders for channels with incomplete data.

Create dummy flags without secondary lookup query.

Send reminders for stale-ish channels.

Fix first update lookup.

Update to 0.0.115.

Merge pull request #38 from TheBlueMatt/main

Removed unused_mut rejection and fix some unused `mut`s

Removed unused_mut rejection and fix some unused `mut`s

Making warnings a hard failure is generally bad practice as it can
result in new compiler versions failing to compile
otherwise-totally-acceptable code, which in this case is happening
on rustc beta, which is now warning for new cases of unused mut.

Merge pull request #37 from marctyndel/configurable-caches-path

optionally set path for caches from env

quick fix to be able to set the caches path via env variables like we do for the DB and bitcoind configuration

Merge pull request #35 from andrei-21/fix/dummy-symlink

Fix dummy symlink

Fix dummy symlink

The commit changes the symlink for the snapshot for the current date
from `./res/snapshots_pending/empty_delta.lngossip` to
`../snapshots/empty_delta.lngossip` such that nginx does not
retrun 404, but 200 with the dummy snapshot

Merge pull request #29 from arik-so/2023-04-empty-blob-generator

Create a utility method to generate noöp RGS blobs.

Create a utility method to generate noöp RGS blobs.

Merge pull request #31 from benthecarman/ignore-cargo-lock

Include Cargo.lock file

Remove need to pin deps

Merge pull request #21 from jurvis/jurvis/2022-11-rgs-docker-compose

Create a docker-compose for running an RGS server

Merge pull request #25 from TheBlueMatt/main

Update to LDK 0.0.114

Write an `update_time.txt` file out to make monitoring simpler

Delay prior to reconnecting peers that have disconnected

Call `PeerManager::timer_tick_occurred` regularly to ping peers

Upgrade to latest lightning crate, switching to async chain resolution

Stop pruning the network graph on startup

There's not a lot of reason for this and better to keep things
around until we go to build the gossip output

Merge pull request #26 from andrei-21/feature/configure-network

Merge pull request #24 from andrei-21/feature/configure-peers

Make ln peers configurable

Lowercase network values

Make ln peers configurable

Configure network

Create simple docker-compose for testnet

Merge pull request #19 from TheBlueMatt/main

Update LDK to 0.0.112 and workaround Postgres being broken

Pin once_cell to 1.14 to fix MSRV

Set per-table autovacuum thresholds low

Fixes #20

Prune the network graph immediately prior to generating updates

Update LDK to 0.0.112

Merge pull request #14 from TheBlueMatt/main

Upgrade to LDK 0.0.111, Improve SQL Types

Add one additional index which postgres prefers as the DB fills

If postgres decides walking the full `channel_updates_scid_dir_seen`
index and removing old `seen` values is slower than just walking
the full table (or this new index) it does so. Sadly this causes
re-sorting (usually on-disk), but there doesn't seem to be a way to
avoid this.

Drop useless indexes, add (very) useful indxes after benchmarking

Drop unused columns from SELECT queries

Drop the composite_index in favor of a multi-column unique index

Also set all the channel_update fields to NOT NULL, because they
should be non-null always.

Add some further indexes on channel_updates to match queries

Drop redundant block_height column on announcements, use i16 for flags

Simplify composite index construction somewhat

Update to LDK 0.0.111, rust-bitcoin 0.29

Use more appropriate data types for SCIDs, direction, composite_index

Drop the chain_hash column

Add upgrade query support

Drop several unused dependencies

Merge pull request #13 from arik-so/2022-08-envvar-renaming

Change bitcoin REST endpoint default port to the standard mainnet default.

Merge pull request #11 from arik-so/2022-08-envvar-renaming

Rename environment variables to reflect the name of this project.

Rename environment variables to reflect the name of this project.

Merge pull request #10 from TheBlueMatt/2022-08-no-pin-cpufeatures

Skip pinning cpufeatures, which has fixed its MSRV

Merge pull request #7 from TheBlueMatt/2022-08-fix-deadlock

Fix Counter Lock Deadlock, Further Cleanups

Drop spurious comments

Don't hold the counter lock while verifying gossip/waiting on DB

This resolves a deadlock if we block on the DB where we have one
thread blocked waiting on DB in a blocking thread, and the tokio
reactor blocked waiting on the counter lock which the blocking
thread holds.

Remove unused fields and function in lib.rs

Remove indirection in initial sync completion

Rather than sending a GossipMessage::InitialSyncComplete, which
causes the persistence logic to push to another queue to wake the
snapshoter, we can simply wake the snapshoter directly.

Skip pinning cpufeatures, which has fixed its MSRV

Merge pull request #9 from arik-so/2022-08-snapshot-timestamp-fix

Reference canonical timestamps when generating snapshots.

Always pin dependencies for 1.48.0.

Reference canonical timestamps when generating snapshots.

Merge pull request #8 from arik-so/2022-08-add-0-symlink

Add 0.bin symlink for clients requiring an initial rapid sync.

Merge pull request #6 from TheBlueMatt/2022-08-cleanups

Various Code Cleanups

Add 0.bin symlink for clients requiring an initial rapid sync.

Cleanup network graph persisting and ensure write succeeds

Trivial cleanups in lookup.rs

Correct error-matching in downloader

Drop Arcs around the TestLogger, as its an empty struct anyway

Substantially reduce boilerplate and Arcs in download_gossip

Remove unnecessary Arcs in verifier.rs

Clean up the flow and variables in lib.rs and main.rs

Merge pull request #5 from TheBlueMatt/2022-08-block-on-slow-db

Block tasks if the DB writes get behind, rather than growing the queue.

Block tasks if the DB writes get behind, rather than growing the queue

Merge pull request #4 from TheBlueMatt/2022-08-fix-executors

Don't spawn new single-threaded executors, stay inside tokio

Don't spawn new single-threaded executors, stay inside tokio

Merge pull request #3 from lightningdevkit/readme_fixups

Fix readme links.

Fix readme links.

Merge pull request #2 from lightningdevkit/readme_fixups

Fix readme.

Fix readme.

Initial commit.

Initial commit