Send full node announcements following old pre-sync updates.

This covers the following part of our serialization logic:

If the pre-sync update was more than 6 days ago, serialize in full.

Introduce node serialization strategy.

With the addition of reminders, we may encounter scenarios where
either a bit flip may suffice, instructing the client to look up its
latest data, or we may need to serialize all announcement details
a new if the client may have already purged the old data.

To better distinguish between these scenarios, we introduce a
serialization strategy enum that allows serializing either the full
announcement, just the mutations, or serve solely as a reminder and
serialize nothing at all.

Extract snapshot reminder inclusion check method.

We will need to determine whether or not a snapshot should include
reminders for both channel and node update messages. To prepare for
that, we extract the decision logic into its own method.

Only consider node announcements from current graph.

We want to ignore any node announcements that have already been
pruned. To do so, we extract all the node IDs from the network graph,
and use those to filter our queries.

Upgrade LDK to 0.0.124.

Rename latest_details_after_seen to latest_details.

If the latest node details have already been seen by a client, we
still need to store them for correctly detecting reminder necessity
in the future.

Parametrize prune interval.

Create a config variable representing the time interval whereafter
graph data gets pruned. This value should be used to limit lookup
time frames.

Merge pull request #82 from arik-so/gossip-v2-bugfixes

Gossip v2 bugfixes

Update unit tests.

Serialize removal of all socket addresses in snapshots.

Send addresses and features for hitherto unseen nodes.

Merge pull request #81 from TheBlueMatt/main

Correct v2 symlink paths

Correct v2 symlink paths

Merge pull request #76 from arik-so/arik/2024/02/node-gossip

RGS v2: NodeAnnouncement Delta Serialization

Store v1 and v2 snapshots.

Version-aware serialization of node features and addresses in delta.

Introduce method for comparing node announcements.

Track db schema version 14.

Test NodeAnnouncement persistence.

Merge pull request #79 from arik-so/persist-node-data

Persist NodeAnnouncement Gossip

Test storing node addresses.

Test NodeAnnouncement persistence.

Store serialized addresses and features.

Update rust-lightning version.

Update schema for node announcement and address storage.

Merge pull request #78 from arik-so/conservative-announcements

Only consider channel announcements with bidirectional updates.

Only consider channel announcements with bidirectional updates.

Merge pull request #77 from arik-so/static-channel-reminders

Send reminders for non-mutating channels

Increase reminder snapshot scope interval threshold.

Use reference timestamp for reminder calculation.

Allow passing a timestamp override to snapshot calculation.

Make reminder inclusion more conservative.

Update test to reflect new reminder mechanics.

Detect beginning of static channel status streaks.

Previously, whenever a channel hasn't received updates in
6+ days, we would automatically send incremental reminders
that only contain the update flags.

However, if a channel has been received updates
within that six-day-timeframe, but all those updates were
identical, it would result in no updates being added to the
snapshot because the mutation set ended up empty and that
data would get purged from the serialization.

In order to avoid the reminder logic being duped by
channels simply being consistent, we now look up the
beginning of the latest continuous stretch of non-mutating
channel updates. If a channel's details have not been
altered in more than six days, we now send reminders no
matter the frequency with which channel updates have been
received since.

Test that channels with non-changing updates result in missing reminders.

Don't panic while panicking.

Stop tracking Cargo.lock

Merge pull request #74 from TheBlueMatt/main

Bump LDK to 0.0.121/rust-bitcoin 0.30

Fix unused `Result` in tests

Fix indentation in `test_ln_peers`

Bump LDK to 0.0.121/rust-bitcoin 0.30, bumping MSRV to 1.63

Co-authored-by: Arik Sosman <git@arik.io>

Merge pull request #73 from arik-so/arik/2024-03-tokio-runtime-split

Use separate Tokio runtime for gossip persistence.

Simplify client creation.

Use separate tokio runtime for gossip persistence.

Fix CI compilation in beta environment.

Merge pull request #71 from TheBlueMatt/main

Do DB insertions in parallel

Merge pull request #72 from lightningdevkit/arik/2024/01/bitcoin-rest-error

Improve bitcoind RPC/Rest error message

Improve bitcoind RPC/Rest error message.

Do DB insertions in parallel

When inserting new gossip into the DB, we block the LDK peer
handling if we get behind. This is mostly okay, but can cause ping
timeouts and reconnections, which isn't ideal. To limit how often
we should see this, here we move to doing the new gossip insertions
in parallel.

Merge pull request #70 from domZippilli/2024/01/load-peers-tolerating-trailing-comma

Ignore trailing commas when parsing peers, and log more on error.

Ignore trailing commas when parsing peers, and log more on error.

Merge pull request #68 from johncantrell97/118

bump to ldk 118

bump to ldk 118

Merge pull request #65 from arik-so/announcement-history-tests

Update-recency-based inclusion logic tests

Test announcement inclusion logic.

Include old updates when necessary.

When a channel has only recently become bidirectional,
but there has not been a new update in the old direction
since the last sync, the latest update in the old direction
must still be included in full because it is the first time
the full channel is being snapshotted.

Allow seen override for announcements.

Merge pull request #63 from arik-so/2023/10/ordering_fix

Fix update recency issue with expanded test coverage

Optimize indices for expired value fix lookup.

Fix expired value being sent as the latest update.

Reproduce test for expired value being sent as the latest update.

Create snapshot generation test.

Extract snapshot generation method.

Replicate Mutiny test scenarios.

Allow setting custom gossip seen timestamps.

Merge pull request #62 from arik-so/2023/10/ordering_fix

Create Postgres step in CI.

Assert that schema is uninitialized.

Create Postgres step in CI.

Merge pull request #60 from arik-so/2023/08/first_unit_test

First unit test

Assert schema sanitization.

Use schema as test logger id.

Create first unit test.

Upgrade to LDK 117.

Create TestLogger.

Create test-aware db env vars.

Merge pull request #56 from arik-so/2023/08/connect-to-peers-asynchronously

Track gossip data prior to peer connection loop.

Always wait 10 seconds prior to attempting reconnection.

Don't special-case initial connection attempt.

Connect peers independently.

Previously, we wouldn't start monitoring the gossip data until all
intended peers had either failed or succeeded to connect.

Instead, we're now spawn each peer connection independently, and only
await the first 5 successful peer connections.

Merge pull request #57 from arik-so/2023/08/old-incremental-update-fix

Send full updates after old last seen updates.

Send full updates after old last seen updates.

Previously, whenever we saw that there was a previous update that a
client would have seen, we simply calculated the delta set based on
which properties have changed, and would most likely send an
incremental update set (excepting the case of a new or newly sent
announcement, in which case all sent updates are full).

However, if the last seen update was old, and there's a chance that
a user may have run RGS since, it is possible that due to the
7-day-backdating-mechanism included on the client, the reference
update would no longer be present.

To fix that, anytime we see that a last seen update is more than six
days old, we automatically include a full update.

Merge pull request #59 from arik-so/2023/08/custom-intervals

Distinction between snapshot and symlink intervals

Dynamically adjust snapshot scopes.

Previously, we had hard-coded factors for the default snapshot
generation interval, which also served as the minimum snapshot
scope. In this commit, we substitute that with a doubling
mechanism that stops once it reaches or exceeds the
21-day-mark, which can be configured using an additional flag.

Distinguish between snapshot and symlink intervals.

Snapshots may be generated every day or even every couple days,
but symlinks will be generated at the given symlink granularity.

To avoid gcd complications, all snapshot generation intervals
must be multiples of the symlink granularity interval.

Allow the snapshot interval to be configurable in the environment variables

Merge pull request #55 from arik-so/2023/08/multiplication-overflow-fix

Fix multiplication overflow bug

Fix multiplication overflow bug.

The `snapshot_sync_day_factors` array is sorted
ascendingly, so find() will return on the first
iteration that is at least equal to the requested
interval.

However, the last value in the array is u64::max,
which means that multiplying it with DAY_SECONDS
will overflow. To avoid that, we use saturating_mul.

Merge pull request #54 from arik-so/2023/08/incremental-update-fix

Only send full updates with announcements

Create indices for schema version 12.

Create method for obtaining UTC-prepared Postgres client.

Send full updates whenever the channel announcement is sent.

Fix ordering of intermediate commits to ensure the latest comes first and is used as the authoritative source of what's latest.

Merge pull request #53 from arik-so/2023/08/query-timestamp-fix

Switch timestamp queries to use f64

Switch timestamp reads to use i64.

Switch timestamp queries to use f64.

Merge pull request #49 from TheBlueMatt/main

Make snapshotter a bit more amenable to changes in interval

By separating the concept of "seconds in a day" from the snapshot
interval.

Only generate as many symlinks as we need (rather than 27 years worth)

Merge pull request #51 from arik-so/2023/08/pre_test_refactors

Allow arbitrary logger types.

Allow log threshold configuration.