Branch data Line data Source code
1 : : // Copyright (c) 2012 Pieter Wuille
2 : : // Copyright (c) 2012-2022 The Bitcoin Core developers
3 : : // Distributed under the MIT software license, see the accompanying
4 : : // file COPYING or http://www.opensource.org/licenses/mit-license.php.
5 : :
6 : : #include <bitcoin-build-config.h> // IWYU pragma: keep
7 : :
8 : : #include <addrman.h>
9 : : #include <addrman_impl.h>
10 : :
11 : : #include <hash.h>
12 : : #include <logging.h>
13 : : #include <logging/timer.h>
14 : : #include <netaddress.h>
15 : : #include <protocol.h>
16 : : #include <random.h>
17 : : #include <serialize.h>
18 : : #include <streams.h>
19 : : #include <tinyformat.h>
20 : : #include <uint256.h>
21 : : #include <util/check.h>
22 : : #include <util/time.h>
23 : :
24 : : #include <cmath>
25 : : #include <optional>
26 : :
27 : : /** Over how many buckets entries with tried addresses from a single group (/16 for IPv4) are spread */
28 : : static constexpr uint32_t ADDRMAN_TRIED_BUCKETS_PER_GROUP{8};
29 : : /** Over how many buckets entries with new addresses originating from a single group are spread */
30 : : static constexpr uint32_t ADDRMAN_NEW_BUCKETS_PER_SOURCE_GROUP{64};
31 : : /** Maximum number of times an address can occur in the new table */
32 : : static constexpr int32_t ADDRMAN_NEW_BUCKETS_PER_ADDRESS{8};
33 : : /** How old addresses can maximally be */
34 : : static constexpr auto ADDRMAN_HORIZON{30 * 24h};
35 : : /** After how many failed attempts we give up on a new node */
36 : : static constexpr int32_t ADDRMAN_RETRIES{3};
37 : : /** How many successive failures are allowed ... */
38 : : static constexpr int32_t ADDRMAN_MAX_FAILURES{10};
39 : : /** ... in at least this duration */
40 : : static constexpr auto ADDRMAN_MIN_FAIL{7 * 24h};
41 : : /** How recent a successful connection should be before we allow an address to be evicted from tried */
42 : : static constexpr auto ADDRMAN_REPLACEMENT{4h};
43 : : /** The maximum number of tried addr collisions to store */
44 : : static constexpr size_t ADDRMAN_SET_TRIED_COLLISION_SIZE{10};
45 : : /** The maximum time we'll spend trying to resolve a tried table collision */
46 : : static constexpr auto ADDRMAN_TEST_WINDOW{40min};
47 : :
48 : 15781895 : int AddrInfo::GetTriedBucket(const uint256& nKey, const NetGroupManager& netgroupman) const
49 : : {
50 [ + - + - ]: 15781895 : uint64_t hash1 = (HashWriter{} << nKey << GetKey()).GetCheapHash();
51 [ + - + - : 15781895 : uint64_t hash2 = (HashWriter{} << nKey << netgroupman.GetGroup(*this) << (hash1 % ADDRMAN_TRIED_BUCKETS_PER_GROUP)).GetCheapHash();
+ - ]
52 : 15781895 : return hash2 % ADDRMAN_TRIED_BUCKET_COUNT;
53 : : }
54 : :
55 : 16162703 : int AddrInfo::GetNewBucket(const uint256& nKey, const CNetAddr& src, const NetGroupManager& netgroupman) const
56 : : {
57 : 16162703 : std::vector<unsigned char> vchSourceGroupKey = netgroupman.GetGroup(src);
58 [ + - + - : 32325406 : uint64_t hash1 = (HashWriter{} << nKey << netgroupman.GetGroup(*this) << vchSourceGroupKey).GetCheapHash();
+ - + - +
- ]
59 [ + - + - : 16162703 : uint64_t hash2 = (HashWriter{} << nKey << vchSourceGroupKey << (hash1 % ADDRMAN_NEW_BUCKETS_PER_SOURCE_GROUP)).GetCheapHash();
+ - + - +
- ]
60 : 16162703 : return hash2 % ADDRMAN_NEW_BUCKET_COUNT;
61 : 16162703 : }
62 : :
63 : 47982620 : int AddrInfo::GetBucketPosition(const uint256& nKey, bool fNew, int bucket) const
64 : : {
65 [ + + + - : 63764515 : uint64_t hash1 = (HashWriter{} << nKey << (fNew ? uint8_t{'N'} : uint8_t{'K'}) << bucket << GetKey()).GetCheapHash();
+ - ]
66 : 47982620 : return hash1 % ADDRMAN_BUCKET_SIZE;
67 : : }
68 : :
69 : 10546219 : bool AddrInfo::IsTerrible(NodeSeconds now) const
70 : : {
71 [ + + ]: 10546219 : if (now - m_last_try <= 1min) { // never remove things tried in the last minute
72 : : return false;
73 : : }
74 : :
75 [ + + ]: 9635771 : if (nTime > now + 10min) { // came in a flying DeLorean
76 : : return true;
77 : : }
78 : :
79 [ + + ]: 4345845 : if (now - nTime > ADDRMAN_HORIZON) { // not seen in recent history
80 : : return true;
81 : : }
82 : :
83 [ + + + + ]: 224875 : if (TicksSinceEpoch<std::chrono::seconds>(m_last_success) == 0 && nAttempts >= ADDRMAN_RETRIES) { // tried N times and never a success
84 : : return true;
85 : : }
86 : :
87 [ + + + + ]: 224364 : if (now - m_last_success > ADDRMAN_MIN_FAIL && nAttempts >= ADDRMAN_MAX_FAILURES) { // N successive failures in the last week
88 : 1168 : return true;
89 : : }
90 : :
91 : : return false;
92 : : }
93 : :
94 : 3958 : double AddrInfo::GetChance(NodeSeconds now) const
95 : : {
96 : 3958 : double fChance = 1.0;
97 : :
98 : : // deprioritize very recent attempts away
99 [ + + ]: 3958 : if (now - m_last_try < 10min) {
100 : 2062 : fChance *= 0.01;
101 : : }
102 : :
103 : : // deprioritize 66% after each failed attempt, but at most 1/28th to avoid the search taking forever or overly penalizing outages.
104 [ + + ]: 3958 : fChance *= pow(0.66, std::min(nAttempts, 8));
105 : :
106 : 3958 : return fChance;
107 : : }
108 : :
109 : 14187 : AddrManImpl::AddrManImpl(const NetGroupManager& netgroupman, bool deterministic, int32_t consistency_check_ratio)
110 : 14187 : : insecure_rand{deterministic}
111 [ + + ]: 14187 : , nKey{deterministic ? uint256{1} : insecure_rand.rand256()}
112 : 14187 : , m_consistency_check_ratio{consistency_check_ratio}
113 : 28374 : , m_netgroupman{netgroupman}
114 : : {
115 [ + + ]: 14541675 : for (auto& bucket : vvNew) {
116 [ + + ]: 944286720 : for (auto& entry : bucket) {
117 : 929759232 : entry = -1;
118 : : }
119 : : }
120 [ + + ]: 3646059 : for (auto& bucket : vvTried) {
121 [ + + ]: 236071680 : for (auto& entry : bucket) {
122 : 232439808 : entry = -1;
123 : : }
124 : : }
125 : 14187 : }
126 : :
127 : 14187 : AddrManImpl::~AddrManImpl()
128 : : {
129 : 14187 : nKey.SetNull();
130 : 14187 : }
131 : :
132 : : template <typename Stream>
133 : 3252 : void AddrManImpl::Serialize(Stream& s_) const
134 : : {
135 [ + - ]: 3252 : LOCK(cs);
136 : :
137 : : /**
138 : : * Serialized format.
139 : : * * format version byte (@see `Format`)
140 : : * * lowest compatible format version byte. This is used to help old software decide
141 : : * whether to parse the file. For example:
142 : : * * Bitcoin Core version N knows how to parse up to format=3. If a new format=4 is
143 : : * introduced in version N+1 that is compatible with format=3 and it is known that
144 : : * version N will be able to parse it, then version N+1 will write
145 : : * (format=4, lowest_compatible=3) in the first two bytes of the file, and so
146 : : * version N will still try to parse it.
147 : : * * Bitcoin Core version N+2 introduces a new incompatible format=5. It will write
148 : : * (format=5, lowest_compatible=5) and so any versions that do not know how to parse
149 : : * format=5 will not try to read the file.
150 : : * * nKey
151 : : * * nNew
152 : : * * nTried
153 : : * * number of "new" buckets XOR 2**30
154 : : * * all new addresses (total count: nNew)
155 : : * * all tried addresses (total count: nTried)
156 : : * * for each new bucket:
157 : : * * number of elements
158 : : * * for each element: index in the serialized "all new addresses"
159 : : * * asmap checksum
160 : : *
161 : : * 2**30 is xorred with the number of buckets to make addrman deserializer v0 detect it
162 : : * as incompatible. This is necessary because it did not check the version number on
163 : : * deserialization.
164 : : *
165 : : * vvNew, vvTried, mapInfo, mapAddr and vRandom are never encoded explicitly;
166 : : * they are instead reconstructed from the other information.
167 : : *
168 : : * This format is more complex, but significantly smaller (at most 1.5 MiB), and supports
169 : : * changes to the ADDRMAN_ parameters without breaking the on-disk structure.
170 : : *
171 : : * We don't use SERIALIZE_METHODS since the serialization and deserialization code has
172 : : * very little in common.
173 : : */
174 : :
175 : : // Always serialize in the latest version (FILE_FORMAT).
176 : 3252 : ParamsStream s{s_, CAddress::V2_DISK};
177 : :
178 [ + - ]: 3252 : s << static_cast<uint8_t>(FILE_FORMAT);
179 : :
180 : : // Increment `lowest_compatible` iff a newly introduced format is incompatible with
181 : : // the previous one.
182 : : static constexpr uint8_t lowest_compatible = Format::V4_MULTIPORT;
183 [ + - ]: 3252 : s << static_cast<uint8_t>(INCOMPATIBILITY_BASE + lowest_compatible);
184 : :
185 [ + - ]: 3252 : s << nKey;
186 [ + - ]: 3252 : s << nNew;
187 [ + - ]: 3252 : s << nTried;
188 : :
189 [ + - ]: 3252 : int nUBuckets = ADDRMAN_NEW_BUCKET_COUNT ^ (1 << 30);
190 : 3252 : s << nUBuckets;
191 : 3252 : std::unordered_map<nid_type, int> mapUnkIds;
192 : 3252 : int nIds = 0;
193 [ + + ]: 8386725 : for (const auto& entry : mapInfo) {
194 [ + - ]: 8383473 : mapUnkIds[entry.first] = nIds;
195 : 8383473 : const AddrInfo& info = entry.second;
196 [ + + ]: 8383473 : if (info.nRefCount) {
197 [ - + ]: 4810680 : assert(nIds != nNew); // this means nNew was wrong, oh ow
198 : 4810680 : s << info;
199 : 4810680 : nIds++;
200 : : }
201 : : }
202 : 3252 : nIds = 0;
203 [ + + ]: 8386725 : for (const auto& entry : mapInfo) {
204 : 8383473 : const AddrInfo& info = entry.second;
205 [ + + ]: 8383473 : if (info.fInTried) {
206 [ - + ]: 3572793 : assert(nIds != nTried); // this means nTried was wrong, oh ow
207 : 3572793 : s << info;
208 : 3572793 : nIds++;
209 : : }
210 : : }
211 [ + + ]: 3333300 : for (int bucket = 0; bucket < ADDRMAN_NEW_BUCKET_COUNT; bucket++) {
212 : : int nSize = 0;
213 [ + + ]: 216453120 : for (int i = 0; i < ADDRMAN_BUCKET_SIZE; i++) {
214 [ + + ]: 213123072 : if (vvNew[bucket][i] != -1)
215 : 5018639 : nSize++;
216 : : }
217 : 216453120 : s << nSize;
218 [ + + ]: 216453120 : for (int i = 0; i < ADDRMAN_BUCKET_SIZE; i++) {
219 [ + + ]: 213123072 : if (vvNew[bucket][i] != -1) {
220 [ + - + - ]: 5018639 : int nIndex = mapUnkIds[vvNew[bucket][i]];
221 : 213123072 : s << nIndex;
222 : : }
223 : : }
224 : : }
225 : : // Store asmap checksum after bucket entries so that it
226 : : // can be ignored by older clients for backward compatibility.
227 [ + - ]: 6504 : s << m_netgroupman.GetAsmapChecksum();
228 [ + - ]: 6504 : }
229 : :
230 : : template <typename Stream>
231 : 6450 : void AddrManImpl::Unserialize(Stream& s_)
232 : : {
233 : 6450 : LOCK(cs);
234 : :
235 [ - + ]: 6450 : assert(vRandom.empty());
236 : :
237 : : Format format;
238 [ + + ]: 6450 : s_ >> Using<CustomUintFormatter<1>>(format);
239 : :
240 [ + + + + ]: 6305 : const auto ser_params = (format >= Format::V3_BIP155 ? CAddress::V2_DISK : CAddress::V1_DISK);
241 [ + + ]: 6305 : ParamsStream s{s_, ser_params};
242 : :
243 : : uint8_t compat;
244 : 6153 : s >> compat;
245 [ + + ]: 6153 : if (compat < INCOMPATIBILITY_BASE) {
246 [ + - + - ]: 1084 : throw std::ios_base::failure(strprintf(
247 : : "Corrupted addrman database: The compat value (%u) "
248 : : "is lower than the expected minimum value %u.",
249 : : compat, INCOMPATIBILITY_BASE));
250 : : }
251 : 5611 : const uint8_t lowest_compatible = compat - INCOMPATIBILITY_BASE;
252 [ + + ]: 5611 : if (lowest_compatible > FILE_FORMAT) {
253 : 2028 : throw InvalidAddrManVersionError(strprintf(
254 : : "Unsupported format of addrman database: %u. It is compatible with formats >=%u, "
255 : : "but the maximum supported by this version of %s is %u.",
256 [ + - ]: 1014 : uint8_t{format}, lowest_compatible, CLIENT_NAME, uint8_t{FILE_FORMAT}));
257 : : }
258 : :
259 [ + + ]: 4597 : s >> nKey;
260 [ + + ]: 4581 : s >> nNew;
261 [ + + ]: 4578 : s >> nTried;
262 [ + + ]: 4576 : int nUBuckets = 0;
263 : 4569 : s >> nUBuckets;
264 [ + + ]: 4569 : if (format >= Format::V1_DETERMINISTIC) {
265 : 2987 : nUBuckets ^= (1 << 30);
266 : : }
267 : :
268 [ + + ]: 4569 : if (nNew > ADDRMAN_NEW_BUCKET_COUNT * ADDRMAN_BUCKET_SIZE || nNew < 0) {
269 [ + - ]: 50 : throw std::ios_base::failure(
270 : 25 : strprintf("Corrupt AddrMan serialization: nNew=%d, should be in [0, %d]",
271 : 25 : nNew,
272 [ + - ]: 25 : ADDRMAN_NEW_BUCKET_COUNT * ADDRMAN_BUCKET_SIZE));
273 : : }
274 : :
275 [ + + ]: 4544 : if (nTried > ADDRMAN_TRIED_BUCKET_COUNT * ADDRMAN_BUCKET_SIZE || nTried < 0) {
276 [ + - ]: 50 : throw std::ios_base::failure(
277 : 25 : strprintf("Corrupt AddrMan serialization: nTried=%d, should be in [0, %d]",
278 : 25 : nTried,
279 [ + - ]: 25 : ADDRMAN_TRIED_BUCKET_COUNT * ADDRMAN_BUCKET_SIZE));
280 : : }
281 : :
282 : : // Deserialize entries from the new table.
283 [ + + ]: 4296431 : for (int n = 0; n < nNew; n++) {
284 [ + - + + ]: 4292753 : AddrInfo& info = mapInfo[n];
285 : 4291912 : s >> info;
286 [ + - ]: 4291912 : mapAddr[info] = n;
287 [ + - ]: 4291912 : info.nRandomPos = vRandom.size();
288 [ + - ]: 4291912 : vRandom.push_back(n);
289 [ + - + - ]: 4291912 : m_network_counts[info.GetNetwork()].n_new++;
290 : : }
291 : 3678 : nIdCount = nNew;
292 : :
293 : : // Deserialize entries from the tried table.
294 : 3678 : int nLost = 0;
295 [ + + ]: 3599175 : for (int n = 0; n < nTried; n++) {
296 [ + - ]: 3595497 : AddrInfo info;
297 : 3594993 : s >> info;
298 [ + - ]: 3594993 : int nKBucket = info.GetTriedBucket(nKey, m_netgroupman);
299 [ + - ]: 3594993 : int nKBucketPos = info.GetBucketPosition(nKey, false, nKBucket);
300 [ + - ]: 3594993 : if (info.IsValid()
301 [ + + + + ]: 3594993 : && vvTried[nKBucket][nKBucketPos] == -1) {
302 [ + - ]: 3534106 : info.nRandomPos = vRandom.size();
303 : 3534106 : info.fInTried = true;
304 [ + - ]: 3534106 : vRandom.push_back(nIdCount);
305 [ + - ]: 3534106 : mapInfo[nIdCount] = info;
306 [ + - ]: 3534106 : mapAddr[info] = nIdCount;
307 : 3534106 : vvTried[nKBucket][nKBucketPos] = nIdCount;
308 : 3534106 : nIdCount++;
309 [ + - + - ]: 3534106 : m_network_counts[info.GetNetwork()].n_tried++;
310 : : } else {
311 : 60887 : nLost++;
312 : : }
313 : : }
314 : 3174 : nTried -= nLost;
315 : :
316 : : // Store positions in the new table buckets to apply later (if possible).
317 : : // An entry may appear in up to ADDRMAN_NEW_BUCKETS_PER_ADDRESS buckets,
318 : : // so we store all bucket-entry_index pairs to iterate through later.
319 : 3174 : std::vector<std::pair<int, int>> bucket_entries;
320 : :
321 [ + + ]: 1492296 : for (int bucket = 0; bucket < nUBuckets; ++bucket) {
322 [ + + ]: 1489228 : int num_entries{0};
323 : 1489195 : s >> num_entries;
324 [ + + ]: 7225491 : for (int n = 0; n < num_entries; ++n) {
325 [ + + ]: 5736369 : int entry_index{0};
326 : 5736296 : s >> entry_index;
327 [ + + + + ]: 5736296 : if (entry_index >= 0 && entry_index < nNew) {
328 [ + - ]: 5459502 : bucket_entries.emplace_back(bucket, entry_index);
329 : : }
330 : : }
331 : : }
332 : :
333 : : // If the bucket count and asmap checksum haven't changed, then attempt
334 : : // to restore the entries to the buckets/positions they were in before
335 : : // serialization.
336 [ + - ]: 3068 : uint256 supplied_asmap_checksum{m_netgroupman.GetAsmapChecksum()};
337 : 3068 : uint256 serialized_asmap_checksum;
338 [ + + ]: 3068 : if (format >= Format::V2_ASMAP) {
339 : 3048 : s >> serialized_asmap_checksum;
340 : : }
341 [ + + ]: 3048 : const bool restore_bucketing{nUBuckets == ADDRMAN_NEW_BUCKET_COUNT &&
342 [ + + ]: 1406 : serialized_asmap_checksum == supplied_asmap_checksum};
343 : :
344 : : if (!restore_bucketing) {
345 [ + - - + : 1647 : LogDebug(BCLog::ADDRMAN, "Bucketing method was updated, re-bucketing addrman entries from disk\n");
- - ]
346 : : }
347 : :
348 [ + + ]: 4616627 : for (auto bucket_entry : bucket_entries) {
349 : 4613579 : int bucket{bucket_entry.first};
350 : 4613579 : const int entry_index{bucket_entry.second};
351 [ + - ]: 4613579 : AddrInfo& info = mapInfo[entry_index];
352 : :
353 : : // Don't store the entry in the new bucket if it's not a valid address for our addrman
354 [ + - + + ]: 4613579 : if (!info.IsValid()) continue;
355 : :
356 : : // The entry shouldn't appear in more than
357 : : // ADDRMAN_NEW_BUCKETS_PER_ADDRESS. If it has already, just skip
358 : : // this bucket_entry.
359 [ + + ]: 4520610 : if (info.nRefCount >= ADDRMAN_NEW_BUCKETS_PER_ADDRESS) continue;
360 : :
361 [ + - ]: 4519324 : int bucket_position = info.GetBucketPosition(nKey, true, bucket);
362 [ + + + + ]: 4519324 : if (restore_bucketing && vvNew[bucket][bucket_position] == -1) {
363 : : // Bucketing has not changed, using existing bucket positions for the new table
364 : 4066940 : vvNew[bucket][bucket_position] = entry_index;
365 : 4066940 : ++info.nRefCount;
366 : : } else {
367 : : // In case the new table data cannot be used (bucket count wrong or new asmap),
368 : : // try to give them a reference based on their primary source address.
369 [ + - ]: 452384 : bucket = info.GetNewBucket(nKey, m_netgroupman);
370 [ + - ]: 452384 : bucket_position = info.GetBucketPosition(nKey, true, bucket);
371 [ + + ]: 452384 : if (vvNew[bucket][bucket_position] == -1) {
372 : 2474 : vvNew[bucket][bucket_position] = entry_index;
373 : 2474 : ++info.nRefCount;
374 : : }
375 : : }
376 : : }
377 : :
378 : : // Prune new entries with refcount 0 (as a result of collisions or invalid address).
379 : 3048 : int nLostUnk = 0;
380 [ + + ]: 7682932 : for (auto it = mapInfo.cbegin(); it != mapInfo.cend(); ) {
381 [ + + + + ]: 7679884 : if (it->second.fInTried == false && it->second.nRefCount == 0) {
382 [ + - ]: 241089 : const auto itCopy = it++;
383 [ + - ]: 241089 : Delete(itCopy->first);
384 : 241089 : ++nLostUnk;
385 : : } else {
386 : 7438795 : ++it;
387 : : }
388 : : }
389 [ + + ]: 3048 : if (nLost + nLostUnk > 0) {
390 [ + - - + : 841 : LogDebug(BCLog::ADDRMAN, "addrman lost %i new and %i tried addresses due to collisions or invalid addresses\n", nLostUnk, nLost);
- - ]
391 : : }
392 : :
393 [ + - ]: 3048 : const int check_code{CheckAddrman()};
394 [ + + ]: 3048 : if (check_code != 0) {
395 [ + - + - ]: 608 : throw std::ios_base::failure(strprintf(
396 : : "Corrupt data. Consistency check failed with code %s",
397 : : check_code));
398 : : }
399 [ + - ]: 5918 : }
400 : :
401 : 20977029 : AddrInfo* AddrManImpl::Find(const CService& addr, nid_type* pnId)
402 : : {
403 : 20977029 : AssertLockHeld(cs);
404 : :
405 : 20977029 : const auto it = mapAddr.find(addr);
406 [ + + ]: 20977029 : if (it == mapAddr.end())
407 : : return nullptr;
408 [ + + ]: 8524985 : if (pnId)
409 : 8499561 : *pnId = (*it).second;
410 : 8524985 : const auto it2 = mapInfo.find((*it).second);
411 [ + - ]: 8524985 : if (it2 != mapInfo.end())
412 : 8524985 : return &(*it2).second;
413 : : return nullptr;
414 : : }
415 : :
416 : 11492839 : AddrInfo* AddrManImpl::Create(const CAddress& addr, const CNetAddr& addrSource, nid_type* pnId)
417 : : {
418 : 11492839 : AssertLockHeld(cs);
419 : :
420 : 11492839 : nid_type nId = nIdCount++;
421 [ + - ]: 11492839 : mapInfo[nId] = AddrInfo(addr, addrSource);
422 : 11492839 : mapAddr[addr] = nId;
423 : 11492839 : mapInfo[nId].nRandomPos = vRandom.size();
424 : 11492839 : vRandom.push_back(nId);
425 : 11492839 : nNew++;
426 : 11492839 : m_network_counts[addr.GetNetwork()].n_new++;
427 [ + - ]: 11492839 : if (pnId)
428 : 11492839 : *pnId = nId;
429 : 11492839 : return &mapInfo[nId];
430 : : }
431 : :
432 : 10799624 : void AddrManImpl::SwapRandom(unsigned int nRndPos1, unsigned int nRndPos2) const
433 : : {
434 : 10799624 : AssertLockHeld(cs);
435 : :
436 [ + + ]: 10799624 : if (nRndPos1 == nRndPos2)
437 : : return;
438 : :
439 [ + - - + ]: 9759582 : assert(nRndPos1 < vRandom.size() && nRndPos2 < vRandom.size());
440 : :
441 : 9759582 : nid_type nId1 = vRandom[nRndPos1];
442 : 9759582 : nid_type nId2 = vRandom[nRndPos2];
443 : :
444 : 9759582 : const auto it_1{mapInfo.find(nId1)};
445 : 9759582 : const auto it_2{mapInfo.find(nId2)};
446 [ - + ]: 9759582 : assert(it_1 != mapInfo.end());
447 [ - + ]: 9759582 : assert(it_2 != mapInfo.end());
448 : :
449 : 9759582 : it_1->second.nRandomPos = nRndPos2;
450 : 9759582 : it_2->second.nRandomPos = nRndPos1;
451 : :
452 : 9759582 : vRandom[nRndPos1] = nId2;
453 : 9759582 : vRandom[nRndPos2] = nId1;
454 : : }
455 : :
456 : 3320474 : void AddrManImpl::Delete(nid_type nId)
457 : : {
458 : 3320474 : AssertLockHeld(cs);
459 : :
460 [ - + ]: 3320474 : assert(mapInfo.count(nId) != 0);
461 : 3320474 : AddrInfo& info = mapInfo[nId];
462 [ - + ]: 3320474 : assert(!info.fInTried);
463 [ - + ]: 3320474 : assert(info.nRefCount == 0);
464 : :
465 : 3320474 : SwapRandom(info.nRandomPos, vRandom.size() - 1);
466 : 3320474 : m_network_counts[info.GetNetwork()].n_new--;
467 : 3320474 : vRandom.pop_back();
468 : 3320474 : mapAddr.erase(info);
469 : 3320474 : mapInfo.erase(nId);
470 : 3320474 : nNew--;
471 : 3320474 : }
472 : :
473 : 10966198 : void AddrManImpl::ClearNew(int nUBucket, int nUBucketPos)
474 : : {
475 : 10966198 : AssertLockHeld(cs);
476 : :
477 : : // if there is an entry in the specified bucket, delete it.
478 [ + + ]: 10966198 : if (vvNew[nUBucket][nUBucketPos] != -1) {
479 : 2319804 : nid_type nIdDelete = vvNew[nUBucket][nUBucketPos];
480 : 2319804 : AddrInfo& infoDelete = mapInfo[nIdDelete];
481 [ - + ]: 2319804 : assert(infoDelete.nRefCount > 0);
482 : 2319804 : infoDelete.nRefCount--;
483 : 2319804 : vvNew[nUBucket][nUBucketPos] = -1;
484 [ - + - - ]: 2319804 : LogDebug(BCLog::ADDRMAN, "Removed %s from new[%i][%i]\n", infoDelete.ToStringAddrPort(), nUBucket, nUBucketPos);
485 [ + + ]: 2319804 : if (infoDelete.nRefCount == 0) {
486 : 2197441 : Delete(nIdDelete);
487 : : }
488 : : }
489 : 10966198 : }
490 : :
491 : 3576041 : void AddrManImpl::MakeTried(AddrInfo& info, nid_type nId)
492 : : {
493 : 3576041 : AssertLockHeld(cs);
494 : :
495 : : // remove the entry from all new buckets
496 : 3576041 : const int start_bucket{info.GetNewBucket(nKey, m_netgroupman)};
497 [ + - ]: 11025878 : for (int n = 0; n < ADDRMAN_NEW_BUCKET_COUNT; ++n) {
498 : 11025878 : const int bucket{(start_bucket + n) % ADDRMAN_NEW_BUCKET_COUNT};
499 : 11025878 : const int pos{info.GetBucketPosition(nKey, true, bucket)};
500 [ + + ]: 11025878 : if (vvNew[bucket][pos] == nId) {
501 : 3592508 : vvNew[bucket][pos] = -1;
502 : 3592508 : info.nRefCount--;
503 [ + + ]: 3592508 : if (info.nRefCount == 0) break;
504 : : }
505 : : }
506 : 3576041 : nNew--;
507 : 3576041 : m_network_counts[info.GetNetwork()].n_new--;
508 : :
509 [ - + ]: 3576041 : assert(info.nRefCount == 0);
510 : :
511 : : // which tried bucket to move the entry to
512 : 3576041 : int nKBucket = info.GetTriedBucket(nKey, m_netgroupman);
513 : 3576041 : int nKBucketPos = info.GetBucketPosition(nKey, false, nKBucket);
514 : :
515 : : // first make space to add it (the existing tried entry there is moved to new, deleting whatever is there).
516 [ + + ]: 3576041 : if (vvTried[nKBucket][nKBucketPos] != -1) {
517 : : // find an item to evict
518 : 3576 : nid_type nIdEvict = vvTried[nKBucket][nKBucketPos];
519 [ - + ]: 3576 : assert(mapInfo.count(nIdEvict) == 1);
520 : 3576 : AddrInfo& infoOld = mapInfo[nIdEvict];
521 : :
522 : : // Remove the to-be-evicted item from the tried set.
523 : 3576 : infoOld.fInTried = false;
524 : 3576 : vvTried[nKBucket][nKBucketPos] = -1;
525 : 3576 : nTried--;
526 : 3576 : m_network_counts[infoOld.GetNetwork()].n_tried--;
527 : :
528 : : // find which new bucket it belongs to
529 : 3576 : int nUBucket = infoOld.GetNewBucket(nKey, m_netgroupman);
530 : 3576 : int nUBucketPos = infoOld.GetBucketPosition(nKey, true, nUBucket);
531 : 3576 : ClearNew(nUBucket, nUBucketPos);
532 [ - + ]: 3576 : assert(vvNew[nUBucket][nUBucketPos] == -1);
533 : :
534 : : // Enter it into the new set again.
535 : 3576 : infoOld.nRefCount = 1;
536 : 3576 : vvNew[nUBucket][nUBucketPos] = nIdEvict;
537 : 3576 : nNew++;
538 : 3576 : m_network_counts[infoOld.GetNetwork()].n_new++;
539 [ - + - - ]: 3576 : LogDebug(BCLog::ADDRMAN, "Moved %s from tried[%i][%i] to new[%i][%i] to make space\n",
540 : : infoOld.ToStringAddrPort(), nKBucket, nKBucketPos, nUBucket, nUBucketPos);
541 : : }
542 [ - + ]: 3576041 : assert(vvTried[nKBucket][nKBucketPos] == -1);
543 : :
544 : 3576041 : vvTried[nKBucket][nKBucketPos] = nId;
545 : 3576041 : nTried++;
546 : 3576041 : info.fInTried = true;
547 : 3576041 : m_network_counts[info.GetNetwork()].n_tried++;
548 : 3576041 : }
549 : :
550 : 14627820 : bool AddrManImpl::AddSingle(const CAddress& addr, const CNetAddr& source, std::chrono::seconds time_penalty)
551 : : {
552 : 14627820 : AssertLockHeld(cs);
553 : :
554 [ + + ]: 14627820 : if (!addr.IsRoutable())
555 : : return false;
556 : :
557 : 14515528 : nid_type nId;
558 : 14515528 : AddrInfo* pinfo = Find(addr, &nId);
559 : :
560 : : // Do not set a penalty for a source's self-announcement
561 [ + + ]: 14515528 : if (addr == source) {
562 : 289266 : time_penalty = 0s;
563 : : }
564 : :
565 [ + + ]: 14515528 : if (pinfo) {
566 : : // periodically update nTime
567 : 3022689 : const bool currently_online{NodeClock::now() - addr.nTime < 24h};
568 [ + + ]: 3022689 : const auto update_interval{currently_online ? 1h : 24h};
569 [ + + ]: 3022689 : if (pinfo->nTime < addr.nTime - update_interval - time_penalty) {
570 : 186348 : pinfo->nTime = std::max(NodeSeconds{0s}, addr.nTime - time_penalty);
571 : : }
572 : :
573 : : // add services
574 : 3022689 : pinfo->nServices = ServiceFlags(pinfo->nServices | addr.nServices);
575 : :
576 : : // do not update if no new information is present
577 [ + + ]: 3022689 : if (addr.nTime <= pinfo->nTime) {
578 : : return false;
579 : : }
580 : :
581 : : // do not update if the entry was already in the "tried" table
582 [ + + ]: 2430446 : if (pinfo->fInTried)
583 : : return false;
584 : :
585 : : // do not update if the max reference count is reached
586 [ + + ]: 1492052 : if (pinfo->nRefCount == ADDRMAN_NEW_BUCKETS_PER_ADDRESS)
587 : : return false;
588 : :
589 : : // stochastic test: previous nRefCount == N: 2^N times harder to increase it
590 [ + - ]: 1490335 : if (pinfo->nRefCount > 0) {
591 : 1490335 : const int nFactor{1 << pinfo->nRefCount};
592 [ + + ]: 1490335 : if (insecure_rand.randrange(nFactor) != 0) return false;
593 : : }
594 : : } else {
595 : 11492839 : pinfo = Create(addr, source, &nId);
596 : 11492839 : pinfo->nTime = std::max(NodeSeconds{0s}, pinfo->nTime - time_penalty);
597 : : }
598 : :
599 : 12130702 : int nUBucket = pinfo->GetNewBucket(nKey, source, m_netgroupman);
600 : 12130702 : int nUBucketPos = pinfo->GetBucketPosition(nKey, true, nUBucket);
601 : 12130702 : bool fInsert = vvNew[nUBucket][nUBucketPos] == -1;
602 [ + + ]: 12130702 : if (vvNew[nUBucket][nUBucketPos] != nId) {
603 [ + + ]: 11867505 : if (!fInsert) {
604 : 3224392 : AddrInfo& infoExisting = mapInfo[vvNew[nUBucket][nUBucketPos]];
605 [ + + + + : 3224392 : if (infoExisting.IsTerrible() || (infoExisting.nRefCount > 1 && pinfo->nRefCount == 0)) {
+ + ]
606 : : // Overwrite the existing new table entry.
607 : : fInsert = true;
608 : : }
609 : : }
610 [ + + ]: 9547996 : if (fInsert) {
611 : 10962622 : ClearNew(nUBucket, nUBucketPos);
612 : 10962622 : pinfo->nRefCount++;
613 : 10962622 : vvNew[nUBucket][nUBucketPos] = nId;
614 : 10962622 : const auto mapped_as{m_netgroupman.GetMappedAS(addr)};
615 [ - + - - : 10962622 : LogDebug(BCLog::ADDRMAN, "Added %s%s to new[%i][%i]\n",
- - - - ]
616 : : addr.ToStringAddrPort(), (mapped_as ? strprintf(" mapped to AS%i", mapped_as) : ""), nUBucket, nUBucketPos);
617 : : } else {
618 [ + + ]: 904883 : if (pinfo->nRefCount == 0) {
619 : 881944 : Delete(nId);
620 : : }
621 : : }
622 : : }
623 : : return fInsert;
624 : : }
625 : :
626 : 6394198 : bool AddrManImpl::Good_(const CService& addr, bool test_before_evict, NodeSeconds time)
627 : : {
628 : 6394198 : AssertLockHeld(cs);
629 : :
630 : 6394198 : nid_type nId;
631 : :
632 : 6394198 : m_last_good = time;
633 : :
634 : 6394198 : AddrInfo* pinfo = Find(addr, &nId);
635 : :
636 : : // if not found, bail out
637 [ + + ]: 6394198 : if (!pinfo) return false;
638 : :
639 : 5476872 : AddrInfo& info = *pinfo;
640 : :
641 : : // update info
642 : 5476872 : info.m_last_success = time;
643 : 5476872 : info.m_last_try = time;
644 : 5476872 : info.nAttempts = 0;
645 : : // nTime is not updated here, to avoid leaking information about
646 : : // currently-connected peers.
647 : :
648 : : // if it is already in the tried set, don't do anything else
649 [ + + ]: 5476872 : if (info.fInTried) return false;
650 : :
651 : : // if it is not in new, something bad happened
652 [ + - ]: 4983881 : if (!Assume(info.nRefCount > 0)) return false;
653 : :
654 : :
655 : : // which tried bucket to move the entry to
656 : 4983881 : int tried_bucket = info.GetTriedBucket(nKey, m_netgroupman);
657 : 4983881 : int tried_bucket_pos = info.GetBucketPosition(nKey, false, tried_bucket);
658 : :
659 : : // Will moving this address into tried evict another entry?
660 [ + + + + ]: 4983881 : if (test_before_evict && (vvTried[tried_bucket][tried_bucket_pos] != -1)) {
661 [ + + ]: 1407840 : if (m_tried_collisions.size() < ADDRMAN_SET_TRIED_COLLISION_SIZE) {
662 : 30524 : m_tried_collisions.insert(nId);
663 : : }
664 : : // Output the entry we'd be colliding with, for debugging purposes
665 : 1407840 : auto colliding_entry = mapInfo.find(vvTried[tried_bucket][tried_bucket_pos]);
666 [ - + - - : 1407840 : LogDebug(BCLog::ADDRMAN, "Collision with %s while attempting to move %s to tried table. Collisions=%d\n",
- - - - -
- ]
667 : : colliding_entry != mapInfo.end() ? colliding_entry->second.ToStringAddrPort() : "",
668 : : addr.ToStringAddrPort(),
669 : : m_tried_collisions.size());
670 : 1407840 : return false;
671 : : } else {
672 : : // move nId to the tried tables
673 : 3576041 : MakeTried(info, nId);
674 : 3576041 : const auto mapped_as{m_netgroupman.GetMappedAS(addr)};
675 [ - + - - : 3576041 : LogDebug(BCLog::ADDRMAN, "Moved %s%s to tried[%i][%i]\n",
- - - - ]
676 : : addr.ToStringAddrPort(), (mapped_as ? strprintf(" mapped to AS%i", mapped_as) : ""), tried_bucket, tried_bucket_pos);
677 : 3576041 : return true;
678 : : }
679 : : }
680 : :
681 : 11025959 : bool AddrManImpl::Add_(const std::vector<CAddress>& vAddr, const CNetAddr& source, std::chrono::seconds time_penalty)
682 : : {
683 : 11025959 : int added{0};
684 [ + + ]: 25653779 : for (std::vector<CAddress>::const_iterator it = vAddr.begin(); it != vAddr.end(); it++) {
685 [ + + ]: 18293018 : added += AddSingle(*it, source, time_penalty) ? 1 : 0;
686 : : }
687 [ + + ]: 11025959 : if (added > 0) {
688 [ - + - - ]: 8731654 : LogDebug(BCLog::ADDRMAN, "Added %i addresses (of %i) from %s: %i tried, %i new\n", added, vAddr.size(), source.ToStringAddr(), nTried, nNew);
689 : : }
690 : 11025959 : return added > 0;
691 : : }
692 : :
693 : 6365 : void AddrManImpl::Attempt_(const CService& addr, bool fCountFailure, NodeSeconds time)
694 : : {
695 : 6365 : AssertLockHeld(cs);
696 : :
697 : 6365 : AddrInfo* pinfo = Find(addr);
698 : :
699 : : // if not found, bail out
700 [ + + ]: 6365 : if (!pinfo)
701 : : return;
702 : :
703 : 3474 : AddrInfo& info = *pinfo;
704 : :
705 : : // update info
706 : 3474 : info.m_last_try = time;
707 [ + + + + ]: 3474 : if (fCountFailure && info.m_last_count_attempt < m_last_good) {
708 : 2098 : info.m_last_count_attempt = time;
709 : 2098 : info.nAttempts++;
710 : : }
711 : : }
712 : :
713 : 1911 : std::pair<CAddress, NodeSeconds> AddrManImpl::Select_(bool new_only, const std::unordered_set<Network>& networks) const
714 : : {
715 : 1911 : AssertLockHeld(cs);
716 : :
717 [ + + ]: 1911 : if (vRandom.empty()) return {};
718 : :
719 : 1288 : size_t new_count = nNew;
720 : 1288 : size_t tried_count = nTried;
721 : :
722 [ + + ]: 1288 : if (!networks.empty()) {
723 : 350 : new_count = 0;
724 : 350 : tried_count = 0;
725 [ + + ]: 1883 : for (auto& network : networks) {
726 : 1533 : auto it = m_network_counts.find(network);
727 [ + + ]: 1533 : if (it == m_network_counts.end()) {
728 : 886 : continue;
729 : : }
730 : 647 : auto counts = it->second;
731 : 647 : new_count += counts.n_new;
732 : 647 : tried_count += counts.n_tried;
733 : : }
734 : : }
735 : :
736 [ + + ]: 1288 : if (new_only && new_count == 0) return {};
737 [ + + ]: 1271 : if (new_count + tried_count == 0) return {};
738 : :
739 : : // Decide if we are going to search the new or tried table
740 : : // If either option is viable, use a 50% chance to choose
741 : 1228 : bool search_tried;
742 [ + + ]: 1228 : if (new_only || tried_count == 0) {
743 : : search_tried = false;
744 [ + + ]: 250 : } else if (new_count == 0) {
745 : : search_tried = true;
746 : : } else {
747 : 195 : search_tried = insecure_rand.randbool();
748 : : }
749 : :
750 [ + + ]: 195 : const int bucket_count{search_tried ? ADDRMAN_TRIED_BUCKET_COUNT : ADDRMAN_NEW_BUCKET_COUNT};
751 : :
752 : : // Loop through the addrman table until we find an appropriate entry
753 : 1228 : double chance_factor = 1.0;
754 : 2574115 : while (1) {
755 : : // Pick a bucket, and an initial position in that bucket.
756 : 2574115 : int bucket = insecure_rand.randrange(bucket_count);
757 : 2574115 : int initial_position = insecure_rand.randrange(ADDRMAN_BUCKET_SIZE);
758 : :
759 : : // Iterate over the positions of that bucket, starting at the initial one,
760 : : // and looping around.
761 : 2574115 : int i, position;
762 : 2574115 : nid_type node_id;
763 [ + + ]: 167177583 : for (i = 0; i < ADDRMAN_BUCKET_SIZE; ++i) {
764 : 164607426 : position = (initial_position + i) % ADDRMAN_BUCKET_SIZE;
765 : 164607426 : node_id = GetEntry(search_tried, bucket, position);
766 [ + + ]: 164607426 : if (node_id != -1) {
767 [ + + ]: 30796 : if (!networks.empty()) {
768 : 27440 : const auto it{mapInfo.find(node_id)};
769 [ + - + + ]: 27440 : if (Assume(it != mapInfo.end()) && networks.contains(it->second.GetNetwork())) break;
770 : : } else {
771 : : break;
772 : : }
773 : : }
774 : : }
775 : :
776 : : // If the bucket is entirely empty, start over with a (likely) different one.
777 [ + + ]: 2574115 : if (i == ADDRMAN_BUCKET_SIZE) continue;
778 : :
779 : : // Find the entry to return.
780 : 3958 : const auto it_found{mapInfo.find(node_id)};
781 [ - + ]: 3958 : assert(it_found != mapInfo.end());
782 : 3958 : const AddrInfo& info{it_found->second};
783 : :
784 : : // With probability GetChance() * chance_factor, return the entry.
785 [ + + ]: 3958 : if (insecure_rand.randbits<30>() < chance_factor * info.GetChance() * (1 << 30)) {
786 [ - + - - : 1228 : LogDebug(BCLog::ADDRMAN, "Selected %s from %s\n", info.ToStringAddrPort(), search_tried ? "tried" : "new");
- - ]
787 : 1228 : return {info, info.m_last_try};
788 : : }
789 : :
790 : : // Otherwise start over with a (likely) different bucket, and increased chance factor.
791 : 2730 : chance_factor *= 1.2;
792 : : }
793 : : }
794 : :
795 : 164689346 : nid_type AddrManImpl::GetEntry(bool use_tried, size_t bucket, size_t position) const
796 : : {
797 : 164689346 : AssertLockHeld(cs);
798 : :
799 [ + + ]: 164689346 : if (use_tried) {
800 [ + - + - ]: 11988017 : if (Assume(position < ADDRMAN_BUCKET_SIZE) && Assume(bucket < ADDRMAN_TRIED_BUCKET_COUNT)) {
801 : 11988017 : return vvTried[bucket][position];
802 : : }
803 : : } else {
804 [ + - + - ]: 152701329 : if (Assume(position < ADDRMAN_BUCKET_SIZE) && Assume(bucket < ADDRMAN_NEW_BUCKET_COUNT)) {
805 : 152701329 : return vvNew[bucket][position];
806 : : }
807 : : }
808 : :
809 : : return -1;
810 : : }
811 : :
812 : 69234 : std::vector<CAddress> AddrManImpl::GetAddr_(size_t max_addresses, size_t max_pct, std::optional<Network> network, const bool filtered) const
813 : : {
814 : 69234 : AssertLockHeld(cs);
815 : 69234 : Assume(max_pct <= 100);
816 : :
817 [ + + ]: 69234 : size_t nNodes = vRandom.size();
818 [ + + ]: 69234 : if (max_pct != 0) {
819 [ + - ]: 56917 : max_pct = std::min(max_pct, size_t{100});
820 : 56917 : nNodes = max_pct * nNodes / 100;
821 : : }
822 [ + + ]: 69234 : if (max_addresses != 0) {
823 [ + + ]: 119708 : nNodes = std::min(nNodes, max_addresses);
824 : : }
825 : :
826 : : // gather a list of random nodes, skipping those of low quality
827 : 69234 : const auto now{Now<NodeSeconds>()};
828 : 69234 : std::vector<CAddress> addresses;
829 [ + - ]: 69234 : addresses.reserve(nNodes);
830 [ + + ]: 7548384 : for (unsigned int n = 0; n < vRandom.size(); n++) {
831 [ + + ]: 7481300 : if (addresses.size() >= nNodes)
832 : : break;
833 : :
834 : 7479150 : int nRndPos = insecure_rand.randrange(vRandom.size() - n) + n;
835 [ + - ]: 7479150 : SwapRandom(n, nRndPos);
836 : 7479150 : const auto it{mapInfo.find(vRandom[n])};
837 [ - + ]: 7479150 : assert(it != mapInfo.end());
838 : :
839 [ + + ]: 7479150 : const AddrInfo& ai{it->second};
840 : :
841 : : // Filter by network (optional)
842 [ + + + - : 7479150 : if (network != std::nullopt && ai.GetNetClass() != network) continue;
+ + ]
843 : :
844 : : // Filter for quality
845 [ + - + + : 7321827 : if (ai.IsTerrible(now) && filtered) continue;
+ + ]
846 : :
847 [ + - ]: 728098 : addresses.push_back(ai);
848 : : }
849 [ + - + + : 69234 : LogDebug(BCLog::ADDRMAN, "GetAddr returned %d random addresses\n", addresses.size());
+ - ]
850 : 69234 : return addresses;
851 : 0 : }
852 : :
853 : 2 : std::vector<std::pair<AddrInfo, AddressPosition>> AddrManImpl::GetEntries_(bool from_tried) const
854 : : {
855 : 2 : AssertLockHeld(cs);
856 : :
857 [ + + ]: 2 : const int bucket_count = from_tried ? ADDRMAN_TRIED_BUCKET_COUNT : ADDRMAN_NEW_BUCKET_COUNT;
858 : 2 : std::vector<std::pair<AddrInfo, AddressPosition>> infos;
859 [ + + ]: 1282 : for (int bucket = 0; bucket < bucket_count; ++bucket) {
860 [ + + ]: 83200 : for (int position = 0; position < ADDRMAN_BUCKET_SIZE; ++position) {
861 [ + - ]: 81920 : nid_type id = GetEntry(from_tried, bucket, position);
862 [ - + ]: 81920 : if (id >= 0) {
863 [ # # ]: 0 : AddrInfo info = mapInfo.at(id);
864 : 0 : AddressPosition location = AddressPosition(
865 : : from_tried,
866 : : /*multiplicity_in=*/from_tried ? 1 : info.nRefCount,
867 : : bucket,
868 [ # # # # ]: 0 : position);
869 [ # # ]: 0 : infos.emplace_back(info, location);
870 : 0 : }
871 : : }
872 : : }
873 : :
874 : 2 : return infos;
875 : 0 : }
876 : :
877 : 22595 : void AddrManImpl::Connected_(const CService& addr, NodeSeconds time)
878 : : {
879 : 22595 : AssertLockHeld(cs);
880 : :
881 : 22595 : AddrInfo* pinfo = Find(addr);
882 : :
883 : : // if not found, bail out
884 [ + + ]: 22595 : if (!pinfo)
885 : : return;
886 : :
887 : 8079 : AddrInfo& info = *pinfo;
888 : :
889 : : // update info
890 : 8079 : const auto update_interval{20min};
891 [ + + ]: 8079 : if (time - info.nTime > update_interval) {
892 : 855 : info.nTime = time;
893 : : }
894 : : }
895 : :
896 : 38343 : void AddrManImpl::SetServices_(const CService& addr, ServiceFlags nServices)
897 : : {
898 : 38343 : AssertLockHeld(cs);
899 : :
900 : 38343 : AddrInfo* pinfo = Find(addr);
901 : :
902 : : // if not found, bail out
903 [ + + ]: 38343 : if (!pinfo)
904 : : return;
905 : :
906 : 13871 : AddrInfo& info = *pinfo;
907 : :
908 : : // update info
909 : 13871 : info.nServices = nServices;
910 : : }
911 : :
912 : 7560 : void AddrManImpl::ResolveCollisions_()
913 : : {
914 : 7560 : AssertLockHeld(cs);
915 : :
916 [ + + ]: 37540 : for (std::set<nid_type>::iterator it = m_tried_collisions.begin(); it != m_tried_collisions.end();) {
917 : 29980 : nid_type id_new = *it;
918 : :
919 : 29980 : bool erase_collision = false;
920 : :
921 : : // If id_new not found in mapInfo remove it from m_tried_collisions
922 [ + + ]: 29980 : if (mapInfo.count(id_new) != 1) {
923 : : erase_collision = true;
924 : : } else {
925 : 29803 : AddrInfo& info_new = mapInfo[id_new];
926 : :
927 : : // Which tried bucket to move the entry to.
928 : 29803 : int tried_bucket = info_new.GetTriedBucket(nKey, m_netgroupman);
929 : 29803 : int tried_bucket_pos = info_new.GetBucketPosition(nKey, false, tried_bucket);
930 [ + - ]: 29803 : if (!info_new.IsValid()) { // id_new may no longer map to a valid address
931 : : erase_collision = true;
932 [ + - ]: 29803 : } else if (vvTried[tried_bucket][tried_bucket_pos] != -1) { // The position in the tried bucket is not empty
933 : :
934 : : // Get the to-be-evicted address that is being tested
935 : 29803 : nid_type id_old = vvTried[tried_bucket][tried_bucket_pos];
936 : 29803 : AddrInfo& info_old = mapInfo[id_old];
937 : :
938 : 29803 : const auto current_time{Now<NodeSeconds>()};
939 : :
940 : : // Has successfully connected in last X hours
941 [ + + ]: 29803 : if (current_time - info_old.m_last_success < ADDRMAN_REPLACEMENT) {
942 : : erase_collision = true;
943 [ + + ]: 20301 : } else if (current_time - info_old.m_last_try < ADDRMAN_REPLACEMENT) { // attempted to connect and failed in last X hours
944 : :
945 : : // Give address at least 60 seconds to successfully connect
946 [ + + ]: 524 : if (current_time - info_old.m_last_try > 60s) {
947 [ - + - - : 1 : LogDebug(BCLog::ADDRMAN, "Replacing %s with %s in tried table\n", info_old.ToStringAddrPort(), info_new.ToStringAddrPort());
- - ]
948 : :
949 : : // Replaces an existing address already in the tried table with the new address
950 : 1 : Good_(info_new, false, current_time);
951 : 1 : erase_collision = true;
952 : : }
953 [ + + ]: 19777 : } else if (current_time - info_new.m_last_success > ADDRMAN_TEST_WINDOW) {
954 : : // If the collision hasn't resolved in some reasonable amount of time,
955 : : // just evict the old entry -- we must not be able to
956 : : // connect to it for some reason.
957 [ - + - - : 3575 : LogDebug(BCLog::ADDRMAN, "Unable to test; replacing %s with %s in tried table anyway\n", info_old.ToStringAddrPort(), info_new.ToStringAddrPort());
- - ]
958 : 3575 : Good_(info_new, false, current_time);
959 : 3575 : erase_collision = true;
960 : : }
961 : : } else { // Collision is not actually a collision anymore
962 : 0 : Good_(info_new, false, Now<NodeSeconds>());
963 : 0 : erase_collision = true;
964 : : }
965 : : }
966 : :
967 : 3576 : if (erase_collision) {
968 : 13255 : m_tried_collisions.erase(it++);
969 : : } else {
970 : 16725 : it++;
971 : : }
972 : : }
973 : 7560 : }
974 : :
975 : 91762 : std::pair<CAddress, NodeSeconds> AddrManImpl::SelectTriedCollision_()
976 : : {
977 : 91762 : AssertLockHeld(cs);
978 : :
979 [ + + ]: 91762 : if (m_tried_collisions.size() == 0) return {};
980 : :
981 : 68227 : std::set<nid_type>::iterator it = m_tried_collisions.begin();
982 : :
983 : : // Selects a random element from m_tried_collisions
984 : 68227 : std::advance(it, insecure_rand.randrange(m_tried_collisions.size()));
985 : 68227 : nid_type id_new = *it;
986 : :
987 : : // If id_new not found in mapInfo remove it from m_tried_collisions
988 [ + + ]: 68227 : if (mapInfo.count(id_new) != 1) {
989 : 195 : m_tried_collisions.erase(it);
990 : 195 : return {};
991 : : }
992 : :
993 : 68032 : const AddrInfo& newInfo = mapInfo[id_new];
994 : :
995 : : // which tried bucket to move the entry to
996 : 68032 : int tried_bucket = newInfo.GetTriedBucket(nKey, m_netgroupman);
997 : 68032 : int tried_bucket_pos = newInfo.GetBucketPosition(nKey, false, tried_bucket);
998 : :
999 : 68032 : const AddrInfo& info_old = mapInfo[vvTried[tried_bucket][tried_bucket_pos]];
1000 : 68032 : return {info_old, info_old.m_last_try};
1001 : : }
1002 : :
1003 : 0 : std::optional<AddressPosition> AddrManImpl::FindAddressEntry_(const CAddress& addr)
1004 : : {
1005 : 0 : AssertLockHeld(cs);
1006 : :
1007 : 0 : AddrInfo* addr_info = Find(addr);
1008 : :
1009 [ # # ]: 0 : if (!addr_info) return std::nullopt;
1010 : :
1011 [ # # ]: 0 : if(addr_info->fInTried) {
1012 : 0 : int bucket{addr_info->GetTriedBucket(nKey, m_netgroupman)};
1013 : 0 : return AddressPosition(/*tried_in=*/true,
1014 : : /*multiplicity_in=*/1,
1015 : : /*bucket_in=*/bucket,
1016 : 0 : /*position_in=*/addr_info->GetBucketPosition(nKey, false, bucket));
1017 : : } else {
1018 : 0 : int bucket{addr_info->GetNewBucket(nKey, m_netgroupman)};
1019 : 0 : return AddressPosition(/*tried_in=*/false,
1020 : : /*multiplicity_in=*/addr_info->nRefCount,
1021 : : /*bucket_in=*/bucket,
1022 : 0 : /*position_in=*/addr_info->GetBucketPosition(nKey, true, bucket));
1023 : : }
1024 : : }
1025 : :
1026 : 7874149 : size_t AddrManImpl::Size_(std::optional<Network> net, std::optional<bool> in_new) const
1027 : : {
1028 : 7874149 : AssertLockHeld(cs);
1029 : :
1030 [ + + ]: 7874149 : if (!net.has_value()) {
1031 [ + + ]: 7873906 : if (in_new.has_value()) {
1032 [ + + ]: 102 : return *in_new ? nNew : nTried;
1033 : : } else {
1034 : 7873804 : return vRandom.size();
1035 : : }
1036 : : }
1037 [ + + ]: 243 : if (auto it = m_network_counts.find(*net); it != m_network_counts.end()) {
1038 [ + + ]: 126 : auto net_count = it->second;
1039 [ + + ]: 126 : if (in_new.has_value()) {
1040 [ + + ]: 84 : return *in_new ? net_count.n_new : net_count.n_tried;
1041 : : } else {
1042 : 42 : return net_count.n_new + net_count.n_tried;
1043 : : }
1044 : : }
1045 : : return 0;
1046 : : }
1047 : :
1048 : 51057004 : void AddrManImpl::Check() const
1049 : : {
1050 : 51057004 : AssertLockHeld(cs);
1051 : :
1052 : : // Run consistency checks 1 in m_consistency_check_ratio times if enabled
1053 [ - + ]: 51057004 : if (m_consistency_check_ratio == 0) return;
1054 [ # # ]: 0 : if (insecure_rand.randrange(m_consistency_check_ratio) >= 1) return;
1055 : :
1056 : 0 : const int err{CheckAddrman()};
1057 [ # # ]: 0 : if (err) {
1058 : 0 : LogPrintf("ADDRMAN CONSISTENCY CHECK FAILED!!! err=%i\n", err);
1059 : 0 : assert(false);
1060 : : }
1061 : : }
1062 : :
1063 : 3048 : int AddrManImpl::CheckAddrman() const
1064 : : {
1065 : 3048 : AssertLockHeld(cs);
1066 : :
1067 [ + - + - ]: 6096 : LOG_TIME_MILLIS_WITH_CATEGORY_MSG_ONCE(
1068 : : strprintf("new %i, tried %i, total %u", nNew, nTried, vRandom.size()), BCLog::ADDRMAN);
1069 : :
1070 [ + - ]: 3048 : std::unordered_set<nid_type> setTried;
1071 [ + - ]: 3048 : std::unordered_map<nid_type, int> mapNew;
1072 : 3048 : std::unordered_map<Network, NewTriedCount> local_counts;
1073 : :
1074 [ + - ]: 3048 : if (vRandom.size() != (size_t)(nTried + nNew))
1075 : : return -7;
1076 : :
1077 [ + + ]: 7440473 : for (const auto& entry : mapInfo) {
1078 : 7437723 : nid_type n = entry.first;
1079 : 7437723 : const AddrInfo& info = entry.second;
1080 [ + + ]: 7437723 : if (info.fInTried) {
1081 [ + + ]: 3529663 : if (!TicksSinceEpoch<std::chrono::seconds>(info.m_last_success)) {
1082 : : return -1;
1083 : : }
1084 [ + - ]: 3529630 : if (info.nRefCount)
1085 : : return -2;
1086 [ + - ]: 3529630 : setTried.insert(n);
1087 [ + - + - ]: 3529630 : local_counts[info.GetNetwork()].n_tried++;
1088 : : } else {
1089 [ + - ]: 3908060 : if (info.nRefCount < 0 || info.nRefCount > ADDRMAN_NEW_BUCKETS_PER_ADDRESS)
1090 : : return -3;
1091 [ + - ]: 3908060 : if (!info.nRefCount)
1092 : : return -4;
1093 [ + - ]: 3908060 : mapNew[n] = info.nRefCount;
1094 [ + - + - ]: 3908060 : local_counts[info.GetNetwork()].n_new++;
1095 : : }
1096 [ + - ]: 7437690 : const auto it{mapAddr.find(info)};
1097 [ + + + + ]: 7437690 : if (it == mapAddr.end() || it->second != n) {
1098 : : return -5;
1099 : : }
1100 [ + - + - : 7437652 : if (info.nRandomPos < 0 || (size_t)info.nRandomPos >= vRandom.size() || vRandom[info.nRandomPos] != n)
+ - ]
1101 : : return -14;
1102 [ + - ]: 7437652 : if (info.m_last_try < NodeSeconds{0s}) {
1103 : : return -6;
1104 : : }
1105 [ + + ]: 7437652 : if (info.m_last_success < NodeSeconds{0s}) {
1106 : : return -8;
1107 : : }
1108 : : }
1109 : :
1110 [ + - ]: 2750 : if (setTried.size() != (size_t)nTried)
1111 : : return -9;
1112 [ + - ]: 2750 : if (mapNew.size() != (size_t)nNew)
1113 : : return -10;
1114 : :
1115 [ + + ]: 706750 : for (int n = 0; n < ADDRMAN_TRIED_BUCKET_COUNT; n++) {
1116 [ + + ]: 45760000 : for (int i = 0; i < ADDRMAN_BUCKET_SIZE; i++) {
1117 [ + + ]: 45056000 : if (vvTried[n][i] != -1) {
1118 [ + - ]: 3529145 : if (!setTried.count(vvTried[n][i]))
1119 : : return -11;
1120 : 3529145 : const auto it{mapInfo.find(vvTried[n][i])};
1121 [ + - + - : 3529145 : if (it == mapInfo.end() || it->second.GetTriedBucket(nKey, m_netgroupman) != n) {
+ - ]
1122 : 0 : return -17;
1123 : : }
1124 [ + - + - ]: 3529145 : if (it->second.GetBucketPosition(nKey, false, n) != i) {
1125 : : return -18;
1126 : : }
1127 : 3529145 : setTried.erase(vvTried[n][i]);
1128 : : }
1129 : : }
1130 : : }
1131 : :
1132 [ + + ]: 2818750 : for (int n = 0; n < ADDRMAN_NEW_BUCKET_COUNT; n++) {
1133 [ + + ]: 183040000 : for (int i = 0; i < ADDRMAN_BUCKET_SIZE; i++) {
1134 [ + + ]: 180224000 : if (vvNew[n][i] != -1) {
1135 [ + - ]: 4068861 : if (!mapNew.count(vvNew[n][i]))
1136 : : return -12;
1137 : 4068861 : const auto it{mapInfo.find(vvNew[n][i])};
1138 [ + - + - : 4068861 : if (it == mapInfo.end() || it->second.GetBucketPosition(nKey, true, n) != i) {
+ - ]
1139 : 0 : return -19;
1140 : : }
1141 [ + - + + ]: 4068861 : if (--mapNew[vvNew[n][i]] == 0)
1142 : 3907653 : mapNew.erase(vvNew[n][i]);
1143 : : }
1144 : : }
1145 : : }
1146 : :
1147 [ + - ]: 2750 : if (setTried.size())
1148 : : return -13;
1149 [ + - ]: 2750 : if (mapNew.size())
1150 : : return -15;
1151 [ + + ]: 2750 : if (nKey.IsNull())
1152 : : return -16;
1153 : :
1154 : : // It's possible that m_network_counts may have all-zero entries that local_counts
1155 : : // doesn't have if addrs from a network were being added and then removed again in the past.
1156 [ + - ]: 2744 : if (m_network_counts.size() < local_counts.size()) {
1157 : : return -20;
1158 : : }
1159 [ + - + + ]: 11239 : for (const auto& [net, count] : m_network_counts) {
1160 [ + - + - : 16990 : if (local_counts[net].n_new != count.n_new || local_counts[net].n_tried != count.n_tried) {
+ - ]
1161 : 0 : return -21;
1162 : : }
1163 : : }
1164 : :
1165 : : return 0;
1166 : 3048 : }
1167 : :
1168 : 7874149 : size_t AddrManImpl::Size(std::optional<Network> net, std::optional<bool> in_new) const
1169 : : {
1170 : 7874149 : LOCK(cs);
1171 [ + - ]: 7874149 : Check();
1172 [ + - ]: 7874149 : auto ret = Size_(net, in_new);
1173 [ + - ]: 7874149 : Check();
1174 [ + - ]: 7874149 : return ret;
1175 : 7874149 : }
1176 : :
1177 : 11025959 : bool AddrManImpl::Add(const std::vector<CAddress>& vAddr, const CNetAddr& source, std::chrono::seconds time_penalty)
1178 : : {
1179 : 11025959 : LOCK(cs);
1180 [ + - ]: 11025959 : Check();
1181 [ + - ]: 11025959 : auto ret = Add_(vAddr, source, time_penalty);
1182 [ + - ]: 11025959 : Check();
1183 [ + - ]: 11025959 : return ret;
1184 : 11025959 : }
1185 : :
1186 : 6390622 : bool AddrManImpl::Good(const CService& addr, NodeSeconds time)
1187 : : {
1188 : 6390622 : LOCK(cs);
1189 [ + - ]: 6390622 : Check();
1190 [ + - ]: 6390622 : auto ret = Good_(addr, /*test_before_evict=*/true, time);
1191 [ + - ]: 6390622 : Check();
1192 [ + - ]: 6390622 : return ret;
1193 : 6390622 : }
1194 : :
1195 : 6365 : void AddrManImpl::Attempt(const CService& addr, bool fCountFailure, NodeSeconds time)
1196 : : {
1197 : 6365 : LOCK(cs);
1198 [ + - ]: 6365 : Check();
1199 [ + - ]: 6365 : Attempt_(addr, fCountFailure, time);
1200 [ + - ]: 6365 : Check();
1201 : 6365 : }
1202 : :
1203 : 7560 : void AddrManImpl::ResolveCollisions()
1204 : : {
1205 : 7560 : LOCK(cs);
1206 [ + - ]: 7560 : Check();
1207 [ + - ]: 7560 : ResolveCollisions_();
1208 [ + - ]: 7560 : Check();
1209 : 7560 : }
1210 : :
1211 : 91762 : std::pair<CAddress, NodeSeconds> AddrManImpl::SelectTriedCollision()
1212 : : {
1213 : 91762 : LOCK(cs);
1214 [ + - ]: 91762 : Check();
1215 [ + - ]: 91762 : auto ret = SelectTriedCollision_();
1216 [ + - ]: 91762 : Check();
1217 [ + - ]: 91762 : return ret;
1218 : 91762 : }
1219 : :
1220 : 1911 : std::pair<CAddress, NodeSeconds> AddrManImpl::Select(bool new_only, const std::unordered_set<Network>& networks) const
1221 : : {
1222 : 1911 : LOCK(cs);
1223 [ + - ]: 1911 : Check();
1224 [ + - ]: 1911 : auto addrRet = Select_(new_only, networks);
1225 [ + - ]: 1911 : Check();
1226 [ + - ]: 1911 : return addrRet;
1227 : 1911 : }
1228 : :
1229 : 69234 : std::vector<CAddress> AddrManImpl::GetAddr(size_t max_addresses, size_t max_pct, std::optional<Network> network, const bool filtered) const
1230 : : {
1231 : 69234 : LOCK(cs);
1232 [ + - ]: 69234 : Check();
1233 [ + - ]: 69234 : auto addresses = GetAddr_(max_addresses, max_pct, network, filtered);
1234 [ + - ]: 69234 : Check();
1235 [ + - ]: 69234 : return addresses;
1236 : 69234 : }
1237 : :
1238 : 2 : std::vector<std::pair<AddrInfo, AddressPosition>> AddrManImpl::GetEntries(bool from_tried) const
1239 : : {
1240 : 2 : LOCK(cs);
1241 [ + - ]: 2 : Check();
1242 [ + - ]: 2 : auto addrInfos = GetEntries_(from_tried);
1243 [ + - ]: 2 : Check();
1244 [ + - ]: 2 : return addrInfos;
1245 : 2 : }
1246 : :
1247 : 22595 : void AddrManImpl::Connected(const CService& addr, NodeSeconds time)
1248 : : {
1249 : 22595 : LOCK(cs);
1250 [ + - ]: 22595 : Check();
1251 [ + - ]: 22595 : Connected_(addr, time);
1252 [ + - ]: 22595 : Check();
1253 : 22595 : }
1254 : :
1255 : 38343 : void AddrManImpl::SetServices(const CService& addr, ServiceFlags nServices)
1256 : : {
1257 : 38343 : LOCK(cs);
1258 [ + - ]: 38343 : Check();
1259 [ + - ]: 38343 : SetServices_(addr, nServices);
1260 [ + - ]: 38343 : Check();
1261 : 38343 : }
1262 : :
1263 : 0 : std::optional<AddressPosition> AddrManImpl::FindAddressEntry(const CAddress& addr)
1264 : : {
1265 : 0 : LOCK(cs);
1266 [ # # ]: 0 : Check();
1267 [ # # ]: 0 : auto entry = FindAddressEntry_(addr);
1268 [ # # ]: 0 : Check();
1269 [ # # ]: 0 : return entry;
1270 : 0 : }
1271 : :
1272 : 14187 : AddrMan::AddrMan(const NetGroupManager& netgroupman, bool deterministic, int32_t consistency_check_ratio)
1273 : 14187 : : m_impl(std::make_unique<AddrManImpl>(netgroupman, deterministic, consistency_check_ratio)) {}
1274 : :
1275 : 14187 : AddrMan::~AddrMan() = default;
1276 : :
1277 : : template <typename Stream>
1278 : 3252 : void AddrMan::Serialize(Stream& s_) const
1279 : : {
1280 : 3252 : m_impl->Serialize<Stream>(s_);
1281 : 3252 : }
1282 : :
1283 : : template <typename Stream>
1284 : 6450 : void AddrMan::Unserialize(Stream& s_)
1285 : : {
1286 : 6450 : m_impl->Unserialize<Stream>(s_);
1287 : 2744 : }
1288 : :
1289 : : // explicit instantiation
1290 : : template void AddrMan::Serialize(HashedSourceWriter<AutoFile>&) const;
1291 : : template void AddrMan::Serialize(DataStream&) const;
1292 : : template void AddrMan::Unserialize(AutoFile&);
1293 : : template void AddrMan::Unserialize(HashVerifier<AutoFile>&);
1294 : : template void AddrMan::Unserialize(DataStream&);
1295 : : template void AddrMan::Unserialize(HashVerifier<DataStream>&);
1296 : :
1297 : 7874149 : size_t AddrMan::Size(std::optional<Network> net, std::optional<bool> in_new) const
1298 : : {
1299 : 7874149 : return m_impl->Size(net, in_new);
1300 : : }
1301 : :
1302 : 11025959 : bool AddrMan::Add(const std::vector<CAddress>& vAddr, const CNetAddr& source, std::chrono::seconds time_penalty)
1303 : : {
1304 : 11025959 : return m_impl->Add(vAddr, source, time_penalty);
1305 : : }
1306 : :
1307 : 6390622 : bool AddrMan::Good(const CService& addr, NodeSeconds time)
1308 : : {
1309 : 6390622 : return m_impl->Good(addr, time);
1310 : : }
1311 : :
1312 : 6365 : void AddrMan::Attempt(const CService& addr, bool fCountFailure, NodeSeconds time)
1313 : : {
1314 : 6365 : m_impl->Attempt(addr, fCountFailure, time);
1315 : 6365 : }
1316 : :
1317 : 7560 : void AddrMan::ResolveCollisions()
1318 : : {
1319 : 7560 : m_impl->ResolveCollisions();
1320 : 7560 : }
1321 : :
1322 : 91762 : std::pair<CAddress, NodeSeconds> AddrMan::SelectTriedCollision()
1323 : : {
1324 : 91762 : return m_impl->SelectTriedCollision();
1325 : : }
1326 : :
1327 : 1911 : std::pair<CAddress, NodeSeconds> AddrMan::Select(bool new_only, const std::unordered_set<Network>& networks) const
1328 : : {
1329 : 1911 : return m_impl->Select(new_only, networks);
1330 : : }
1331 : :
1332 : 69234 : std::vector<CAddress> AddrMan::GetAddr(size_t max_addresses, size_t max_pct, std::optional<Network> network, const bool filtered) const
1333 : : {
1334 : 69234 : return m_impl->GetAddr(max_addresses, max_pct, network, filtered);
1335 : : }
1336 : :
1337 : 2 : std::vector<std::pair<AddrInfo, AddressPosition>> AddrMan::GetEntries(bool use_tried) const
1338 : : {
1339 : 2 : return m_impl->GetEntries(use_tried);
1340 : : }
1341 : :
1342 : 22595 : void AddrMan::Connected(const CService& addr, NodeSeconds time)
1343 : : {
1344 : 22595 : m_impl->Connected(addr, time);
1345 : 22595 : }
1346 : :
1347 : 38343 : void AddrMan::SetServices(const CService& addr, ServiceFlags nServices)
1348 : : {
1349 : 38343 : m_impl->SetServices(addr, nServices);
1350 : 38343 : }
1351 : :
1352 : 0 : std::optional<AddressPosition> AddrMan::FindAddressEntry(const CAddress& addr)
1353 : : {
1354 : 0 : return m_impl->FindAddressEntry(addr);
1355 : : }
|
