De metrieken die worden gebruikt om resultaten te meten, kunnen misleidend zijn bij het evalueren van blockchain-prestaties. Naarmate er meer blockchain-netwerken ontstaan, heeft het publiek duidelijke, op efficiëntie gerichte metrieken nodig, in plaats van overdreven claims, om onderscheid te maken tussen hen.
In een gesprek met BeInCrypto legde Taraxa mede-oprichter Steven Pu uit dat het steeds moeilijker wordt om blockchain-prestaties nauwkeurig te vergelijken, omdat veel gerapporteerde metrieken gebaseerd zijn op te optimistische aannames in plaats van op bewijs gebaseerde resultaten. Om deze golf van verkeerde voorstellingen tegen te gaan, stelt Pu een nieuwe metriek voor, die hij TPS/$ noemt.
Waarom ontbreken betrouwbare benchmarks in de industrie?
De behoefte aan duidelijk onderscheid groeit met het toenemende aantal Layer-1 blockchain-netwerken. Terwijl verschillende ontwikkelaars de snelheid en efficiëntie van hun blockchains promoten, wordt het onmisbaar om te vertrouwen op metrieken die hun prestaties onderscheiden.
Echter, de industrie mist nog steeds betrouwbare benchmarks voor efficiëntie in de echte wereld en vertrouwt in plaats daarvan op sporadische sentimentele golven van hype-gedreven populariteit. Volgens Pu verzadigen misleidende prestatiecijfers momenteel de markt, waardoor de ware capaciteiten worden verduisterd.
“Het is gemakkelijk voor opportunisten om te profiteren door overdreven en vereenvoudigde verhalen te verspreiden om zichzelf te verrijken. Elk denkbaar technisch concept en elke metriek is ooit gebruikt om projecten op te hypen die dat eigenlijk niet verdienen: TPS, finaliteitslatentie, modulariteit, netwerkknopenaantal, uitvoeringssnelheid, parallelisatie, bandbreedtegebruik, EVM-compatibiliteit, EVM-incompatibiliteit, enzovoort,” vertelde Pu aan BeInCrypto.
Pu richtte zich op hoe sommige projecten TPS-metrieken uitbuiten, door ze als marketingtactieken te gebruiken om blockchain-prestaties aantrekkelijker te laten klinken dan ze in werkelijkheid zijn.
Onderzoek naar het misleidende karakter van TPS
Transacties per seconde, beter bekend als TPS, is een metriek die verwijst naar het gemiddelde of aangehouden aantal transacties dat een blockchain-netwerk kan verwerken en voltooien per seconde onder normale bedrijfsomstandigheden.
Het biedt echter vaak een vertekend beeld van de algehele prestaties door projecten te hypen.
“Gedecentraliseerde netwerken zijn complexe systemen die als geheel moeten worden beschouwd, en in de context van hun gebruiksscenario’s. Maar de markt heeft de vreselijke gewoonte om één specifieke metriek of aspect van een project te vereenvoudigen en te oversellen, terwijl het geheel wordt genegeerd. Misschien heeft een sterk gecentraliseerd, hoog-TPS-netwerk zijn toepassingen in de juiste scenario’s met specifieke vertrouwensmodellen, maar de markt heeft echt geen behoefte aan zulke genuanceerde beschrijvingen,” legde Pu uit.
Pu geeft aan dat blockchain-projecten met extreme claims op enkele metrieken zoals TPS mogelijk decentralisatie, veiligheid en nauwkeurigheid hebben gecompromitteerd.
“Neem TPS, bijvoorbeeld. Deze ene metriek verbergt tal van andere aspecten van het netwerk, bijvoorbeeld, hoe werd de TPS bereikt? Wat werd er opgeofferd in het proces? Als ik 1 node heb, die een WASM JIT VM draait, noem dat een netwerk, dan krijg je meteen een paar honderdduizend TPS. Ik maak dan 1000 kopieën van die machine en noem het sharding, nu begin je in de honderden miljoenen ‘TPS’ te komen. Voeg onrealistische aannames toe zoals geen conflicten, en je gaat ervan uit dat je alle transacties kunt paralleliseren, dan kun je ‘TPS’ in de miljarden krijgen. Het is niet dat TPS een slechte metriek is, je kunt gewoon geen enkele metriek in isolatie bekijken omdat er zoveel verborgen informatie achter de cijfers zit,” voegde hij toe.
De Taraxa mede-oprichter onthulde de omvang van deze opgeblazen metrieken in een recent rapport.
Het significante verschil tussen theoretische en Real-World TPS
Pu probeerde zijn punt te bewijzen door het verschil te bepalen tussen de maximale historische TPS gerealiseerd op het mainnet van een blockchain en de maximale theoretische TPS.
Van de 22 permissionless en single-shard netwerken die werden geobserveerd, ontdekte Pu dat er gemiddeld een 20-voudige kloof tussen theorie en realiteit was. Met andere woorden, de theoretische metriek was 20 keer hoger dan de maximaal waargenomen mainnet TPS.
“Metriek overschattingen (zoals in het geval van TPS) zijn een reactie op de zeer speculatieve en narrative-gedreven cryptomarkt. Iedereen wil hun project en technologieën in het best mogelijke licht plaatsen, dus komen ze met theoretische schattingen, of voeren ze tests uit met extreem onrealistische aannames, om tot opgeblazen metrieken te komen. Het is oneerlijke reclame. Niets meer, niets minder,” vertelde Pu aan BeInCrypto.
Om deze overdreven metrieken tegen te gaan, ontwikkelde Pu zijn eigen prestatiemaatstaf.
Introductie van TPS/$: een meer gebalanceerde metriek?
Pu en zijn team ontwikkelden het volgende: TPS gerealiseerd op mainnet / maandelijkse $ kosten van een enkele validator node, of TPS/$ in het kort, om te voldoen aan de behoefte aan betere prestatiemetrieken.
Deze metriek beoordeelt prestaties op basis van verifieerbare TPS behaald op het live mainnet van een netwerk, terwijl ook rekening wordt gehouden met hardware-efficiëntie.
Het aanzienlijke verschil van 20 keer tussen theoretische en werkelijke doorvoer overtuigde Pu ervan om metrieken uit te sluiten die uitsluitend gebaseerd zijn op aannames of laboratoriumomstandigheden. Hij wilde ook laten zien hoe sommige blockchain-projecten prestatiemetingen opblazen door te vertrouwen op dure infrastructuur.
“Gepubliceerde netwerkprestatieclaims worden vaak opgeblazen door extreem dure hardware. Dit geldt vooral voor netwerken met sterk gecentraliseerde consensusmechanismen, waar de doorvoerknelpunt verschuift van netwerklatentie naar de hardwareprestaties van één machine. Het vereisen van extreem dure hardware voor validators verraadt niet alleen een gecentraliseerd consensusalgoritme en inefficiënte engineering, het voorkomt ook dat het overgrote deel van de wereld mogelijk kan deelnemen aan consensus door hen uit te prijzen,” legde Pu uit.
Pu’s team vond de minimale hardwarevereisten voor validators van elk netwerk om de kosten per validatornode te bepalen. Ze schatten later hun maandelijkse kosten, met bijzondere aandacht voor hun relatieve grootte bij het berekenen van de TPS per dollar ratio’s.
“Dus de TPS/$ metriek probeert twee van de misschien wel meest flagrante categorieën van misinformatie te corrigeren, door de TPS-prestaties op het mainnet te forceren en de inherente afwegingen van extreem dure hardware te onthullen,” voegde Pu toe.
Pu benadrukte het belang van twee eenvoudige, identificeerbare kenmerken: of een netwerk permissieloos en single-sharded is.
Permissioned vs. Permissionless netwerken: welke bevordert decentralisatie?
De mate van beveiliging van een blockchain kan worden onthuld door te kijken of deze opereert onder een permissie- of permissieloos netwerk.
Permissioned blockchains verwijzen naar gesloten netwerken waar toegang en deelname beperkt zijn tot een vooraf gedefinieerde groep gebruikers, die toestemming van een centrale autoriteit of vertrouwde groep nodig hebben om deel te nemen. In permissieloze blockchains mag iedereen deelnemen.
Volgens Pu staat het eerste model haaks op de filosofie van decentralisatie.
“Een permissienetwerk, waar lidmaatschap van netwerkvalidatie wordt gecontroleerd door een enkele entiteit, of als er slechts één entiteit is (elke Layer-2), is een andere uitstekende metriek. Dit vertelt je of het netwerk inderdaad gedecentraliseerd is. Een kenmerk van decentralisatie is het vermogen om vertrouwenskloven te overbruggen. Haal decentralisatie weg, dan is het netwerk niets meer dan een clouddienst,” vertelde Pu aan BeInCrypto.
Aandacht voor deze metrieken zal in de loop van de tijd van vitaal belang blijken, aangezien netwerken met gecentraliseerde autoriteiten vaak kwetsbaarder zijn voor bepaalde zwakheden.
“Op de lange termijn hebben we echt een reeks gestandaardiseerde aanvalsvectoren nodig voor L1-infrastructuur die kunnen helpen om zwakheden en afwegingen voor elk gegeven architecturaal ontwerp te onthullen. Veel van de problemen in de huidige mainstream L1 zijn dat ze onredelijke offers brengen in veiligheid en decentralisatie. Deze kenmerken zijn onzichtbaar en extreem moeilijk te observeren, totdat er een ramp plaatsvindt. Mijn hoop is dat naarmate de industrie volwassen wordt, zo’n reeks tests organisch zal beginnen te ontstaan als een industriewijde standaard,” voegde Pu toe.
Ondertussen onthult het begrijpen of een netwerk state-sharding gebruikt of een enkele, geshardde staat behoudt, hoe verenigd het databeheer is.
State-sharding vs. single-state: begrip van data-eenheid
In blockchain-prestaties verwijst latentie naar de tijdsvertraging tussen het indienen van een transactie naar het netwerk, het bevestigen ervan en het opnemen in een blok op de blockchain. Het meet hoe lang het duurt voordat een transactie wordt verwerkt en een permanent onderdeel van het gedistribueerde grootboek wordt.
Het identificeren of een netwerk state-sharding of een single-sharded state gebruikt, kan veel onthullen over de efficiëntie van de latentie.
State-sharded netwerken verdelen de data van de blockchain in meerdere onafhankelijke delen, genaamd shards. Elke shard opereert enigszins onafhankelijk en heeft geen directe, realtime toegang tot de volledige staat van het hele netwerk.
Daarentegen heeft een niet-state-sharded netwerk een enkele, gedeelde staat over het hele netwerk. In dit geval kunnen alle nodes toegang krijgen tot en dezelfde volledige dataset verwerken.
Pu merkte op dat state-sharded netwerken proberen de opslag- en transactievermogen te verhogen. Ze hebben echter vaak te maken met langere finaliteitslatenties vanwege de noodzaak om transacties over meerdere onafhankelijke shards te verwerken.
Hij voegde eraan toe dat veel projecten die een sharding-benadering aannemen, de doorvoer opblazen door simpelweg hun netwerk te repliceren in plaats van een echt geïntegreerde en schaalbare architectuur te bouwen.
“Een state-sharded netwerk dat geen staat deelt, maakt simpelweg ongekoppelde kopieën van een netwerk. Als ik een L1-netwerk neem en er gewoon 1000 kopieën van maak die onafhankelijk draaien, is het duidelijk oneerlijk om te beweren dat ik alle doorvoer over de kopieën samen kan optellen en het als een enkel netwerk kan presenteren. Er zijn architecturen die de staten daadwerkelijk synchroniseren en de validators over shards verdelen, maar vaker wel dan niet maken projecten die buitensporige claims over doorvoer maken gewoon onafhankelijke kopieën,” zei Pu.
Op basis van zijn onderzoek naar de efficiëntie van blockchain-metrieken, benadrukte Pu de noodzaak van fundamentele verschuivingen in hoe projecten worden geëvalueerd, gefinancierd en uiteindelijk slagen.
Welke fundamentele veranderingen heeft blockchain-evaluatie nodig?
Pu’s inzichten bieden een opmerkelijk alternatief in een Layer-1 blockchain-ruimte waar misleidende prestatiemetingen steeds meer om aandacht strijden. Betrouwbare en effectieve benchmarks zijn essentieel om deze valse voorstellingen tegen te gaan.
“Je weet alleen wat je kunt meten, en op dit moment lijken de cijfers in crypto meer op hype-narratives dan op objectieve metingen. Gestandaardiseerde, transparante metingen maken eenvoudige vergelijkingen tussen productopties mogelijk, zodat ontwikkelaars en gebruikers begrijpen wat ze gebruiken en welke afwegingen ze maken. Dit is een kenmerk van elke volwassen industrie, en we hebben nog een lange weg te gaan in crypto,” concludeerde Pu.
Het aannemen van gestandaardiseerde en transparante benchmarks zal goed geïnformeerde besluitvorming bevorderen en echte vooruitgang stimuleren, voorbij alleen maar promotionele claims, naarmate de industrie volwassen wordt.
Disclaimer
Alle informatie op onze website wordt te goeder trouw en uitsluitend voor algemene informatiedoeleinden gepubliceerd. Elke actie die de lezer onderneemt op basis van de informatie op onze website is strikt op eigen risico.
