Una classificazione dei nomi di dominio può essere utile per leggere la composizione di un’estensione, ma le percentuali dipendono da come il metodo riconosce i nomi e da quali errori tende a commettere. Una verifica pubblicata su CircleID mette alla prova un classificatore che distingue tra nomi “allineati all’operatore”, profili tipici da investitore e nomi neutrali. Il risultato più importante non è una nuova stima del mercato: è la cautela con cui andrebbero lette le stime precedenti.
Leggi anche: DUM e namespace: perché contare i domini non basta più ai registry
Un test su 340 nomi, non un censimento
L’autore Mohd Hashim, fondatore di DomainGemsAI, descrive una prova “cieca” su un campione di 340 domini appartenenti a un singolo namespace. Il classificatore è stato congelato prima del confronto. Il campione includeva nomi scelti per rappresentare le categorie previste e diversi schemi di denominazione, oltre a una componente casuale: una selezione utile per osservare come si comporta lo strumento in casi differenti, ma non costruita per stimarne la precisione sull’intero registro.
Un processo separato ha assegnato etichette di riferimento senza mostrare ai revisori le previsioni del classificatore. Le divergenze sono state esaminate e le etichette poi fissate prima del confronto. La procedura riduce il rischio che la valutazione venga guidata dalle risposte dello strumento, ma la fonte specifica un limite: il lavoro di riferimento è stato assistito dall’intelligenza artificiale e rivisto da una persona, non svolto da esperti indipendenti che abbiano classificato da zero ogni nome.
Buoni segnali positivi, ma molti casi mancati
Per la categoria “Investor-pattern”, l’autore riporta precisione e richiamo superiori al 90% rispetto alle etichette di riferimento. In termini pratici, sia le assegnazioni fatte dal sistema sia la quota dei casi individuati risultano elevate in quel campione. Per i nomi “Operator-aligned”, invece, la precisione è del 91,5%, mentre il richiamo scende al 58,1%.
La differenza conta. La precisione indica quanto spesso una classificazione positiva concorda con il riferimento; il richiamo misura quanti dei casi che il riferimento considera positivi vengono effettivamente individuati. Il dato suggerisce quindi che, tra i nomi segnalati come allineati all’operatore, gli errori sono relativamente contenuti, ma una parte consistente di quelli che potrebbero rientrare nella categoria sfugge al metodo. Non è corretto leggere il 91,5% come “il classificatore è accurato al 91,5%”: si riferisce a una categoria e a un campione specifico.
Anche la categoria neutrale genera disaccordi: alcuni nomi assegnati lì dal classificatore sono stati collocati in una categoria più specifica durante la revisione. Questo rende meno solide le stime sulla dimensione del gruppo neutrale, ma il test non stabilisce quale sia la sua quota reale nella popolazione. L’autore precisa inoltre che le percentuali pubblicate in precedenza derivavano da una versione antecedente dello strumento. La verifica attuale ha esaminato una versione successiva; le sue debolezze potrebbero essere presenti anche nei risultati storici, che vengono perciò ricondotti a valori provvisori.
Leggi anche: Domain investing: nell’era dei dati aperti il vantaggio è saperli interpretare
Cosa può dedurre un registry, e cosa resta fuori
Il test offre un’indicazione sul comportamento di uno strumento di analisi, non sull’intenzione dei registranti. Le etichette descrivono caratteristiche osservabili nella stringa del dominio: non dimostrano che dietro un nome operi un’impresa, che il titolare sia un investitore o che il dominio venga usato in un certo modo. Un nome commerciale può essere difensivo o bloccato; uno apparentemente neutrale può avere un progetto attivo. Le sole stringhe non mostrano rinnovi, titolarità effettiva o attività del sito.
Per investitori, registrar e registry, la distinzione tra precisione e richiamo è operativa. Un filtro con pochi falsi positivi può essere utile per ordinare un insieme di nomi, ma non basta a sostenere una stima completa se lascia fuori molti casi rilevanti. Allo stesso modo, una categoria ampia come “neutrale” può assorbire profili diversi e rendere fragili i confronti tra estensioni. Prima di confrontare namespace, occorre sapere quale versione del modello è stata usata, come è stato scelto il campione e come sono state convalidate le etichette.
La pubblicazione non dimostra che il classificatore sia inutilizzabile: mostra piuttosto che le sue stime richiedono verifiche adeguate alla domanda posta. Una misura descrittiva può aiutare a formulare ipotesi sulla struttura dei nomi, ma non sostituisce i dati interni del registro su clienti, rinnovi e utilizzo. Per passare da una fotografia delle stringhe a una conclusione sulla domanda commerciale servono ulteriori evidenze.
La lettura Webinvest
Per chi valuta un portafoglio o confronta estensioni, il test è un promemoria metodologico: le percentuali di classificazione non vanno trattate come quote di mercato né come prova dell’uso effettivo dei domini. Il richiamo del 58,1% nella categoria “Operator-aligned” segnala che una lettura automatica può perdere una parte rilevante dei casi definiti tali dal riferimento. Prima di usare queste etichette in una decisione di acquisto, rinnovo o posizionamento, conviene verificare campione, versione del metodo e criteri di validazione, e integrare la vista pubblica con dati di utilizzo e rinnovo quando disponibili.
Fonte: CircleID, “Testing the Classifier: What a Blind Comparison Revealed About Domain Namespaces”.
← Tutte le news