Protocollo di annotazione, campi di annotazione ed esempi.
Annotation protocol, annotation fields, and examples.
Vogliamo annotare l'intero dataset BraTS2023 seguendo un protocollo uniforme, così che ogni referto sia chiaro, confrontabile e utilizzabile per analisi successive.
I referti saranno letti e processati anche da sistemi automatici. Per questo è importante descrivere ogni reperto in modo preciso, esplicito e standardizzato, evitando formulazioni ambigue o troppo variabili tra casi simili.
Quando descrivi un finding, usa sempre la stessa logica: indica la sede, specifica la componente tumorale coinvolta quando rilevante e riporta la caratteristica osservata. Mantieni lo stesso modo di spiegare concetti ricorrenti, così il testo resta naturale per l'annotatore ma più facilmente interpretabile dalla macchina.
L'articolo derivato verrà sottoposto a Nature. Tutti gli annotatori che contribuiscono e i cui referti superano il controllo di qualità saranno inclusi come coautori.
Per dubbi, problemi o suggerimenti: reportx@unimore.it
We want to annotate the full BraTS2023 dataset using a uniform protocol, so that every report is clear, comparable, and suitable for downstream analysis.
The reports will also be read and processed by automatic systems. For this reason, each finding should be described precisely, explicitly, and consistently, avoiding ambiguous wording or excessive variation across similar cases.
When describing a finding, follow the same structure whenever possible: state the location, specify the tumor component involved when relevant, and report the observed characteristic. Keep recurring concepts phrased consistently, so the text remains natural for the annotator while being easier for machines to interpret.
The resulting paper will be submitted to Nature. Contributing annotators whose reports pass the quality check will be included as co-authors.
For questions, issues, or suggestions: reportx@unimore.it
| Label | Description |
|---|---|
| ET | Enhancing Tumor |
| NETC | Non-Enhancing Tumor Core |
| ED | Edema |
| TC | Tumor Core, defined as ET + NETC |
| WT | Whole Tumor, defined as ET + NETC + ED |
| ID | Name | Description | Assigned To |
|---|---|---|---|
| F001 | Tumor Center Region | The tumor center is defined as the barycenter, or center of mass, of the TC region. The location of this point within the atlas is used to assign the corresponding anatomical region. To avoid cases in which the barycenter lies on a boundary, a spherical neighborhood with a radius equal to one tenth of the axial diameter is considered. The assigned region is then defined as the most prevalent region within this sphere. | Machine |
| F002 | Tumor Center Coordinates | The coordinates of the barycenter are computed as the mean coordinates of all voxels in the TC region. | Machine |
| F003 | Side of Tumor Center | Defined as the anatomical laterality of the tumor center based on the position of the TC barycenter relative to the brain midline, e.g., left, right, or midline. | MachineAnnotator |
| F004 | Eloquent Brain Involvement | Determined using the atlas, this field specifies which of the following eloquent functional areas are involved by the tumor: vision, motor, speech motor, and speech receptive. | Machine |
| F005 | Enhancement Quality | Qualitative assessment of CET contrast enhancement, indicating whether enhancement is present and how pronounced it appears. | Annotator |
| F006 | Proportion of ET | Automatically derived from the segmentation mask using the formula: n. voxelET / n. voxelWT. | Machine |
| F007 | Proportion of ED | Automatically derived from the segmentation mask using the formula: n. voxelED / n. voxelWT. | Machine |
| F008 | Proportion of NETC | Automatically derived from the segmentation mask using the formula: n. voxelNETC / n. voxelWT. | Machine |
| F009 | Thickness of ET Margin | Defined as the geometrically computed average thickness of the ET margin. | Machine |
| F010 | Definition of the Enhancing Margin | Assesses whether most of the outer margin of the enhancement is well defined or poorly defined. | Annotator |
| F011 | Definition of the Non-Enhancing Margin | Assesses whether most of the outer margin of the non-enhancing component is well defined or poorly defined. | Annotator |
| F012 | Intratumoral Hemorrhage | Assesses whether intrinsic hemorrhage is visible anywhere in the tumor matrix. | Annotator |
| F013 | TC Size | Defined as the largest perpendicular cross-sectional diameters of the TC across the axial, sagittal, and coronal planes. | Machine |
| F014 | ED Size | Defined as the largest perpendicular cross-sectional diameters of the ED across the axial, sagittal, and coronal planes. | Machine |
| F015 | Tumor Heterogeneity | The degree of heterogeneity of the internal architecture of the tumor. | Annotator |
| F016 | TC Affected Areas | Determined using the atlas, this field specifies which brain regions are affected by the TC. | Machine |
| F017 | ED Affected Areas | Determined using the atlas, this field specifies which brain regions are affected by the ED. | Machine |
| F018 | Number of Lesions | Number of independent lesions observed in the brain. | MachineAnnotator |
| F019 | Type of Lesion | Categorical variable indicating the observed lesion type. Possible values: single, multicentric, or multifocal. | MachineAnnotator |
| F020 | Ependymal Invasion | Assesses whether the TC abuts any adjacent ependymal surface. | Annotator |
| F021 | Depth of TC | Determines the depth of the TC. Possible values: cortical, subcortical white matter, deep white matter and basal nuclei. | MachineAnnotator |
| F022 | Tumor Center Macroarea | The macroarea, or lobe, in which the barycenter lies, obtained using the atlas. | MachineAnnotator |
| F023 | Midline Shift | The shift of the midline caused by the tumor mass, in millimeters. | Annotator |
| F024 | Tumor Shape | The approximate shape of the tumor mass. | Annotator |
| F025 | Tumor Origin | Where the tumor originates, following the grades: Periventricular, Gyral, or Deep white matter. | Annotator |
| F026 | Tumor Crosses Midline | State whether the tumor crosses the midline. | Annotator |
| F027 | Subject specific findings | Any subject specific findings that do not fall under any predefined category. | Annotator |
Structured definition of dataset fields for reporting on ToothFairy4M.
| Label | Description |
|---|---|
| ET | Enhancing Tumor |
| NETC | Non-Enhancing Tumor Core |
| ED | Edema |
| TC | Tumor Core, defined as ET + NETC |
| WT | Whole Tumor, defined as ET + NETC + ED |
Defined as the anatomical laterality of the tumor center based on the position of the TC barycenter relative to the brain midline, for example left, right, or midline.
Qualitative assessment of CET contrast enhancement, indicating whether enhancement is present and how pronounced it appears.
Assesses whether most of the outer margin of the enhancement is well defined or poorly defined.
Assesses whether most of the outer margin of the non-enhancing component is well defined or poorly defined.
Assesses whether intrinsic hemorrhage is visible anywhere in the tumor matrix.
The degree of heterogeneity of the internal architecture of the tumor.
Number of independent lesions observed in the brain.
Categorical variable indicating the observed lesion type. Possible values: single, multicentric, or multifocal.
Assesses whether the TC abuts any adjacent ependymal surface.
Determines the depth of the TC. Possible values: cortical, subcortical white matter, deep white matter, and basal nuclei.
The macroarea, or lobe, in which the barycenter lies, obtained using the atlas.
The shift of the midline caused by the tumor mass, in millimeters.
The approximate shape of the tumor mass.
Where the tumor originates, according to the categories: periventricular, gyral, or deep white matter.
Indicates whether the tumor crosses the midline.
Any subject-specific findings that do not fall under any predefined category.
Reports should be compiled in free-text format, evaluating each field in the template. Information that is not present should be omitted, avoiding explicit statements about the absence of findings or characteristics that are not described.
During annotation, it is recommended to follow the same evaluation progression across cases to ensure consistency. Measurements should always be reported in millimeters.
In cases with multiple lesions, the annotation protocol should be repeated for each lesion so that the reported information clearly refers to the correct lesion.
The annotation protocol defines specific and objective criteria to classify a lesion as single, multifocal, or multicentric. ED is shown in red, NETC in green, and ET in blue.
A lesion is defined as multicentric when the corresponding ED regions are separated, and multifocal when they are not separated.
The example report represents the model to follow when compiling the annotation.
In the right parasagittal region, corresponding to the posterior cingulate/precuneal region with predominant cortico-subcortical involvement, a single intra-axial expansive lesion with oval morphology is documented, showing heterogeneously hypointense signal on T1 and hyperintense signal on T2.
The lesion presents a central necrotic component and a peripheral solid rim with heterogeneous post-contrast enhancement, partly linear and partly nodular, intense. Pial enhancement is associated.
Marginal involvement of the posterior portion of the corpus callosum on the right by the tumor core is reported. The perilesional T2/FLAIR hyperintense alterations, extending to the deep white matter of the right parietal and occipital lobes, also propagate into the posterior and middle portions of the corpus callosum on the right, with minimal contralateral extension to the left at the level of the posterior corpus callosum.
The mass causes an expansive effect with obliteration of the periencephalic CSF spaces in the right posterior occipito-parietal region and compression of the trigone, occipital horn, and posterior portion of the body of the right lateral ventricle. There is associated midline deviation, at the septum pellucidum, of approximately 2 mm toward the left. The left lateral ventricle has preserved morphovolumetry; the third and fourth ventricles are regular.
Marked chronic bihemispheric microangiopathic changes coexist.
This decomposition shows how each template field corresponds to information in the free-text report.
| ID | Field | Finding |
|---|---|---|
| F003 | Side of Tumor Center | "In the right parasagittal region", "posterior cingulate/precuneal region", and "right parietal and occipital lobes". |
| F005 | Enhancement Quality | "heterogeneous post-contrast enhancement, partly linear and partly nodular, intense". |
| F010 | Definition of the Enhancing Margin | "peripheral solid rim with heterogeneous post-contrast enhancement". |
| F011 | Definition of the Non-Enhancing Margin | Absent from the report, as it is not well defined. |
| F012 | Intratumoral Hemorrhage | Absent from the report. |
| F015 | Tumor Heterogeneity | "heterogeneously hypointense signal on T1", "central necrotic component", and "peripheral solid rim". |
| F018 | Number of Lesions | One lesion: "a single intra-axial expansive lesion". |
| F019 | Type of Lesion | Single: "a single intra-axial expansive lesion". |
| F020 | Ependymal Invasion | Absent from the report. |
| F021 | Depth of TC | "predominant cortico-subcortical involvement". |
| F022 | Tumor Center Macroarea | "posterior cingulate/precuneal region" and "right posterior occipito-parietal region". |
| F023 | Midline Shift | "midline deviation, at the septum pellucidum, of approximately 2 mm toward the left". |
| F024 | Tumor Shape | "intra-axial expansive lesion with oval morphology". |
| F025 | Tumor Origin | "posterior cingulate/precuneal region with predominant cortico-subcortical involvement". |
| F026 | Tumor Crosses Midline | "minimal contralateral extension to the left at the level of the posterior corpus callosum". |
| F027 | Subject-Specific Findings | "Pial enhancement is associated", "marginal involvement of the posterior portion of the corpus callosum", "expansive effect with obliteration of the periencephalic CSF spaces", and "marked chronic bihemispheric microangiopathic changes". |
The annotation platform is available at yggdrasil.ing.unimore.it.
All annotation work will be carried out on the Yggdrasil platform.
For any problems, please contact reportx@unimore.it.
Here's a quick tutorial:
Definizione strutturata dei campi del dataset per la refertazione su ToothFairy4M.
| Etichetta | Descrizione |
|---|---|
| ET | Enhancing Tumor |
| NETC | Non-Enhancing Tumor Core |
| ED | Edema |
| TC | Tumor Core, definito come ET + NETC |
| WT | Whole Tumor, definito come ET + NETC + ED |
Definito come la lateralità anatomica del centro del tumore in base alla posizione del baricentro del TC rispetto alla linea mediana del cervello, ad esempio sinistra, destra o linea mediana.
Valutazione qualitativa dell'enhancement del contrasto CET, indicando se l'enhancement è presente e quanto appare pronunciato.
Valuta se la maggior parte del margine esterno dell'enhancement è ben definita o scarsamente definita.
Valuta se la maggior parte del margine esterno della componente non-enhancing è ben definita o scarsamente definita.
Valuta se un'emorragia intrinseca è visibile in qualsiasi punto della matrice tumorale.
Il grado di eterogeneità dell'architettura interna del tumore.
Numero di lesioni indipendenti osservate nel cervello.
Variabile categorica che indica il tipo di lesione osservata. Valori possibili: singola, multicentrica o multifocale.
Valuta se il TC è a contatto con una superficie ependimale adiacente.
Determina la profondità del TC. Valori possibili: corticale, sostanza bianca sottocorticale, sostanza bianca profonda e nuclei della base.
La macroarea, o lobo, in cui ricade il baricentro.
Lo spostamento della linea mediana causato dalla massa tumorale, in millimetri.
La forma approssimativa della massa tumorale.
Dove origina il tumore, secondo le categorie: Periventricolare, Girale, Sostanza bianca profonda.
Indica se il tumore attraversa la linea mediana.
Qualsiasi reperto specifico del soggetto che non rientra in alcuna categoria predefinita.
I referti vanno compilati in formato testuale libero, valutando ciascun campo del template. Le informazioni non presenti devono essere omesse, evitando di riportare esplicitamente l'assenza di reperti o caratteristiche non descritte.
Durante l'annotazione è consigliabile seguire sempre la stessa progressione di valutazione, così da garantire coerenza tra i diversi casi. Le misure vanno sempre riportate in millimetri.
In caso di lesioni multiple, il protocollo di annotazione deve essere ripetuto per ciascuna lesione, in modo da rendere sempre chiaro a quale lesione si riferiscono le informazioni riportate.
Nel protocollo sono definiti criteri specifici e oggettivi per classificare una lesione come singola, multifocale o multicentrica. ED è indicato in rosso, NETC in verde ed ET in blu.
Definiamo come multicentrica una lesione in cui i corrispettivi ED sono separati, mentre multifocale nel caso non lo fossero.
Il referto di esempio rappresenta il modello da seguire per la compilazione.
In sede parasagittale destra, in corrispondenza della regione cingolata posteriore/precuneale a prevalente interessamento cortico-sottocorticale, si documenta una singola formazione espansiva intrassiale a morfologia ovalare, a segnale disomogeneamente ipointenso in T1 e iperintenso in T2.
La lesione presenta componente centrale necrotica e orletto solido periferico con enhancement disomogeneo post-contrastografico, in parte lineare e in parte nodulare, intenso. Si associa enhancement piale.
È riferito marginale interessamento della porzione posteriore del corpo calloso in sede destra da parte del core tumorale. Le alterazioni iperintense in T2/FLAIR perilesionali, estese alla sostanza bianca profonda dei lobi parietale e occipitale destri, si propagano inoltre nel corpo calloso, tratto posteriore e medio in sede destra, con minimo sconfinamento controlaterale a sinistra a livello del corpo calloso posteriore.
La massa determina effetto espansivo con obliterazione degli spazi liquorali periencefalici in sede occipito-parietale posteriore destra e compressione del trigono, del corno occipitale e della porzione posteriore del corpo del ventricolo laterale destro. Si associa deviazione della linea mediana, setto pellucido, di circa 2 mm verso sinistra. Il ventricolo laterale sinistro presenta morfovolumetria conservata; III e IV ventricolo regolari.
Coesiste importante quadro di sofferenza microangiopatica cronica biemisferica.
Questa scomposizione mostra come ciascun campo del template trovi una corrispondenza nel testo libero.
| ID | Campo | Finding |
|---|---|---|
| F003 | Lato del Centro del Tumore | "In sede parasagittale destra", "regione cingolata posteriore/precuneale" e "parietale e occipitale destri". |
| F005 | Qualità dell'Enhancement | "enhancement disomogeneo post-contrastografico, in parte lineare e in parte nodulare, intenso". |
| F010 | Definizione del Margine Enhancing | "orletto solido periferico con enhancement disomogeneo post-contrastografico". |
| F011 | Definizione del Margine Non-Enhancing | Assente nel referto, in quanto non ben definito. |
| F012 | Emorragia Intratumorale | Assente nel referto. |
| F015 | Eterogeneità del Tumore | "segnale disomogeneamente ipointenso in T1", "componente centrale necrotica" e "orletto solido periferico". |
| F018 | Numero di Lesioni | Una sola lesione: "si documenta una singola formazione espansiva". |
| F019 | Tipo di Lesione | Singola: "si documenta una singola formazione espansiva". |
| F020 | Invasione Ependimale | Assente nel referto. |
| F021 | Profondità del TC | "a prevalente interessamento cortico-sottocorticale". |
| F022 | Macroarea del Centro del Tumore | "regione cingolata posteriore/precuneale" e "sede occipito-parietale posteriore destra". |
| F023 | Spostamento della Linea Mediana | "deviazione della linea mediana, setto pellucido, di circa 2 mm verso sinistra". |
| F024 | Forma del Tumore | "formazione espansiva intrassiale a morfologia ovalare". |
| F025 | Origine del Tumore | Probabile origine girale/cortico-sottocorticale. Evidenza testuale: "regione cingolata posteriore/precuneale a prevalente interessamento cortico-sottocorticale". |
| F026 | Il Tumore Attraversa la Linea Mediana | "minimo sconfinamento controlaterale a sinistra a livello del corpo calloso posteriore". |
| F027 | Reperti Specifici del Soggetto | "Si associa enhancement piale", "marginale interessamento della porzione posteriore del corpo calloso", "effetto espansivo con obliterazione degli spazi liquorali periencefalici" e "importante quadro di sofferenza microangiopatica cronica biemisferica". |
La piattaforma di annotazione è disponibile su yggdrasil.ing.unimore.it.
Tutto il lavoro di refertazione verrà fatto sulla piattaforma Yggdrasil.
Per qualsiasi problema, contattare reportx@unimore.it.
Ecco un breve tutorial: