I sistemi dati di DESI si occupano di selezione dei target, pianificazione della survey, catene di elaborazione dati e trasferimento, archiviazione e distribuzione di prodotti relativi ai dati (data product). I target da osservare vengono selezionati da dati preesistenti raccolti dalle survey di Legacy Imaging e dai satelliti WISE e Gaia.
Allocazione dei target e selezione del campo per le operazioni della survey sono ottimizzate tramite l’impiego di simulazioni (mocks). Durante le operazioni il “selettore del campo successivo” sfrutta questi algoritmi per decidere in tempo reale quale campo osservare, massimizzando così l’efficienza complessiva della survey.
A Kitt Peak, gli osservatori dispongono di strumenti di “analisi veloce” che processano i dati entro 3 minuti, consentendo un costante monitoraggio di qualità. I dati grezzi vengono trasferiti in tempo reale al National Energy Research Scientific Computing Center (NERSC) del Berkeley Lab per l’elaborazione dettagliata, l’analisi scientifica e l’archiviazione. La catena di elaborazione dei dati spettroscopici estrae gli spettri dai dati grezzi, modella e sottrae il contributo del cielo, calibra gli spettri rispetto al flusso, li classifica e ne misura il redshift. Circa 10 terabytes (TB) di dati grezzi vengono trasferiti ogni anno dall’osservatorio di Kitt Peak al NERSC. Ne viene inoltre trasferita una copia per l’archiviazione al National Optical-Infrared Astronomy Research Laboratory (OIR Lab) della National Science Foundation (NSF) in Tucson, Arizona.
Una volta processati al NERSC (utilizzando milioni di ore di CPU), circa 100 TB all’anno di data product verranno resi pubblici con scadenze (approssimativamente) annuali per i 5 anni di attività di DESI.
