NCCOOS Trac Projects: Top | Web | Platforms | Processing | Viz | Sprints | Sandbox | (Wind)

Changeset 336

Show
Ignore:
Timestamp:
07/30/10 15:19:18
Author:
haines
Message:

added CODAR Total processing

Files:

Legend:

Unmodified
Added
Removed
Modified
Copied
Moved
  • raw2proc/trunk/raw2proc/hampton_config_20080930.py

    r320 r336  
    2222              'bin_size' : 0.1,      # meters 
    2323              'nbins' : 150,          # max number of samples in profile 
    24               # 'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
    25               # 'latest_vars' : ('time','lat','lon','z','wtemp','salin'), 
     24              'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
     25              'latest_vars' : ('time','lat','lon','z','wtemp','salin'), 
    2626              }, 
    2727    'met' : { 'id' : 'met', 
     
    3333              'utc_offset' : 5.,             # hours offset to Eastern Standard 
    3434              'anemometer_height' : 2.,      # meters 
    35               # 'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
    36               # 'latest_vars' : ('time','lat','lon','z','u','v','wspd', 'wdir'), 
     35              'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
     36              'latest_vars' : ('time','lat','lon','z','u','v','wspd', 'wdir'), 
    3737             }, 
    3838    } 
  • raw2proc/trunk/raw2proc/morgan_config_20080701.py

    r320 r336  
    2424              'bin_size' : 0.1,      # meters 
    2525              'nbins' : 150,          # max number of samples in profile 
    26               # 'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
    27               # 'latest_vars' : ('time','lat','lon','z','wtemp','salin'), 
     26              'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
     27              'latest_vars' : ('time','lat','lon','z','wtemp','salin'), 
    2828              }, 
    2929    'met' : { 'id' : 'met', 
     
    3535              'utc_offset' : 5.,             # hours offset to Eastern Standard 
    3636              'anemometer_height' : 2.,      # meters 
    37               # 'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
    38               # 'latest_vars' : ('time','lat','lon','z','u','v','wspd', 'wdir'), 
     37              'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
     38              'latest_vars' : ('time','lat','lon','z','u','v','wspd', 'wdir'), 
    3939             }, 
    4040    } 
  • raw2proc/trunk/raw2proc/ncutil.py

    r320 r336  
    11#!/usr/bin/env python 
    2 # Last modified:  Time-stamp: <2009-12-30 15:45:27 haines> 
     2# Last modified:  Time-stamp: <2010-07-30 13:00:15 haines> 
    33""" 
    44Create, update and load utilities for netcdf files 
     
    5151            # print varName 
    5252            # print varData 
     53            # print varData.shape 
    5354            ncvar = nc.var(varName) 
    5455            # e.g. lat = array(var_data['lat']) 
  • raw2proc/trunk/raw2proc/proc_avp_ysi_6600_v1_CDL2.py

    r320 r336  
    11#!/usr/bin/env python 
    2 # Last modified:  Time-stamp: <2009-12-16 16:33:00 haines> 
     2# Last modified:  Time-stamp: <2010-05-12 11:19:45 haines> 
    33""" 
    44how to parse data, and assert what data and info goes into 
     
    219219            # get sample datetime from data 
    220220            sample_str = '%02d-%02d-%02d %02d:%02d:%02d' % tuple(ysi[0:6]) 
    221             if  sensor_info['utc_offset']: 
    222                 sample_dt = scanf_datetime(sample_str, fmt='%m-%d-%y %H:%M:%S') + \ 
    223                             timedelta(hours=sensor_info['utc_offset']) 
    224             else: 
    225                 sample_dt = scanf_datetime(sample_str, fmt='%m-%d-%y %H:%M:%S') 
     221            try: 
     222                if  sensor_info['utc_offset']: 
     223                    sample_dt = scanf_datetime(sample_str, fmt='%m-%d-%y %H:%M:%S') + \ 
     224                                timedelta(hours=sensor_info['utc_offset']) 
     225                else: 
     226                    sample_dt = scanf_datetime(sample_str, fmt='%m-%d-%y %H:%M:%S') 
     227            except TypeError: 
     228                if verbose: 
     229                    print 'bad time stamp, skipping data line .... ' + str(line) 
     230                continue 
     231                 
    226232 
    227233            if j<nbins: 
  • raw2proc/trunk/raw2proc/proc_avp_ysi_6600_v2_CDL2.py

    r320 r336  
    11#!/usr/bin/env python 
    2 # Last modified:  Time-stamp: <2009-12-16 15:23:36 haines> 
     2# Last modified:  Time-stamp: <2010-05-26 14:26:42 haines> 
    33""" 
    44how to parse data, and assert what data and info goes into 
     
    214214                except: 
    215215                    sample_dt = datetime(1970,1,1) 
    216                  
    217             if sensor_info['utc_offset']: 
    218                 sample_dt = sample_dt + timedelta(hours=sensor_info['utc_offset']) 
    219                  
    220             if j<nbins: 
    221                 stime[j] = dt2es(sample_dt) # sample time 
    222                 wtemp[j] = ysi[6] # water temperature (C) 
    223                 cond[j] = ysi[7]  # conductivity (mS/cm) 
    224                 salin[j] = ysi[8] # salinity (ppt or PSU??) 
     216 
     217            if sample_dt is not None: 
     218                if sensor_info['utc_offset']: 
     219                    sample_dt = sample_dt + timedelta(hours=sensor_info['utc_offset']) 
    225220                # 
    226                 depth[j] = ysi[9] # depth (m, positive up) 
    227                 # 
    228                 ph[j] = ysi[10]   # ph 
    229                 turb[j] = ysi[11] # turbidity (NTU) 
    230                 chl[j] = ysi[12]  # chlorophyll (ug/l) 
    231                 do[j] = ysi[13]   # dissolved oxygen (mg/l) 
    232                  
    233             j = j+1 
     221                if j<nbins: 
     222                    stime[j] = dt2es(sample_dt) # sample time 
     223                    wtemp[j] = ysi[6] # water temperature (C) 
     224                    cond[j] = ysi[7]  # conductivity (mS/cm) 
     225                    salin[j] = ysi[8] # salinity (ppt or PSU??) 
     226                    # 
     227                    depth[j] = ysi[9] # depth (m, positive up) 
     228                    # 
     229                    ph[j] = ysi[10]   # ph 
     230                    turb[j] = ysi[11] # turbidity (NTU) 
     231                    chl[j] = ysi[12]  # chlorophyll (ug/l) 
     232                    do[j] = ysi[13]   # dissolved oxygen (mg/l) 
     233                    # 
     234                    j = j+1 
     235            else: 
     236                print 'skipping line, ill-formed date ... ' + str(line) 
     237 
    234238 
    235239        elif (len(ysi)==0 and have_head and i<N):  # each profile separated by empty line 
  • raw2proc/trunk/raw2proc/procutil.py

    r333 r336  
    11#!/usr/bin/env python 
    2 # Last modified:  Time-stamp: <2010-04-29 09:44:03 haines> 
     2# Last modified:  Time-stamp: <2010-07-30 14:10:56 haines> 
    33"""Utilities to help data processing  
    44 
     
    458458    ifn = os.path.join(si['proc_dir'], si['proc_filename']) 
    459459    # output file 
    460     si['latest_filename'] = 'nccoos_%s_%s_latest.nc' % (platform, package) 
     460    si['latest_filename'] = 'nccoos-%s-%s-latest.nc' % (platform, package) 
    461461    ofn = os.path.join(si['latest_dir'], si['latest_filename']) 
    462462    if os.path.exists(ifn): 
  • raw2proc/trunk/raw2proc/stones_config_20080701.py

    r221 r336  
    2424              'bin_size' : 0.1,      # meters 
    2525              'nbins' : 150,          # max number of samples in profile 
    26               # 'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
    27               # 'latest_vars' : ('time','lat','lon','z','wtemp','salin'), 
     26              'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
     27              'latest_vars' : ('time','lat','lon','z','wtemp','salin'), 
    2828              }, 
    2929    'met' : { 'id' : 'met', 
     
    3535              'utc_offset' : 5.,              # hours offset to Eastern Standard 
    3636              'anemometer_height' : 2.,      # meters 
    37               # 'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
    38               # 'latest_vars' : ('time','lat','lon','z','u', 'v', 'wspd', 'wdir'), 
     37              'latest_dir' : '/seacoos/data/nccoos/latest_v2.0', 
     38              'latest_vars' : ('time','lat','lon','z','u', 'v', 'wspd', 'wdir'), 
    3939             }, 
    4040    }