Add library.py, a script to extract a useful description of a flowcell
from the gaworkflow database.
Basically it nicely aggregates the library descritpion with the flow
cell lanes.

Don't die if Config/FlowcellId.xml is missing warn the user and continue

report statistics on the various eland_result sequence status codes
(E.g. how many times does QC/NM/U[012]/R[012] show up)

Don't die if Summary.htm isn't present

rename the summary report to summary_report to distingush it from Summary
also moved the summarize_mapped_reads from the summary_report function to
the top level of the script

make the mapped reads summary report more robust
It's really useful for the summary report to report everything that
mapped to the genome as a single entry, and everything that mapped
to the contamination or spike-ins as seperate entries.

This version tags files that aren't symlined as 'last_dir_element/filename'
and files that are symlinked into the genome directory as 'filename'.
Since I have the spike-ins symlinked in, and the last element of the path
name is the genome name it makes it easy to use the 'last_dir_element'
as the name to group all the per chromosome reads to.

Add runfolder.py to the list of scripts

sort the sample mapped reads output
also use the fasta name from the eland_result file even if there isn't a
corresponding file on disk any more.

Add documentation about what runfolder.py does

Put ten_nM_dilution field back in library table, and added the cluster_estimate fields back to the flowcell view.

Store the firecrest/bustard/gerald tuple in a new class PipelineRun
This was because I found the <runfolder>/Config directory which contained
a useful file containing the real flowcell id.

I still need to get runfolder to copy the "important" files and to write
the output xml file somewhere other than the current directory.

Summarize information from the runfolder.

This is the start of a tool for archiving the "important" parts of the run
folder, or providing some summary information.

Hopefully undid accidental changes to views.py and urls.py

Added a dropdown status field to flowcell table

Created table Person, with required fields "name" and "lab", and optional field "email"
Changed "made_for" in table Library to choose from contents of table Person

Flowcell patch:
Table:
Added four "kit_#" fields to hold the lot #s for each kit
Added "cluster_station_id" field
Added "sequencer_id" field
Changed "lane_x_pM" to decimal instead of int
Changed "lane_x_cluster_estimate" to char instead of int

Display:
Search now works! Correct format for searching ForeignKeys is (name of ForeignKey in current model)__(name of linked field you want to search in ForeignKey's home model)
Set "save_as" option to be true
Reversed sort order for admin grid
Added flowcell_id to search function
Changed display of fields in detailed admin view
Removed "lane_x_cluster_estimate" from all views. Didn't remove the fields themselves in case the other group was planning to use them.
Changed order of fields in admin grid view
Made all fields in admin grid view link to correct page

Removed fields kit_#_lot from library table (they were supposed to go in flowcell table), changed display of undiluted_concentration to include units.

Library patch:
Library table:
removed "ten_nM_dilution" field from table
added integer field "library_size" to table
added four integer fields "kit_[#]_lot" to table
changed library_id to be text instead of int
changed successful_pM to decimal instead of int
added option "Completed" to the PROTOCOL_END_POINTS set of options

Library display:
changed which fields are displayed on library admin grid
added "library_id" field to search
changed the display of fields in the detailed admin page

convert a single-match eland result file into a bed file readable by UCSC

Add script to extract some subset of sequence from an eland result file.

DummyOptions didn't define a genome_dir member before trying to access it

return most recent genome build for the pipeline config file.

Brandon's original pipeline customization code replaced things
like %(genome|build)s with the path to the ELAND genome files.

What I did is made it possible to substitute keys like %(genome)s in
addition to %(genome|build)s. The idea is that the most config files
will be set to use whatever is the "most recent" build, but hopefully
at some point we'll provide some way of specifying which build.

The way I defined "most recent" genome build was to use the
alphanum sort, that sorts mixed alpha/numeric strings in the
'natural' order instead of ASCII order, thus "mm10" > "mm8".

For the genomes that we had installed right now this would work
for everything but arabadopsis--which appears to be using a version
number of MMDDYYYY. Though if we changed it to YYYYMMDD everything
should work correctly.

Latest genome build, eland_config file temp. solution patch.
 * As per Diane's suggestion, the config file being generated will only
   contain the species name, which will mean "use latest build" for
   this species. At a later time when the web UI has been updated to allow
   overriding this default and selecting a specific genome build to
   use (the species_name|build_num convention will return). See
   ticket:50 for more information.

Added a new get_cycles(recipe_xml_filepath) function in
gaworkflow.pipeline.recipe_parser.

Spoolwatch function for getting cycle number from Recipe*.xml file.
 * Work towards ticket:28.

Attempt to support case insensitive config file names.
 * ticket:43

Fix for tickets #45 & #47
 * retrieve_config needed the genome_dir substitution implemented (ticket:45)
 * configure_pipeline has a name clash, now fixed (ticket:47)

Oops, forgot to provide a null body to my the stub of WatcherEvent.
Roughly I'm trying to keep a way of scheduling different types
of events at speficfied times in the future.

I think it needs to be some kind of queue, that the event loop
scans for events whose time has come.

pyinotify rm_watch takes a list, not a dictionary.

Update test_copier to reflect copiers move to gaworkflow.automation

move the autotmation scripts into gaworkflow.automation
the scripts that were providing the tools to automate running
the solexa pipeline were unfairly "priviledged" compared to the
components that wrapped talking to the pipeline commands and
providing the website, in that the other components were in
sub-packages while the automation was just in the gaworkflow
package.

So I moved them into the somewhat clearer "gaworkflow.automation".

The intent is that gaworkflow.automation contains modules
that make things happen without human intervention.

Add the xmi file from umbrello documenting our basic pipeline usecase

always trigger a copy when we receive the sequencingFinshed message
hopefully then we'll only send sequencingFinished off to runner
when the rsyncing is well and truely finished.

tell subversion to ignore *.py[co~] files

make sequencingFinished return something instead of none
to make xmlrpclib happy.

Remove unnecessary code from the runner.py module

Add script to make it easier to launch runner

use \w for alphanumeric flow cell IDs

Runner now reports status when user sends status request!
 * just send 'status' to the bot to get status information now.

Runner now notifies users about success or failure of the following steps:
 * Retrieve Config
 * Configure Pipeline
 * Run Pipeline

Runner seems to work with running the pipeline when launch from within
any directory.
 * stdout/stderr output is saved in top level of the analysis directory.
 * Requires a base_analysis_dir to be set in bot config file (stating
   where all the analysis directories are stored.

Work towards getting runner to work properly.
 * Runner can now run one run if launched in the directory
   of the analysis it should run.
 * TODO: Allow for running the pipeline without changing directories.

Ok, one more option required.

Forgot an option in the DummyOptions object.

Work towards disabling command-line parsing outside of use
in scripts.

Updated regexs to support new and "improved" flow cell numbers!
(ticket:2)
 * Thank heavens for regex!
 * URL for valid flow cell number is any alphanumeric character now
   rather than FC#####.
 * Getting the flowcell number from the directory path should now work
   again.

direntry parser wasn't eating a trailing newline
This patch assumes that there always will be a single trailing whitespace
character to handle, on the off chance that someone will make a
horrific filename with trailing whitespace.

e.g. filename = "oh why do you do this..   "

forgot to rename the caller and called when refactoring the dirlist parsing

split rsync directory listing correctly
ticket:5
My previous code was generating a too many values to unpack exception
if there was a filename with spaces in it.

add a , to make customizing list of template dirs easier

Work towards a working runner bot... still needs a bit of work.

[project @ gaworkflow.runner progress]
 * Work towards getting runner to launch jobs in a seperate thread.
 * Stores status in a dictionary.

[project @ add skeleton for runner]
this is the basic outline of the runner bot. Important functions like
sequencingFinished and pipelineFinish still need to be filled in.

[project @ send messages to notify_runner not self.runner]
oops I forgot to update my parameter when I made a loop

[project @ Bypass pipe lock mystery bug for configure step]
 * There was a weird bug where certain failures of the pipeline could
   leave the configure_run.py configure code waiting for output from the
   configuration pipe, but where the program has already finished... leaving
   the configure step stuck in a perminate state of waiting.
 * This patch bypasses this problem by passing subprocess.Popen file
   descriptors instead of subproccess.PIPE and then processing the
   output after the program has terminated. I have never seen the
   mystery bug when using this approach. This is how the run pipeline
   step already handles running the pipeline and is also where I first
   encountered this problem.

[project @ add a parser to spoolwatcher]
also simplify the I don't understand your command message so it
doesn't thrown a exception about formatting the string.

[project @ Config Step: Detect missing cycles patch]
 * Now detects error case of missing cycles and reports a more
   meaningful error message in the error log. It also records a copy
   of the original error message and then suppresses the remaining
   error message of this type.

[project @ rename runFinished to sequencingFinished]
I decided it would be a bit more clear to say that spool watcher is
detecing when the sequencing is finished. Since the whole run can now
include finishing running through the pipeline.

[project @ make spoolwatcher a benderjab bot]
this was a pretty significant update to spool watcher, changing
the main event loop from being driven by inotify to BenderJab, and
changing the start copying and run finished messages from being
chat messages to xml-rpc messages.

[project @ use XmlRpcBot.rpc_send]
that way I can put all the logging code and error checking code
in one place, and I don't have to pass around the client connection.

[project @ Require a resource for JIDs that are used for XML-RPC messages]
obviously this requires a version of benderjab that has that
feature added

[project @ moved check_option into benderjab]

[project @ update CopierBot to new logging daemonizable XML-RPC BenderJab Bot]
this version reads all of the parameters out of the .benderjab config
file, will report what its currently copying, and when it gets a
"runFinished" message, will wait until its finished copying before
forwarding that on.

If it dies before finishing copying, but after gettting the runFinished
message that might get lost.

[project @ Allow user to provide FC##### to download or a path to a config file.]

[project @ Small documentation fix for retrieve_config.]

[project @ Scientific name is no longer a unique field.]

[project @ Updating setup.py]
 * Added pipeline, frontend subpackages.
 * Fixed spelling error with script name.

[project @ Missing __init__.py file in pipeline subpackage.]

[project @ run_status gerald correction (over estimated expected files)]
 * Corrected the over estimate of files by not expecting *.tmp files.
 * Because of the way the update feature works, when a *.tmp file
   is processed, it will increment completed count as well as total
   count, there by allowing 100% status report when all of the expected
   + unexpected files have been accounted for.

[project @ run_status correct firecrest expected file estimate]
 * The estimate for firecrest files was way off (total was
   much higher than reality)
 * Fixed by finding out two of the patterns didn't actually
   use cycles; i.e. they were just hard coded numbers.

[project @ Run default changed to full run]
 * Previously was only running with lane 4 tiles
   100 through 104.

[project @ Shortend the s_generating regex; minor bug fix]
  * Some reason the very end of the line was being
    auto-wrapped... a simple fix was to search for
    the begining half of the line. Simple and effective.

[project @ Monitor status implementation + config_pipeline cmdling args]
  * configure_pipeline now takes an optional command line
    argument of an eland config file to use. (Overrides
    automatic download).
  * Added monitors.py which contains methods providing a way
    of triggering some sort of threaded monitor of pipeline
    progress.
    *  startCmdLineStatusMonitor(conf_info) prints status
       to stdout
  * Updated configure_pipeline script to use the
    startCmdLineStatusMonitor function.
  * ConfigInfo object now holds a status variable
    (GARunStatus object)
    * requires calling conf_info.createStatusObject() after
      _cfg_filepath has been set (currently handled by
      run_pipeline function)

[project @ Added GARunStatus class for tracking percent complete through each step or the run and/or entire run!]

[project @ Moved ga_frontend to gaworkflow.frontend package.]
 * All the modules in the front end have been updated to be
   located in gaworkflow.frontend.
 * Requires that PYTHONPATH include top level directory or
   for the package to be installed as gaworkflow/frontend/manage.py
   only adds frontend/ to the python path, and therefore it will fail.
 * Changed the hard coded paths to be more like
   os.path.abspath('../../fctracker.db') so, the code should just work
   if the main package is available on the python path. (Good defaults
   are nice!)

[project @ move brandon's pipeline handling code into gaworkflow.pipeline]
the code that was in the if __name__ == "__main__" got moved into
similary named scripts in the scripts directory. Those import everything from
their corresponding gaworkfile.pipeline module.

I still wish the names were shorter, and yet still descriptive.

Other refactoring ideas, break configure_run up, make a single module to hold
all the exceptions from all the varios parts of the pipeline.

And:

I (still) find our lack of tests disturbing.

[project @ rename python module to gaworkflow from uashelper]

[project @ changed config file section from 'server_info' to 'config_file_server']

[project @ Removing bin/config_pipeline.py (use config_pipeline2.py instead)]

[project @ Download Cfg, Use genome mapper, configure, run and monitor pipeline! (Proof of concept!)]
 * Now downloads config file from fctracker db
   * Requires ~/.ga_frontend.conf or /etc/ga_frontend/ga_frontend.conf
     to have [server_info]\nbase_host_url: http://host:port
   * FIXME: flowcell and genome dir are hard coded for testing
 * Uses genome mapper to update config file with local available genomes
   * Requires each genome dir to have a file called _metainfo_ with:
     * species|build
 * Then uses that config file to configure the pipeline
 * Runs the pipeline monitoring the status
 * TODOs:
   * Allow for specifying config file from commandline
     (skipping download config step).
   * Need non-hardcoded way of getting flowcell and genome base directory
   * Incorperate into run daemon that listens for copy complete command
   * Add feature to notify users of success and failures.

[project @ retrieve_eland_config.py catches two new errors]
 * Handles 404 - Not found (throws exception)
 * Handles Flowcell not in DB (throws exception)

[project @ Minor cleanup patch]

[project @ Species and build to valid genome dir mapper!]
 * Config generator returns genome dir with %(species|build)s
 * This module contains a dictionary generator which given
   a genome base dir, will generate a dictionary whos key is
   species|build and whos value is the valid genome dir
 * requires a file in each genome dir called _metainfo_
   * containing: species|build

[project @ Use genome build patch]
 * WARNING: Changed DB model! (adds use_genome_build to species)
 * Update to django model to support proper generation of eland config files
 * Config file now generates config file with the following pattern:
   * %(Homo sapiens|hg18)s for the run daemon to decide if that genome
     is available or not.

[project @ Proof of concept!!!]
 * Now uses inotify to confirm gerald, bustard, and firecrest
   "finished.txt" files have been created! if not, fail!
 * Also goes back an reads the stderr log for known errors and
   reports failure if one is detected here.
 * Just needs to be generalized an hooked up to config generator
   as well as inserted into the run daemon!

[project @ Method 2 for monitoring pipeline run (based on config_pipeline.py]
 * Since the first version stalled in a mysterious way,
   I am trying a new method.
 * Now writes out standard out and standard error to file using
   file descriptors.
 * Also uses inotify to detect "finished" files.
   * FIXME: Need to do something about all other files (currently
     printed to stdout).
 * FIXME: Double check the run_dir exists in configure step.
 * FIXME: Upon run completion, read and process stderr output.

[project @ Handling of missing app errors with running pipeline]
 WARNING: Still not fully functional, making progress through.
 * Prints out success or failure of run
   * FIXME: There is a weird BUG where towards the end of a run when
     the summary files are being generated that the pipeline code just
     stops processing. It's just sitting in memory not doing anything.
     The config_pipeline.py gets stuck on line = pipe.stdout.readline()
     at this point.
 * Checks for lack of ghostscript.

[project @ Work toward pipeline monitor code (WARNING: testing version)]
 * Warning, this code is a steping stone to monitoring a running pipeline.
   * It only runs with tiles=s_4_0100,s_4_0101,s_4_0102,s_4_0103,s_4_0104
   * There are also important FIXME that should be looked at before using this version of the code.
 * This patch is needed for all future patches to work.

[project @ Runs pipeline on successful config + traceback]
 * Now runs the pipeline upon successful configuration step.
   * Currently no monitoring of output, just writing to files so
     I can figure out how to code the monitoring.
 * Now detects if goat crashes and displays a traceback.
 * Figured out another goat_pipeline.py call that triggers a
   traceback (included as commented out code) -> Test case for future.
 * FIXME: pipeline monitoring code needs to be written.

[project @ Now handles stderr output.]

[project @ Better handling of configuring pipeline w/ clear success or failure. Loads run_path info ConfigInfo object as well.]

[project @ First attempt at script for configuring pipeline automatically.]
 * More of prof of concept.
 * FIXME: hardcoded config script path.
 * Uses logging module
   * Info for everything going fine.
   * Error when it breaks in a bad way.

[project @ Updated eland_config app to generate config file from fctracker app.]
 * WARNING DB CHANGE: Added read_length, and advanced_run to flowcell
   model in fctracker app.
 * Updated eland_config app to generate config files from db instead of form.
   * Currently regenerates the config file on every request. Simple flag will
     cause it to re-read saved copy on disk.
 * Changed URL to http://<host>/eland_config/.

[project @ Url should be <host>/eland_config/ in this case.]

[project @ The rest of the rename fix.]

[project @ Small fixes to changed directory name]

[project @ Renamed main django project dir to ga_frontend + updated settings.]

[project @ Massive change to DB structure; complete library table]
Primary change to the DB is the library table and supporting changes to the flowcell table.
They should both be properly linked now; you'll have to pull species information from the
linked library field. In addition, I added a common name to the Species table. Most interface
changes are via the meta and admin classes in each model, and are fairly straightforward. I
also added databrowse support; go to /databrowse instead of /admin to play with it.

[project @ Finished statement + additional error message]
 * Now says where it wrote the config file to upon success
 * Now puts more meaningful error message when user enters invalid domain/ip address.

[project @ Updated to give more user friendly error:]
 * Gives a more user friendly error when connection is refused.
 * FIXME: Should include other errors as well, such as host lookup errors.