Track which flowcells are archived on which long term storage devices
 * Added a command_line script called mark_archived_data
   * Storage Device must be in DB as well as flowcell before using
   * If you supply a device (i.e. /dev/sda), it will extract the serial number of the drive for you.
   * Uses HTTP REST request to link Flowcell, Libraries and Storage Devices.
   * Supports archives across storage devices.
   * device query requires py_sg python package (easy_install py_sg)

Scan more than one rsync repository for directory trees to copy.
Also don't configure the rsync class until the bot.run function
to avoid problems with logging while daemonized.

Also add some code to make sure that we have a trailing /

Add code to construct a copy url using a mapping in the config file and
the top level directory that had writes in it.

Minor updates to inventory schema based on input from Lorian.

Pyinotify behaves oddly when the stdio file descriptors are closed.
so don't initialize it until after the daemonize code has been
called. this means after BenderJab.start has been called.
(So I changed from SpoolWatcher.start to SpoolWatcher.run
and moved the watch manager configuration into the
start of run)

A simple command to request the hard drive serial number from a device.
 * Used py_sg (easy_install py_sg)

Consistently use 'watchdir' instead of 'watch_dir' now.

Watch more than one directory tree for modification.
I also added code to record which directory watch, and what entry in that
directory was being created (AKA whatever element of the runfolder is being
touched, I record the root of the runfolder directory).

To support this I changed the config option in the benderjab file from
watchdir to watchdirs to make it a bit clearer that things have changed.

I still need to work out the communication protocol to copier so it
can figure out what to start copying. Also I'm recording the
watchdirectory, but copier needs access to a different url. So there's
some question about where the right place to map watchdir to copy url source
might be.

Don't print the discovered mount point.

First attempt at an inventory tracking database
 * Includes a LongTermStorage object which links flowcells/libraries to storage items.

Add a minimal test case to test a small bit of the django app.
(I needed to figure out how to do testing for django).

there's a tool nosedjango from http://hg.assembla.com/nosedjango
that adds auto-detection of the django settings file to
nose.

I needed to modify it for our app though.

More consistently split the flowcell id and status messages
some flowcells weren't being found because their names were
"flowcell (status)" which meant the code that was trying to find
the run.xml file in the results/flowcells directory was looking
for a directory named "results/flowcell_id (status)" which
wasn't so effective.

We really need a status field

Fix parameter list for base class.
I was passing in the ElementTree xml into the base class constructor instead of
an integer representing which 'end' the sample is from.
Which when working with single ended ElandLanes ended up with the ElementTree node
instead of none (which showed up in the UI).

Update htsworkflow.util.fctracker module to work with the newer django db
this was needed to support the make-library-tree script

Update the django app to report "raw reads" for a sequence lane.
I still need to figure out how to allow downloading of the
"result" files.

Handle lanes that were only sequenced.
So the report needs to be a bit smaller, and I need to archive a different file
Also this version only counts the number of records in the "sequence" file
which is raw sequence that passed the QC filter, I don't have a uniform way
of determining how many total sequences thre were.

Return NaN, NaN if a mean +/- deviation value was undefined in Summary.htm

Allow overriding the queued commands environment.

Add wait_for_ipar option to the spool watcher config which will wait until
"IPAR_Netcopy_Complete.txt" is written before sending the "sequencing finished
message.

Allow mapping library IDs to the library primary key

add --clean option to runfolder
this deletes the various log files as well as the images and calibration
directories.
Also it runs make clean_intermediate in the firecrest/ipar directory
(if the makefile exists)
Perhaps it should delete the bustard & gerald directories?
Or should I delete them after I've archived the useful parts.

Allow picking runfolder variant we should be trying to extract srf files from.

adds an option -r to chose which version of the illumina2srf or solexa2srf
programs
0 is solexa2srf
1 is illumina2srf -V1
2 is illumina2srf (current pipeline 1.3.2 version)

Stop assuming that library_id == pk.
I needed to fix the get_absolute_url to lookup by library_id,
we needed a redirect function to get to the right admin page.

And for sequence runs I don't have any eland results so the get result files
failed because it was assuming that the eland_result from the run xml would
always have all 8 lanes defined in its dictionary. Now I check to see if its
defined and if its not I don't display anything.

Don't crash if we can't find the flowcell run xml file

Display the affiliations on the public library detail page.
This involved cleaning up some of the view code to push all of the html
generation into the template and none in the view function, by modifying
the view function to feed everything to the template in the form of
variables.

Show the "Amplified from sample" as the parent library id and allow
searching on that on the public library index.

Additionally detect if we have an eland_multi or eland extended file
and make the url to download those different files. (and change the
link name slightly to reflect you're getting a different file.)

finally don't bother showing the bed downloader for newer file types
as the bed convertor doesn't work on them.

Use the image directory name to detect what type of image dir we have,
firecrest or ipar.

Also remove the pesky return that was preventing --extract-results from
actually generating the compressed eland files.

And finally change some of the logging to logging.info instead of debug
as there wasn't currently a way to generate logging.debug messages.

Don't attempt to save xml for a matrix in firecrest if it wasn't created.
since we're now creating it in bustard for greater than pipeleine 1.1

remove some useless debugging print statements

provide an error message if no run is found with the --use-run option

Add unit test to check that the crosstalk matrix was being saved and reloaded
Aparently if your unit test fails to check something there's no guarantee
that it happens.
Also actually add an implementation for saving the matrix.

IPAR detection is more reliable than firecrest so do it first, and then
check for firecrest second

Allow specifying a run instead of just scanning the runfolder for it.
Also rework some of the command line options to group the commands
together, and to print helpful error messages when runfolder is being used
incorrectly.

Add some logging code to report what the program is doing

For pipeline 1.1rc1 or 1.3.2, look for the matrix files in the bustard dir
also if the bustard config.xml file is present, check to see if the
matrix file was forced in there.

Move sample data from simulate_runfolder into testdata
Also I changed make_matrix to take a filename instead of a matrix directory
as in pipeline > 1.1rc1 they started writing the matrix into the bustard
directory instead of as a subdirectory of the firecrest directory.

Make the visiable names match how the "group" and "contact" names were being used.
So "Name" is the person submitting the sample
ans "contact" is now called "lab name" and mostly contains the PI or Lab manager name.

Consume output form the subprocesses

one of the times I was building the srf files the illumina2srf programs
stopped while the files were still incomplete, but with no CPU time.

It appears that the output from the child processes reached a point
where linux decided to block the process. This patch reads the output
from illumina2srf and if you run it with debug mode on it'll log it
otherwise it just ignores it.

Actually we want fastq files, not scarf files

Generate a gerald config file, even if the genome is unknown
as it makes it easier to edit the wrong config file and manually launch
an analysis.

provide more options for picking how much logging info to spew

only report cwd when starting the queue monitor, not on every start job loop

ignore *.py[co] files

Parse runfolders generated with IPAR 1.3 and pipeline 1.3.2
I'm still parsing the Summary.htm file, though it appears they added
an xml file with the same information in it.

Also the s_matrix.txt file seems to have gone away.

This also adds a full Summary.htm into pipelines/test/testdata

Use django's FilteredSelectMultiple javascript widget for picking affiliations

allow searching by cluster station or sequencer name on the flowcell admin page

We can't search linked tables. This is a problem that needs fixing.

The public library page needed to pass eland.genome_map to summarize_mapped_reads

Improve support for eland searching a single fasta containing multiple records.
the problem was that I was assuming / was a path seperator between genome
directory name and chromosome, but eland was also reporting it as
fasta file name / fasta record.

By happy accident in genome map, the fasta file with multiple records would
be stored in the GenomeMap dictionary as having the same name, value pair
while things that had the genome encoded would be fasta filename mapping to
genome/fasta filename.

as a result it appears that splitting a mapped item on the path seperator /
and then looking the "base path" up in the genome map will allow me to
determine if an element is a genome directory "path" or a multi record
fasta file by its absence (for genome dirs) or presence (for multi
fasta records)

Use gigio's fully name instead of nickname

Let cluster_station and sequencer default to the first entry in linked table

replace % with %% in the library names, so retrieve config's % expansion works.

Change flowcell admin index page to include a formatted cluster estimate

Change default picomolarity to 5, and allow overriding the default
via the htsworkflow ini file.
closes [ticket:120] and [ticket:83]

Add commented htsworkflow.ini.example as documentation for new settings
like default_pm.

Sort by library id, not creation data closes [ticket:116]
I left the sort by creation date in there commented out, in case that's how
hudson/alpha wants to do it.

Add flowcell notes field back to the admin page

flowcell model moved from samples to experiments, eland_config needed to know
(and I forgot to tell it)

The default django css pages wanted a few gifs, which this patch adds

Grab more of the admin css pages that were refering to each other
and rename the location for the images they were looking for from
img/admin to img/ (since I expect we'll modify these templates some
from django's defaults)

Display the pM on the public library detail page.
Also I was getting tired of our ugly pages so I ripped large chunks of the
django css and more of their templates to make our library index page look
nicer.

I started working on the public library detail page but that started
involving too many alterations to the code for friday.

Allow filtering by the new hidden field on the library admin page

Lorian asked that the library size default to 225 when porting from our old database

Make the public library browsing page support several features from
django admin pages.

  * Search bar
  * Pagination
  * Filters

This took grabbing the "ChangeSet" class from django.contrib.admin and
slightly modifying, in addition to the css files.

To provide the css files I had to add the ability to serve static
files from the app level. I followed the django pattern that the
internal static pages would only be served by django when debug is true.

And because it's hard to split it out, I also added a new field
'hidden' to the library table. This allows hiding libraries from
the public library page (which is useful since a number of libraries
have a gel isolate pair, which many end users find rather confusing).

Add another username to manage for our made_for to affiliation script

Add get_absolute_url to Library model and use it for linking from both the
index and detail view to the public detail page.

Implement experiment type as a seperate table.
closes [ticket:107]
also initialize the experiment type table with the conversion script

Change cluster_mac_id and seq_mac_id from text fields holding
the contents of a drop down box to be seperate tables whose table names
are a bit closer to the official illumina names.
clust_mac_id -> cluster_station
seq_mac_id -> sequencer

For one of our more recent libraries, the successful_pM had more digits
that was allowed, so I bumped up the setting.
Also I changed the u in ul to \00b5l (so in most browsers it will
render as a micro)

Add a link to the public library summary page off from the libray admin list

Add my script to convert Caltech's made_for field to htsworkflow 0.2's affiliation field.
This could be used as an example for other sites.

Update some of Rami's GERALD config file generator to Django 1.0 API
and get the config file to show up in a browser by setting the mime/type

Only configure logging if we're being run as a script

better handle the case when Affilations.contact is None

Remove a few more fields that we dont use, and change the Lanes display
on the flowcell index page.

I switched from the <div><span> that Rami was using to a <ol><li>
hierarchy, I also made the items link to the corresponding library
page.

simplify library admin index view

Add script to convert current caltech v0.1.x database to the trunk schema

Merge flowcell 'paired_end' flag from v0.1 branch
Then use this flag in the eland_config module to specify ANALYSIS eland_pair
Also change the default analysis to eland_extended

use the following to add the new field:
alter table fctracker_flowcell add column paired_end bool not null default false;

remove cfg_defaults. It was part of an idea I was starting to implement
but I didn't actually do it, so now its just causing problems

Reverse a mistake. DataRuns is from Rami and should use Rami's field names

enable sort of library view by descending library_id

save longer comment describing change

Aparently some more recent version of multi eland stopped
writing the - and just uses fewer fields. when there were too
many hits.

Merge in the library list, detail, and results downloading feature from
the Caltech live site.

There's several components in the frontend tree to render the pages,
in addition this adds in some helper functions in pipelines.eland
to simplify computing summary statistics for an eland lane.

I also needed to merge in a generator based makebed code for
returning the files to the django database.

To use this, the settings file in this branch will need a variable
RESULT_HOME_DIR to be set.

use the compression handling auto-opener for our eland files

make our API docstrings more epydoc friendly

Add load_pipeline_run_xml, a little function that feeds the xml file into
ElementTree and grabs the useful root

Drop 'using %s as cwd' down to just debug level.
It was getting to annoying watching it scroll by constantly

extended command line configuration parsing and add config file parsing
for finding the location of our database and sequence archive directories.

Try to make runfolder results extraction more robust
If an IPAR or firecrest directory is missing some of the important
matrix files that implies there isn't actually a valid run present,
this patch will then (hopefully) issue a warning and skip that analysis
run.

I also added an option to scripts/runfolder to allow a user to specify
where the extracted results should go.

One questionable thing is that for one analysis some of the lanes
were run as sequence and not an eland analysis so were I expected
all the lanes to have an eland genome, it doesn't for these.
I hope that the code doesn't lose the index after serializing and
deserializing that chunk example.

Update to not hard code the config file name and the error message
for when we don't find it

insert code to do ~ home directory expansion

Add in Rami's report template, and adjust the paths to use "reports" instead
of "htsw_reports"

Add id as an AutoNumber(primary_key=True) field and remove the pk from
library_id.

Stanford decided to use library_id as a text field so they could use
library IDs like "SL100". Caltech just used the raw sql id, so the
foreign key reference in experiments_flowcells was expecting a numeric
id, but since the model had the text field as the primary key things
didn't work.

Merge in Rami's changes from last friday.

Most of the admin pages work. Though there's a wsgi error with the reports.
I'll try to figure out tomorrow.

the biggest difference between caltech trunk and stanford schemas right now
is caltech is using made_for as a foreign key, and stanford is using it
as a text field.

add some testing code for the runner daemon

add empty admin.py for eland_config app

Merged much of the stanford htsworkflow frontend into trunk.
Updated to be compatable with Django 1.0

A big change for the 1.0 compatibility is the Admin class that was
attached to models was moved into a seperate file admin.py

I probably munged some of the fieldset formatting in the conversion process.

This is a partial merge of the stanford branch with the caltech branch of
the web application, it doesn't work correctly yet, the libraries admin page
is broken, and lacks the ability to browe the 'made_for' column.

This is based on a merge that started a few month ago, but I hadn't finished
the merge, I'll need to check for more updates from their branch soon.

During the process I decided it would be a good idea to update to django 1.0
which is going to make things even more unstable, so I thought I should
check this work in progess in before continuing.

Look in Temp directories for some of the files we have historically
used for our summary reports.

Version 1.1rc1 of the gapipeline started moving some of the files
into /Temp subdirectories of bustard and gerald.