Lastest version which requires Django >= v1.1.1.
 * Also adds library label printing from admin interface.

Matches can have trailing AGCT in addition to a number

Always return a count from carefully_make_hardlinks
Be more flexible about which json parser to use

Disabling 'delete selected'.

Added a 'Print Labels' action to the Library Admin Page.
 * Django 1.1 feature.
 * FIXME: Requires a Printer Template (Inventory) with type Library to work...
   * returns a useful error if template does not exist.

Update summary script to read from the GERALD Summary.xml file
instead of depending on randomly changign html code.

Add support for generating fasta files in addition to fastq files
Add an option to add a flowcell ID to the header

WARNING: Django 1.0.2 to Django 1.1.1 compatibility patch... There's not going back now!

Extend qseq2fastq to write to two fastq files,
one for files that pass filter and one that doesn.

Report hidden field in the library API

Use the HTS workflow API to figure out the library tree.
This also needed to search flow flowcell id by the starting name
because we still have the status of a flowcell being part of the
name in a few places.

there is no such thing as sequence_extended. I was using the wrong
suffix generator for paired end sequencing

Return affiliation, library name, and comment in the lanes_for json
api call

Actually implement the code to loop over a list of runfolders
on the command line.

Update the inventory tracker code for the split from lanes being
in the flowcell table to their own stand-alone model.

Also I made the mark_archived_data script take a list of
runfolder archives so I can archive a whole hard disk in one go.

Adds a json api 'lanes_for' feature

Force auth_backend error messages to sys stderr, as
wsgi hates stdout

Remove debugging code that breaks mod_wsgi

Added 'lanes_for' which will show recent flowcell lanes ordered by date,
and allows filtering by username.

In addition I modified the library index to bin runs into
small (<40), medium (<100), and large (>=100) runs seperated by single
and paired end reads.

Refine user handling.
The sysadmins need username to match up with the unix accounts,
The site manager needs a meaningful name to attach users to samples.
So the HTSUser string representation is first/last name and then username
in the corner.
In addition I modified the add user popup form to allow setting the
first/last name during the user creation.

Update test code to deal with the switch to storing archive
qseq files instead of srf files

Don't throw an error if library.cell_line is None.

The API was having problems where if the cell_line wasn't set it was
trying to do None.cellline_name, which didn't work so well.

In addition there were a few other type conversion issues, such as
unicode(None) != None.

So I added unicode_or_none

Modify qseq2fastq to also read from compressed tar files containing qseq files

Update the usage string for qseq2fastq

Add flowcell/lane information for a library to the rest hts api.
(Also catch a couple of bugs converting some fields to json.)

Define the unicode() function for HTSUser to also report the users full name.
ticket:149
Make adding a user to an affiliation optional
ticket:150

Include information about the flowcell run date on the library detail page

Make the basic library page show up when javascript is disabled
by removing the x-hidden from the content div.

Tell people to use the https address so it'll work off campus.

Modify the srf utility to tar.bz2 the qseq files instead of the using
the srf utility.
Additionally I updated the runfolder script to capture a few more
pieces of information (in addition to the switch to qseq files).
I'm now capturing the IVC plot and pngs, and the
flow cell reports generated by the 1.4 and later version of the
pipeline.

Replace '.' with 'N' in the sequence from qseq files.
Also add an option to include the pass filter state in the header
(and a small code reorganization)

Fix typo in srf command

Also include the read ID in the fastq header

Add a simple utility to convert qseq to fastq files.

It'll probably morph into a more complex utility in the near future.

Watch for a list of files to indicate that the flowcell is done.
I change completion_file to completion_files and used shlex.split
to split the options in the ini file into multiple elements.

Thus if you want a name with a space in it you'll need to use a
backslash before the space

Override extjs's rather harsh stylesheet so the library detail page is legible

Don't add the post_run_command unless the option and a runfolder are specified

Remport that the pipeline will be done in X to Y days from now
instead of from when the pipeline was started.

update inventory status template to use new field name for samples_library library id

Allow specifying which database to convert

Turn the library_id back into the primary key for samples_library (SCHEMA CHANGE!)
Trying to make it possible to enter the 'library_id' instead of the
arbitrary auto-incrementing key when creating a flowcell was turning out
to be far too time consuming.

It was vastly easier to decide that the 'library id' was a sufficiently
unique short value that it could be used directly as the primary key.
Its now a char 10 field, unlike the integer primary key to support
stanford style library IDs like SL123.

Its possible to convert the previous database version to one compatible with
this code by running docs/conv_library_id_to_pk_v0.3.1.py

Figure out the absolute path to the runfolder for passing to the post_run
command

Also use the javascript dual panel choice box for tags.

In some cases test_retrive_config will attempt to normalize None as a url
which doesn't work so well.

So this patch just returns the None and lets the problem
get sorted out elsewhere.

Use raw_id_fields for the library ID in the Flowcell Lane Inline form
this provides a vastly superior choice for searching a large number of
database entries.

I also grouped the various Lane form customization elements together
as I was tired of scrolling up and down in the file.

Add the ability not to build srf files.

This requires that you specify the 'site name' as a flag to turn
on creating the srf files.Add the ability not to build srf files.

Add an account number field to a library. (Note SCHEMA CHANGE)

We need some way to charge groups for our services, so it keeping
track of what account to use.

This does require a minor schema change.
alter table samples_library add column "account_number" varchar(100) NULL;

Add a bread crumb to the send started email page.

I modified the base template to re-include the default place for
a bread crumb, and added a bit of test code to make sure the bread crumb
is actually present.

Remove spurious print

Test that the email notification actually generates some emails.

I discovered that django when run in a test environment will store
email messages sent in django.core.mail.outbox, so I could make sure
that when the "run started" send email is clicked, it actually creates
some messages. (Though my current test, is just that the body is non-zero).

Use eland_extended or eland_pair instead of eland for ANALYSIS type
this required splitting up my analysis suffix for sequencing and
aligning code.

Also forcing lanes that have no available genome to be sequencing
changed part of a retrive_config test case.

Default to sequencing if we don't have a genome for the provided
species.
Also I added some additional logging messages to make it easier
to se what's going on with retrieve config.

Test the updated version of extract results that builds srf files.

Of course this means you need illumina2srf for the code to work.
Perhaps I should add something to skip that test if its missing.

Add building srf files to runfolder as part of --extract-results
This required splitting the srf code out from the srf script
into a new module in htsworkflow/pipelines/srf.py

Modify hdquery to not die when being imported on non-linux systems.
(Makes nosetests --with-doctests work better)

The config file should also set the SEQUENCE_FORMAT
(also I forgot to change a .getcode() to .code

HttpRequest.getcode doesn't exist in python 2.4, use .code instead

Implement a client side config file generator.
This downloads the flowcell information json block and then
creates a gerald config file with it.
This version will also look for a "post_run" entry in the
htsworkflow.ini config file for a script that should be
inserted into the config file to be run when make ends.

Print library.library_id instead of the flowcell.library_id.
The first is the library_id string we assign to libraries,
the second is the foriegn key linking to the library primary key.
(yes they're both named library_id... it makes it confusing.)

Return species information as part of the flowcell json information.
Additionally instead of using django authentication use an apikey
for authenticating access to the json data.

Currently the apikey is just a value stored in the settings.py file
(DEFAULT_API_KEY), but in the future could be linked to users.

Put a stub species_json in, as I'd listed it in the samples/urls.py
this implementation just always returns 404

Allow grabbing library information via json.
Also make sure that we refer to libraries by our official "library_id"
instead of django's primary key library.id. I needed alter what was being
returned by the flowcell json code in order to support this.

Add a /config/<fcid>/json url that returns information about a flowcell
this includes test code that verifies the underlying dictionary
representing the flowcell is correct, as well as testing that we
can retrieve data from the url only if we're logged in.

Now I need to implement something similar for sharing information
about libraries.

Django really wanted a 404 template.
So here is an insanely basic 404 template.
Someone should fix it, but at least know I'm getting 404s and not
tracebacks

Force addition of HTSUser object if someone is creating an auth_users object

Replace some prints with logging.info messages and
replace the call to HTTPError.reason with HTTPError.code and HTTPError.msg
as those seem to be available in python 2.6

Fix ticket:145 this patch includes the tar.bz2 extension in the scores pattern.
Also for good measure I check for tar.gz and .tgz. This'll
help avoid the problem of something else showing up in the directory
that matches the pattern scores*, like scores.tar.bz2.md5

Apparently I should've rendered the emails in plain text.
Also lorian wanted to include the cluster estimate in the email.

None is better than a baddly munged string for when we don't know the cluster/tile value

Don't crash if there are no lane result summary entries when rendering
output by not looking inside the empty dictionary.

Report if the Summary.htm file is missing the Lane Results Summary block.

Remove spurious pring debugging statements as they make mod_wsgi very sad

wsgi print error fixed.

remove spurious debug print statement

Report who the site managers are for the BCC
also include the affiliations email as one of the entities being notified
about a library.

Added control_lane column to Flowcell.
 * updated upgrade_v0.2.6_to_v0.3.py script to update flowcell table.

No printing allowed; fixed.

Now adding a user adds the key linking the htsuser object to the auth_user object.

(I overrode the user admin class and two supporting forms.)

Implemented custom templates by inventory type using PrinterTemplate object.
  * bcmagic app now has a Printer object which stores useable printers
  * PrinterTemplate links Item Type, Printer, and Template together.
  * Templates now stored in db in PrinterTemplate object.

Implement a send started email feature.

The UI is linked to from the admin page by overriding the django
admin change_form for experments/flowcell to include an new link
in the object-tools block.

The actual page is implemented as a custom view. Its designed to
render the emails to a preview page, and then, at the bottom
of the page there's a button to actually send the emails.

It'll re-load the page but with a small status message about
what happened with the email in question.

Additionally this requires that users be attached to affiliations
and that users have email addresses.

I forgot we were also going to extract an email address from the
affiliation as well, if it was set.

Reorder imports in model to make me happy.
(stdlib -> large dependencies -> app specific parts)

Update user db when doing update.

Use hasattr instead of checking for django version number to check
for the new admin.site.urls (django 1.1 compatibility)

Finished removing bcprinter module by moving what little code there
was to the bcmagic module. Removed app from settings. Fixed major bug
that I just created (and fixed) that caused only admin views to work.

Moved bcprinter.util to bcmagic.util.

Moved bcprinter/util.py to bcmagic/util.py

Hard Drive Shell label made by Lorian; templatized by me.

Admin compatibility for changes in Django >= 1.1.

Forgot to update one request to request.REQUEST variable lookup

Convert stanford/hudson alpha's updStatus to work with django 1.0.2's
WSGIRequest objects.

(Mostly this means accessing request.REQUEST instead of just request)

Also I changed the user restriction from 'rami' to is_superuser, as for
some reason the user variable attached to the request is an actual django
user.

Update hudson alpha's eland config file generator to work with the
lane table.

Update eland_config generator to work with the new seperate lane table

Update Rami's flowcell report to work with our new seperate lane table.

Add a custom (inherited) user object named HTSUser to the samples table.
This is so I can attach users (and their email addresses) to the
affiliation object.

Fix code where the python str() function had been overridden with a
string named str.

Lorian's request for a thin comment field implemented.

Lorian's requested filter by status; requires at least 2 status types.

New way of accessing pM for a lane in _summary_stats

Lane number fix for _summary_stats function and library_to_flowcells view

New lane model patch for library_to_flowcells view.