Tweaks to make the sample gather query faster.
Instead of creating a new library term for submissions, I
changed it back to using the stanrard library ontology term.
(making it easier to link things together).

Also apparently you can have nested optional statements.

Add a helpful error message when we need the submission name but it wasn't provided

Another tweak to allow parser detection to work on content-type text/plain urls

Better parser guessing when grabbing plain text from a webserver.
Also fix a typo in an error message

Use the same model for building fastqs as for building soft file
(And let user specify a base filename on command line)

Allow retrying retrieving rdf from website a few times.

Import flowcell information into our model this allows
our super library id & sequence & flowcell info query to work

Have librdf open the urls in load_into_model instead of using python
As a side effect I ended up discovering that my parser type detection
code for file types was wrong, and now it has test code

I was trying to fix a bug where librdf 1.0.10.1-1.1ubuntu1 was
segfaulting when loading into the model but I couldn't figure
out what was doing it.

Automatically add the flowcell subdirectory to the sequence archive path

Older rdf library doesn't like unicode strings as nodes
so manually encode as utf8

Fix matching scanned sequence files to library IDs work for hiseq runs.
The previous version was keying off of flowcell/lane so if you
had multiple libraries from the same flowcell/lane all the sequences
would end up in one of the libraries.

Hopefully this fixes that. Though to do this I ended up changing
the whole structure of condorfastq to be based on updating an RDF model.
This depends on the sequence.py module changes of saving things to
rdf models -- and the new code to infer library ids at that layer.

Inherit from MutableMapping for ResultMap.
This gets me automatic methods.
I did it because my for x in resultmap wasn't working
correctly. It was using a list key (0) instead of a map key
(library id) and tossing a key error.

Also instead of using ResultMap.add_result(key, destination) I can do
ResultMap[key] = destination

Allow option to save/restore a sequence class to a RDF model.
(After doing this I started having dreams of some set of mixins
designed to persist data into different types of storage).

I also renamed the sql save to indicate that its going to a SQL
database.

Also I renamed one of my simplify Uris to stripNamespace
to make it clearer what it was actually doing.

simplify_uri just returns the end of a uri -- regardless of type.
stripNamespace removes a specific namespave from a uri.

Test RDFa encoded information for flowcell & libraries.
This shouls make sure that I have the right class type on flowcells
so I can reliably fish it out of a triple store.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

sanitize_literal had trouble with empty strings.
This fixes that and tests that edge case.

Attempt to come up with regexp to detect hiseq formatted files.

Fix some mismatches between variable names in python code and in templates

Create a lane to file name turtle data file
this required passing the lane ID information back through
the json api.

Simplify code to see if we already have a DataRun created.
Make sure we update the data runs when getting flowcell lane details.
Test to make sure we can't accidentally add more than one data run.
In the test code also change to assert from failUnless.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Don't link to lane for the raw result files section.
The raw result file code for finding the lane ID was returning
a wrong value (first lane) which was causing trouble on
multi sample hiseq runs.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Use default printer settings again.

(Removing it broke things)

Test proper setting of sequence project variable

Test more of the sequences class.

(And fix the bugs discovered with better test coverage)

Fix a few more formatting issues with the geo template

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

GEO wanted both files for a paired lane to be on a single line.
This required a bit of formatting code to massage the
results of the sparql query into an acceptable form.

Fix issues introduced when switching to the django templating system for fastq generation.
It needs to know where django is, and I didn't include a short form for
identifying flowcells.

Actually we want to capture the unanalyzed lanes if we can...

Get actual list of sequencers used for a library.
I do have pipeline version numbers available, but with the current
version of the query it would end up duplicating the sequencer
model number. (there's a lot more version combinations then
there are sequencers)

Update to our current IPs. I'm tired of syncdb overwriting them.

Adapt building qseq or srf archives to use SampleKey identified lanes

Update save_raw_data to SampleKey api

Add in a few more genomes to detection code

Fix library viewing code to read HiSeq run xmls.

Also still need to fix the samples.view code

Remove default sequence-format so the new auto-detector code is actually called

Attempt to guess raw sequence type for a run.
Also will check for the Unaligned directory first
before looking for the BaseCalls directory, as there's still
a BaseCalls dir.
(It does this by checking for the aligned directory first, and
if it exists using the name in the aligned config file to find
the corresponding base call directory)

Fix a refactoring error

Look for RTAConfig.xml file generated by pipeline 1.12 era.

Use lane 1s matrix when pipeline was set to build matrix from all.
(HiSeq's pipeline doesn't make the lane-less matrix file)

Clean up flowcell ID detection and add support for reading HiSeq IDs
Update the quick and dirty report generator for SampleKey API

fix a variable name typo

Re-enable some suppressed tests and update them for the SampleKey API.
Also try to test getting the HiSeq flowcell ID out of RunInfo.xml

whitespace fix.

Test reading the xml out of a file too.
You write some code and think "oh this is simple,
it should be ok without tests" and then you watch the stack traces.
Now its tested -- at least a bit.

Fix import statement and typos for genomemap

Create a class to convert contig names into genome/contig names
And now being split out I can reasonably test it.
This is needed so when we're reporting where the genome
locations mapped to we can summarize them as a genome
instead of chr1 chr2 chr3 etc.

Guess genome name for building compressed mapping counts from genomesize.xml
The HiSeq pipeline creates a file that has the sizes of the genomes
that it mapped the particular project to, figuring out the genome
version from that is a lot easier than dealing with all the random
possible file names for the config files.

This patch is lacking in that I just hard coded a few genomes
I probably need some mechanism for pulling it from a database.

Give some failover defaults to printer settings.
It's also not certain if we're still using them anywhere.

Use sample keys when looking up lane parameters.
And as a bonus feature I decided to test for a SampleKey incoming
and if its not convert the older lane number to a sample key internally.

One downside is since I'm storing not fully specified SampleKeys
I have to do a brute force lookup of the key.

A few python 2.6 test case incompatibilities.

Switch to regular dictionary instead of ordered dictionary.
python 2.6 doesn't have ordered dictionary. So I switched to using
a regular dictionary and just sorting the returned keys.

Massively rework eland file finding and indexing.
Instead of looking in known locations for specific file names
in priority order, this now scans the gerald tree looking for
any potential eland files.

The eland container class has been changed to be a MutableMapping and
the found files are added. The class internally tracks the priority of
the different file types and will drop any lower files when a higher
priority file shows up.

In addition the key for finding files is now a "SampleKey" class
which supports tracking sample name, lane and read. The SampleKey
also has a fuzzy matching feature that uses "None" as a wildcard.

So you can search for all the samples for a particular end with
something like "SampleKey(read=1)". Needless to say this change
required updating a lot of code that was assuming the nested
list/dictionary structure from before that was tracking read/lane.

Rename chromosome in hiseq test set to match our fake human build

Disable debug messages for each scanned eland file pattern
Given how many places I'm looking for the eland files the debug
messages were getting way too noisy.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Support multiple having an eland file split into multiple fragments.
The interesting thing was changing the match_codes and mapped_reads
dictionaries into their own classes so I can add them together, and
it'll go through and add matching dictionary entries together.

e.g. MatchCodes({'U0':5})+MatchCodes({'U0':5}) == MatchCodes({'U0': 10})

Unfortunately because there are multiple samples per lane on the
hiseq this still isn't enough to support counting aligned results yet.

Some minor tweaks to rta 1.12 testing.
Turn more testing on (remove some suppressing returns),
use the right gerald class, make a variable for indicating
how many ends there should be.

Properly code in tabs for simulated hiseq export files

Use different tags indicating gerald or casava style base alignment
I also decided to insert the timestamp from the config file into the
xml for casava runs.

Add script for updating database to data run versions and cluster/sequencer defaults

If I'm going to make a call to logger, I really should create it first

Only allow one default cluster station or sequencer to be set

Works by watching for the pre_save signal for those classes
and if it sees that the isdefault flag being set to true it
goes through all the other records and sets isdefault to null.

Only allow one default cluster station or sequencer to be set

Works by watching for the pre_save signal for those classes
and if it sees that the isdefault flag being set to true it
goes through all the other records and sets isdefault to null.

Auto-generate a secret key for django and store in the config file.
This way I can keep checking settings.py in.

Also since I implemented this be re-writing the settings file
I thought I'd clean out some of how we were storing some of our
previous default values. (Removed the hard coded - [defaults] section)
so they dont end up cluttering the users config file.

Since I removed the default for the linking hard disk tool
I changed the script to complain more helpfully if it can't find
the setting.

Add the ability to specify default cluster station & sequencer in the database

reformatting to be more pep8 like

Convert dictionary comprehension to dict(generator) so it'll work with 2.6

Adapt select strike-out widget to django 1.2
the function i was overriding was hidden, so I grabbed a bit more of
django 1.3 into my fake widget

Forgot to add the css file to add 'active' state to sequencers
commit d188105c2937068e4bbcf6dbf5229a85725a2e7d

Add an 'active' state to the sequencers.
On the flowcell admin page hack the sequencer select combo box to
strike out the disabled ones.
(Yes it involves hacking an override into the FlowCell admin form by
replacing the default widget it creates. Maybe there's a cleaner way,
but I didn't figure it out)

Show software version information on datarun page

Save pipeline version information from run_xml into DataRun table.
Also show said information on the flowcell page.

Add links to libraries and submission to data loaded from dcc indes files

Merge ssh://jumpgate.caltech.edu/var/htsworkflow/htsworkflow

Move typeof. I think its now getting parsed by rapper correctly now

Import information from NCBI SRA into a RDF model.
(Mostly so I can find our libraries on their site)

Slightly different sort order for finding libraries

Add a software (name) property to firecrest, ipar, bustard, gerald
This property should return the proper illumina name for any
of their various software components I've been trying to capture.

NOTE: Now requires lxml.

I prefer the xpath searching api, and that's not in element tree.
so this now requires lxml.

Return a gerald version number as a number and not a cvs string.
(Also my emacs configuration cleared excess spaces after on several lines)

Add instrument ID and model to sequencer table
Additionally added displaying that information on the flowcell page.

Split lane parameters into seperate classes for GA & HiSeq config files.
Also tweak the tests for a different example flowcell

Fixup docstring to be clearer to others

Merge ssh://jumpgate.caltech.edu/var/htsworkflow/htsworkflow

replace tab charcter with spaces in the multiplex index pluralization

Merge ssh://jumpgate.caltech.edu/var/htsworkflow/htsworkflow

Fix Multiplex index pluralization

Generate html reports when doing sparql queries with encode_find.

I have a further improved simplify_uri function which extracts
a meaningful name from some pretty arbitrary rdf nodes.

(This does mean that an earlier attempt which is still in the code
probably can be removed -- that one depended on knowing the namespace)

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Tweak some test code to work with librdf 1.0.10

update summary.py to extract data from HiSeq runs.
I also commited a much larger swath of hiseq summary files.

One change is Summary and LaneResultSummary now has subclasses to
handle the differences between the GA series and the HiSeq series
runfolders.

At this point the test code is dying trying to read the LaneParameters
out of the gerald config file.

Fix bugs introduduced by the improved HiSeq runfolder scanning.
This makes more progress toward analyzing a HiSeq runfolder, but
is currently lacking the ability to process the Aligned reads.

This does seem to now process the base call processing information
out of the Unaligned tree of hiseq runs.

Also all the previous runfolder versions tests pass again. (Some of my
intoduced logic was a bit off for guessing what type of runfolder it
is.)

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

I found this version more useful for trying to
answer Flo's questions about what we had submitted.

Properly constructing the geo soft file really needed multiple sparql queries.
Most of this is glueing the various queries together into the soft file
template.

One significant url change that should make it easier to
write turtle documents describing the library was to end the
submission set URI with # instead of /

this way .../SubmissionLog/SubName# is more clearly the same base as
.../SubmissionLog/SubName#AttributeName.

However this probably will break my older rule files.

And I'm not checking for that... *sigh*

Prepare for submitting data to geo by:
Adding a new namespace for them.
Creating something to simplify namespace qualified names to short normal names.

Also I implemented an option to import other RDF files.
I made a small attempt to at least partially sanitize strings being loaded
to only include "safe" html.

Most of the changes to test_rdfhelp came because I reindented it to 4 spaces.

Though I did add in tests for the new functions.

Minimal changes needed to get raw data archived for loxcyc.
Its probably not properly counting how many reads there are.

100% test coverage for alphanum.py