Dynamically respond to the number of lanes.

Illumina now has single lane flowcells so the assumtion that there
will be 8 lanes is wrong.

Add more entries to genome version detection map.

Renamed hg19 to hg18.
Added saccer1, Anopheles_gambiae detection

Simplify linking fastq files to their library id.

Unlike my previous effort which required the fastq generation
script to generate dc:source entries to match fastqs to libraries,
this version just parses the generated fastq filename.

This does mean that a manually generated file might not work.

I accomplished this by writing a class to generate the
fastq (for submission) filenames and to parse them, so at least
all that code is in one place.

Also after attaching the fastq metadata to the file node,
I discovered I the websites use of language tags on strings
made my query fail. So I changed the toTypedNode to take an optional
language tag. (Defaults to "en").

Add a FastqName class to create and parse standardized fastq names.

I had a pretty standard naming convention for the fastq file names,
instead of duplicating the code for creating & parsing them,
I thought I should try to localize the code.

So I just added htsworkflow.submission.fastqname

Remove prints that were being called in test code.

It messes up my dots. Unfortunately the fastq validator is still
ugly. But at least its messages are a lot shorter.

There was one debugging function ls_tree in simulate_runfolder
that I renamed to print_ls_tree because I'll occasionally remember
to grep for print to find things I shouldn't commit.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Changed name= to verbose_name= for LibraryType.

Strangely Django <1.4 didn't notice the error when importing
the fixtures. It was trying to use the name "Adapter Type"
as the database name, instead of the actual column name "name"
for the LibraryType table.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Make extra sure Django's setup test environment is run.

When running under unit2 discover, the mail test was using
a real mail server as it didn't know to run Django's
setup_test_environment. This rather heavy handedly runs
the django setup/teardown functions for the TestEmailNotify module.

Convert to unittest2

Test cases inherit from either unittest2 or django.test.TestCase
I should be able to use skip tests in the future.

I learned inheriting from django.test.TestCase will properly set up
the database for django tests. (Well at least mostly, I'm having
some possible errors on 1.4)

Convert to unittest2

Test cases inherit from either unittest2 or django.test.TestCase
I should be able to use skip tests in the future.

I learned inheriting from django.test.TestCase will properly set up
the database for django tests. (Well at least mostly, I'm having
some possible errors on 1.4)

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Ignoring the missing type RDF error for the page under testing's url.

When testing the stylesheet gets attached to the pages url. All
the meaningful information about the sample or experiment still
gets added to the right <host>/<category>/<id> pages,
unfortunately that means the page url doesn't have a type which
caused _validate_types to toss an error.

I'd previously fixed it by testing for the error message and
filtering it out from the test code, but that didn't work on
ubuntu 10.04 as the error message changes slightly with the
older version of redland rdf.

This version changes the sparql query to ignore the case
where the predicate is a stylesheet and there's no type.

Add dependencies to the setup.py

I do need to make benderjab public before other people
could install this. Or maybe figure out how to use the optional
dependency mode.

Test presence of species & species name on library index page.

Correctly implement merging Notification & Manager sets

Apparently I was off imagining functiosn that don't exist.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Renamed various django tests.py to test_module.py

It appears by default py.test was looking for packages named test_,
since it wasn't finding the tests.py modules. This seemed like
a reasonable alternative convention.

Ignore .tox directory

I was experimenting with the virtualenv testing tool tox.testrun.org
and I might as well ignore its directory

Fix RDF schema problems with lane_number and species.

My RDF schema was using the term "species" both for the species
name and a species class -- which doesn't make sense. This
version of the schema introduces a species_name which can
attach either to the Library object or the Species object.

Its still a little inconsistent as I'm using it for both
"common name" and "scientific name". But hey its an improvement.

Also there's a tweak to the library_number type on the library detail
page setting the type to string instead of number, as I decided
it should be treated internally as an opaque identifier.
In theory someone might start naming lanes A,B,C,D or 1T, 1B
(for the top and bottom of a flowcell slide).

Finally I decided that the gel_cut should be of type integer,
yes decimal is the "more general type" but I'm using integer in
my sql schema so its only going to return integers.

Run the library detail page through RDF validation.

Also ignore the missing type error message for http://localhost/
as that resource really shouldn't have a type.

This improved test does catch a few new model inconsistencies
which I'll fix in my next patch.

Change add_default_schema to use pkg_resources feature to find schemas.

I was trying to get py.test to work and it really wants to install
things, and my previous method to find the schema files wasn't working
very well with the egg distribution.

Add dependency information to the setup.py script

Though its still missing a bit as I don't have benderjab
hosted and librdf needs to be installed seperately.

rdf:Resource can be either a resource or a blank node.

Thus we should only toss an error in the case of a node being
a literal.

Uniquely merge BCC and Manager lists for sending notification email.

This uses a set to only send one email address one copy of a notification.

Further attempts to validate RDF models.

I had a bug caused by lane numbers being langauage tagged strings,
and thus not being found by my sparql query.

I found a solution to filter based on just the contents of a string
ignoring the language tag. However I thought not only should I
make it easier to run my RDF model validation code, I should also
double check the literal types.

Previously I just tagged any literal as rdfs:Literal. For ones
that should have a known type, I've changed it to the xmlschema
types.

This patch doesn't actually fix the bug. Just introduces the
diagnostic tool.

Add error message for typoing a result map filename.

As a gift to me when trying to do something while sleepy.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Catch another lookup error.

Apparently one of gerald_summary[read][lane] was a dictionary
and so threw a KeyError instead of an IndexError. I might as well
catch both.

older librdf wanted to include type information when showing query strings.
So I ran everything through fromTypedNode to convert the nodes
to simple python types.

However fromTypedNode wasn't intended to handle non-literal nodes
so I had to adjust it a bit to return resource nodes safely.

When collecting files for a geo submission, group on library id
instead of the previous grouping on lane.

This might actually generate soft file with raw & supplemental data.

To make working with the development server easier, I changed
the submission class to take a host which it will use to generate
the base library url.

When constructing URLs for files, I'm now using the actual path names
instead of synthesizing something based on the submission name.
This is to limit the amount of knowledge that needs to be passed
between the fastq generation code.

For fastq files it looks at the source file to find the flowcell
information. For supplemental files it looks at the submission
class for that analysis directory and grabs the library id
from there.

Merge changing lane_number to string and sequence finding code changes
I started using actual file paths instead synthetic submission
paths for naming where my sequence files are.

This one still one generate geo submissions correctly as I'm
pretty sure not all of the queries have been updated yet.

Add a log message to for debugging

Define XHTML_RDF_DTD as None when we can't load the DTD

Make the public html pages valid xhtml, and validate more RDFa cases.

Also after I spent time playing with the w3c online validator,
I decided it was best to try and add modest validation to my
unit tests.

So now there's a validate_xhtml function in ethelp.

The one really weird thing is I tried to load the DTD
in the test case, however it looks like librdf clobbered the
XML catalog resolver at some point so the DTD resolver can't
find anything.

remove some dead commented out code.

Fix (some) missing closing tags.

Make a validation error message between different ages of librdf.
result.uri vs result again.

Also make the library index page conform to htsworkflow ontology.

Minor tweaks to deal with the older version of librdf on ubuntu 10.04
things like utf-8 escaping a string, using str(node.uri) instead
of str(node).

Use htsworkflow ontology to validate various RDF using components.
Of course to use the ontology I had to make one first.
Unsurprisingly implementing it touched a bunch of code & templates.

I tried to be more consisten with using mixed-case names for
classes and lower_case names for properties.

There's some inconsistencies. like i use the term notes & comments
in different areas. Also, should I be using my own terms or
do better at reusing more standard ontologies?

Refactor property type validator to support multiple classes for domain/range.
Also test to make sure we can have more than one domain/range statement.

Add stub xhtml vocab ontology, to make model validation quieter.
(the stylesheets got attached as a property of the library or flowcell)

Merge ssh://jumpgate.caltech.edu/var/htsworkflow/htsworkflow

email.bcc should be a list, not a nested list.
NOTIFICATION_BCC was already a list of options.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Improvements to rdfinfer.

Add rule to infer class and subClassOf memberships,
add testing for the class case.

Add code to run all the validation rules.

Change rdfhelp.dump_model so you can specify a destination stream.

Progress using rdf model to link fastqs with flowcell/lib metadata.

I changed how I was using rdf:type -- the most raw data is now
a 'sequencer_result' and now there's a seperate file_type
attribute to indicate what kind of result file it is.

I renamed find_missing_targets to update_fastq_targets as
in addition to finding what fastqs we need to generate it'll
also download missing flowcell information.

I'm still having trouble fishing out the fastq files so this isn't
ready yet.

Finally minor tweaks to the soft file formatting to try
and get it to render everything without spurious spaces.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Start implementing infering triples.

This includes utilities to import the common schemas, and
a bit of functionality for validating models, in
addition to the rule to compute inverseOf.

Be more defensive if the database is missing some data instead of
crasing on trying to access an empty list.

fix a wrong variable name

Tweaks to make the sample gather query faster.
Instead of creating a new library term for submissions, I
changed it back to using the stanrard library ontology term.
(making it easier to link things together).

Also apparently you can have nested optional statements.

Add a helpful error message when we need the submission name but it wasn't provided

Another tweak to allow parser detection to work on content-type text/plain urls

Better parser guessing when grabbing plain text from a webserver.
Also fix a typo in an error message

Use the same model for building fastqs as for building soft file
(And let user specify a base filename on command line)

Allow retrying retrieving rdf from website a few times.

Import flowcell information into our model this allows
our super library id & sequence & flowcell info query to work

Have librdf open the urls in load_into_model instead of using python
As a side effect I ended up discovering that my parser type detection
code for file types was wrong, and now it has test code

I was trying to fix a bug where librdf 1.0.10.1-1.1ubuntu1 was
segfaulting when loading into the model but I couldn't figure
out what was doing it.

Automatically add the flowcell subdirectory to the sequence archive path

Older rdf library doesn't like unicode strings as nodes
so manually encode as utf8

Fix matching scanned sequence files to library IDs work for hiseq runs.
The previous version was keying off of flowcell/lane so if you
had multiple libraries from the same flowcell/lane all the sequences
would end up in one of the libraries.

Hopefully this fixes that. Though to do this I ended up changing
the whole structure of condorfastq to be based on updating an RDF model.
This depends on the sequence.py module changes of saving things to
rdf models -- and the new code to infer library ids at that layer.

Inherit from MutableMapping for ResultMap.
This gets me automatic methods.
I did it because my for x in resultmap wasn't working
correctly. It was using a list key (0) instead of a map key
(library id) and tossing a key error.

Also instead of using ResultMap.add_result(key, destination) I can do
ResultMap[key] = destination

Allow option to save/restore a sequence class to a RDF model.
(After doing this I started having dreams of some set of mixins
designed to persist data into different types of storage).

I also renamed the sql save to indicate that its going to a SQL
database.

Also I renamed one of my simplify Uris to stripNamespace
to make it clearer what it was actually doing.

simplify_uri just returns the end of a uri -- regardless of type.
stripNamespace removes a specific namespave from a uri.

Test RDFa encoded information for flowcell & libraries.
This shouls make sure that I have the right class type on flowcells
so I can reliably fish it out of a triple store.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

sanitize_literal had trouble with empty strings.
This fixes that and tests that edge case.

Attempt to come up with regexp to detect hiseq formatted files.

Fix some mismatches between variable names in python code and in templates

Create a lane to file name turtle data file
this required passing the lane ID information back through
the json api.

Simplify code to see if we already have a DataRun created.
Make sure we update the data runs when getting flowcell lane details.
Test to make sure we can't accidentally add more than one data run.
In the test code also change to assert from failUnless.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Don't link to lane for the raw result files section.
The raw result file code for finding the lane ID was returning
a wrong value (first lane) which was causing trouble on
multi sample hiseq runs.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Use default printer settings again.

(Removing it broke things)

Test proper setting of sequence project variable

Test more of the sequences class.

(And fix the bugs discovered with better test coverage)

Fix a few more formatting issues with the geo template

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

GEO wanted both files for a paired lane to be on a single line.
This required a bit of formatting code to massage the
results of the sparql query into an acceptable form.

Fix issues introduced when switching to the django templating system for fastq generation.
It needs to know where django is, and I didn't include a short form for
identifying flowcells.

Actually we want to capture the unanalyzed lanes if we can...

Get actual list of sequencers used for a library.
I do have pipeline version numbers available, but with the current
version of the query it would end up duplicating the sequencer
model number. (there's a lot more version combinations then
there are sequencers)

Update to our current IPs. I'm tired of syncdb overwriting them.

Adapt building qseq or srf archives to use SampleKey identified lanes

Update save_raw_data to SampleKey api

Add in a few more genomes to detection code

Fix library viewing code to read HiSeq run xmls.

Also still need to fix the samples.view code

Remove default sequence-format so the new auto-detector code is actually called

Attempt to guess raw sequence type for a run.
Also will check for the Unaligned directory first
before looking for the BaseCalls directory, as there's still
a BaseCalls dir.
(It does this by checking for the aligned directory first, and
if it exists using the name in the aligned config file to find
the corresponding base call directory)

Fix a refactoring error

Look for RTAConfig.xml file generated by pipeline 1.12 era.

Use lane 1s matrix when pipeline was set to build matrix from all.
(HiSeq's pipeline doesn't make the lane-less matrix file)

Clean up flowcell ID detection and add support for reading HiSeq IDs
Update the quick and dirty report generator for SampleKey API

fix a variable name typo

Re-enable some suppressed tests and update them for the SampleKey API.
Also try to test getting the HiSeq flowcell ID out of RunInfo.xml

whitespace fix.