update settings for new location of WSGI_APPLICATION, and add a reminder about where to set debug

fix quote typos with the {% static %} template tag

Move wsgi into the actual project root.

Update WSGI_APPLICATION to point to the updated location of the wsgi script

Inventory works, even though its was hidden between two non-working modules

move an example result directory into git and use it for testing

Merge branch 'django1.4'

there was a conflict with my qualifying the load_pipeline_run_xml function call

Conflicts:
htsworkflow/frontend/samples/views.py

Update requirements to require diango 1.6

Start simplyfing settings by using from settings_local import * pattern.

This should be a lot less ugly than my previous implementation
using the ini file. However there are still settings that need to
be migrated over.

add new wsgi.py driver

Update templates to consistently use {% static %} instead of hard coding paths

Also import a few media files that were missing.

Move loading DTD into a function as the call caused a hang when loaded into wsgi

move django imports around, change one function call to a qualified import

Update exception caught for newer django?

use url function call for url definition instead of just a bare tuple

Move use of settings default into the function instead of function definition.

This is because the if its not defined the program wont start up.

Update manage script to django 1.6

Being able to filter on paired end runs might be useful

remove deprecated module django.contrib.databrowse

With 1.6 boolean field changed to default Null, so to be backwards compatible set default false

Django 1.6 is pickier about enforcing referential integrity

Fix urls patterns import to be compatible with django 1.6

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Add new paired library types to our hackish list for library classifications

Attempt to be robust to not having an alignment in our RunXml file

Attempt to be robust to not having an alignment in our RunXml file

After implementing proper tests get a working implementation of runfolder name from IPAR tree.

My first couple tries didn't work hopefully this one will work

After implementing proper tests get a working implementation of runfolder name from IPAR tree.

My first couple tries didn't work hopefully this one will work

fix typo

fix typo

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Recent IPAR xml config blocks include the runfolder name

I was previously extracting it in the gerald step, but since we
have a number of runfolders with no aligned directory that wasn't working.

Conflicts:

htsworkflow/pipelines/test/test_runfolder_rta180.py

Update for UCSC's validate manifest 1.7

Provide reporting of what command failed when bigWigInfo isn't available.

Recent IPAR xml config blocks include the runfolder name

I was previously extracting it in the gerald step, but since we
have a number of runfolders with no aligned directory that wasn't working.

Add a way to report what url was failing

Catch and report another class of exception

Merge remote-tracking branch 'brisby/django1.4' into django1.4

Pass additional information to the trackhub.

This allows adding a term to control visibility of tracks.

There's also a hack to pull out the min/max bigWig values when generating
the trackDb.txt file.

It unfortunately depends on having bigWigInfo from UCSC on your path.

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Merge branch 'master' into django1.4

Add command line feature to srf command

this should allow copying out fastq-equivalent files from a run.

Dynamically respond to the number of lanes.

Illumina now has single lane flowcells so the assumtion that there
will be 8 lanes is wrong.

Fix typo.

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Implement a wrapper around bigWigInfo to report bigWig summary info.

(shocking name there I know)

Make it possible to set a label on a track.

This works by setting a term label_template on the filename regex
block. that label_template is then expanded by searching for metadata
in from the related library for that submission.

add replaces / replace_reason generation to trackhub manifest

remove spurious newline

Be more forgiving about the md5sum filename path

Add helpful logging information to explain missing required options.

Share more code to generate result tree.

This was in preparation of trying to support some mechanism
to submit different analysis from one directory somehow.

Update test data for renamed library type.

Add sortOrder and filtering parameters to the trackhub.

The order of trackhub parameters is still fixed,
however it should skip missing options.

Move version finding code into the util directory.

Mostly done because I already have test code in
htsworkflow.util.test

Test changes to submission code.

Also there's some commonality in simulating a submission directory
so refactor that code out to a common module.

Generate manifest.txt files for submitting to ENCODE3.

Change trackhub generation from my previous template version to use
the Daler trackhub code.

This includes a feature to complain if you offer a submission set
name that diesn't exist.

Also the samples query returns all the submission components in
a single query instead of one of a time. (Which is much faster
way of doing things).

turtle writing improvements.

  * Update namespaces added to default writer.
  * Add a function to generate a default turtle prefix header.

Add a generator that returns analysis nodes from a result map.

It iterates over the submission directories and returns
the fully qualified RDF node for them.

Add python namespace for encode3 RDF namespace

Add function to list the names for submissions from the RDF model.

Currently the model is ill-specified and the name entries
are just pointing at the list of per-library directory names.

Make sure the end of the submission name doesn't have URL seperator
characters.

Add function to parse scp / ssh style URLs.

Also move some tests around from htsworkflow.util.url

Deleting commented out code.

Came up with a better library filter strategy

Update test to work with species -> species_name rename.

Generate manifest files for ENCODE3

I added a new option to the trackhub generation script.
There were some changes to the model generation to capture
relative path names and add the library URI to files to
make some queries faster.

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Add the option to copy tree in addition to making a symlink tree from elsewhere.

Also don't copy subdirectories in an analysis directory tree being copied
from elsewhere.

Initial attempt to start generating trackHubs and manifest files.

type checking more detailed than Literal doesn't work well

Add option to copy source files for a submission.

Sometimes it may be worth while to keep a copy of the
files being submitted.

Further improve reliability of make_tree_from.

The previous update assumed that it was going to be running
in the target directory. which wasn't true in the test cases.

I also updated the test case to handle both a base filename and
an absolute pathname for the result map.

copy_tree_from wasn't actually making any symlinks.

It turns out at some point the results class switched to using
full paths. this meant my os.path.join's didn't work as it
didn't modify fullly qualified paths.

This patch converts the result lib path to a relative path based
on the destination so it can compute source paths more easily.

Update tests for new version of redland rdf lib.

Also change from failUnless to assert

Remove deprecated adminmedia template tag from loader.

Since these templates didn't actually use the feature
I didn't bother replacing adminmedia with staticfiles

Replace deprecated django.contrib adminmedia with staticfiles.

Also update url template tag for django 1.5 syntax.

Use proper User model import.

The previous location was an unsupported alias.

Preliminary implementation of trackDb generation.

This is super preliminary importand report parts are
hard coded instead of being detected properly.

Forgot to import an exception I used

Make a sample key list to go along with our lane list

At some point I had to add the sample key which could link
lane, library and index together. Some code know expects that
class so I needed to create a "standard" list and pass it in.

Add more entries to genome version detection map.

Renamed hg19 to hg18.
Added saccer1, Anopheles_gambiae detection

Support scanning HiSeq runs with multiple analyses.

It extends the previous C1-100 directory name with the concept of
a suffix extension to that name. The suffix is gathered from whatever the
user came up with their own Aligned/Unaligned directory names.

I discovered I'd previously been calling the
"run_{flowcell id}_{timestamp}.xml" filename the runfolder name. Which is
dumb, as that's a filename, not a name. So this patch renamed it.
(Since I needed to clean up some of the names to implement the above
"run_dirname" functionality.

since I was testing the run.name in the test_runfolders* I needed
to fix those. (And I'm really regretting my cut-n-paste programming).

Thrown an exception if we can't parse base calling directory.

While working on making the alignment parsing optional. I made a mistake
copying some files around, that led to an unparseable base call directory.

I thought I should try to catch and report that error condition.

Start making documentation for htsworkflow.

This is a tiny start toward creating documentation for
htsworkflow, mostly I was getting confused about some of my
classes and thought I should try to get some API documentation
going.

Since I wanted to make sure I had the docstring syntax right I needed
some way to actually build the documentation, and so I might as well
commit what little documentation I created.

A better resolution to a possible circular dependency.

The runfolder subdirectory processing tools (firecrest, bustard, gerald, etc.)
were importing runfolder for some common constants, however runfolder
imported them to actually build the runfolder structure.

My previous solution was to only include the imports for the
sub-directory processing in the function that used them.
However that lead to needing nested functions which seemed confusing.

What I did was move the common constants into pipelines.__init__
and just imported them from there.

Don't accidentally transform an object into a tuple.

I had an extra ',' that was turning a simple assignment
into assignment of a tuple containing the variable I was expecting.
needless to say this cause trouble.

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

I fixed one of the time-stamp formats on both development machines.

Conflicts:
htsworkflow/pipelines/gerald.py

Try to make Aligned result directories optional in hiseq runs.

The previous implementation tried to match Aligned & Unaligned
directories by parsing the Aligned directories config file for
its the unaligned raw sequence directory.

Needless to say that didn't work if there wasn't an Aligned
directory.

This version tries to match them by comparing the suffix in
Aligned<Suffix> and Unaligned<Suffix>. Then the runfolder generation
code will still generate a runfolder if there's no aligned directory.

Add unaligned stats files to hiseq test case

Tweak timestamp format.

Gerald's time-stamp format was inconsistent.

The different os / python versions had different defaults for
'%c'. I'd previously changed the read function, but not the
generation function. Also it didn't look quite like some
of my timestamps in my files.

So now both creating the time stamp and parsing the time
stamp are using the same date string.

Make my ChangeList sub-class compatibile with Django 1.3

Django 1.3's django.contrib.admin.view.main.ChangeList
class takes one fewer parameter than the 1.4 version, as
does the get_query_set function.

I solved this by testing the django.VERSION and adding
the extra paramemeter to a dictionary and calling with
**kwarg expansion.

Yes it is dirty.

Make the inventory pages work with the new HTSChangeList.

There were a few problems, I was calling get_result_set in the template,
which requires the HTTP request which isn't available. I needed to be using
result_list instead.

I also changed the name in the context and failed to use the right model
for one of the indexes.

Django 1.4 requires the csrf token for posts.

The old login form copied from django 1.1's admin directory was missing it.

Use specific time formatting instead of locale '%c'

For some reason under my current configuration the
locale formatter didn't work. Since it's probably better
to actually set a known format for the xml files, I
manually coded the appropriate string parser format.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow into django1.4

Simplify linking fastq files to their library id.

Unlike my previous effort which required the fastq generation
script to generate dc:source entries to match fastqs to libraries,
this version just parses the generated fastq filename.

This does mean that a manually generated file might not work.

I accomplished this by writing a class to generate the
fastq (for submission) filenames and to parse them, so at least
all that code is in one place.

Also after attaching the fastq metadata to the file node,
I discovered I the websites use of language tags on strings
made my query fail. So I changed the toTypedNode to take an optional
language tag. (Defaults to "en").

Add a FastqName class to create and parse standardized fastq names.

I had a pretty standard naming convention for the fastq file names,
instead of duplicating the code for creating & parsing them,
I thought I should try to localize the code.

So I just added htsworkflow.submission.fastqname

Change my copied version of admin.changelist to a subclass.

Why repeat myself when I can subclass for customization purposes.
It works for the samples pages, but the inventory lists
dont work with this new code.