mark the example submission rule files as being raw, so the escapes dont get confused

most of our test submission rule files use bz2 regexes, so lets make those files

Change unittest2 back into unittest.

Django 1.7 docs pointed out unittest2 was backported into
python 2.7, so they dropped their version.

Add post_json as some DCC objects are created with post requests.

considering the code is duplicated, there's probably a way to abstract
those functions.

Rename headers to json_headers for requests (seemed a bit clearer)

Also output a more informative http exception

Updates to jsonld context for the DCC schemas.

Also I added a comment for what their prefix NTR means.

Update test_encoded test cases due to https now being the default.

DCC switched to https

Update fastqname code & test code to better support having optional compression extension.

Its a bit weird as thats the first property which is optional, so
it needed some special case logic.

Also I accept either None or '' for the case of no compression extension as
condorfastq passes in compression_extension=''

Directly generate compressed fastq files from HiSeq split fastqs.

desplit_fastq is the only fastq builder that has the necessary
compression argument.

the filename templates were moved from condorfastq to fastqname a while ago

Indicate when desplit_fastq didn't get any files to process

Make sure we can load a run file that lacks alignment details.

For some reason the previous integrety fixes, added made the failed flowcell be in the second position in the table

Postgresql has referential integrety checking.

So some of my dangling foreign keys caused tests to failed.
I resolved them through a few different ways,
  * adding initial_data to include description tables
  * adding some additional data to the test fixture.
  * renumbering affiliation keys to match my small test list.

I had to reorder the app list because I think there was a dependency
in the wrong order.

Ignore the path when comparing filenames from the md5 files.

There were too many other ways of creating them or running
the md5 file creation from too many different places for including
the relative path to be reliable.

use autoopen to access fastq files

Start implementing tool to compute library fastq quality

Just use the python 2 url parsers instead of trying to pull it out of requests

Update timestamps in inventory app test data to be timezone aware.

point default flowcell directory to test data

add default values for some application specific values

Configure default STATICFILES_DIRS for static files (css, js, imgs)

And since we're using the newer django static file handling, we
can remove the old debug url configration to find the static files.

Mathematica had a suggestion for a fastq mime type. I extended for my other sequence types

Regex pattern was wrong.

Convert more timestamps to include timezone

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Add option to compress fastq file

Allow arbitrarily long regexes in experiment.FileType table

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

pass filters a string not an undefined variable

Remove django test environment setup code.

I've found djangos ./manage.py test to work quite well these days,
and attempting to manually setup the django test environment generates
an exception on shutdown.

Use SkipIf to skip copier tests if benderjab isn't working.

This also uses the improved version of unittest in python 2.7+

Convert timestamps from the runfolder file to a timezone aware time.

We assume the sequencer was run in the same place as the server software

django provides django.utils.timezone.now to return a timezone aware timestamp if USE_TZ=True

Set default timezone to where our lab is located

Update test data dates to have timezone information

Fix test to use newer django database dictionary instead of the old single database settings

Re-add default email addresses for email notification sender & bcc

Implement a encoded search to json-ld wrapper.

An open question is encoded returns terms like "foo.bar" where
bar is an attribute of an object name for foo. However since
foo has no id associated with it, at best I would have a term with
a blank node.

For the moment I'm just deleting those terms. I'm not sure what a
better solution might be.

make sure @vocab url has a trailing #. Its needed to construct better triple predicate names.

Use new context creation functions to attach context to a json structure.

Add functions to create a json-ld context and add namespaces to a context

Having smaller functions like this makes it easier to test.

Utility class for accessing ENCODE3's submit / data warehouse server.

Adapter to use PyLD's json-ld parser to add triples to librdf.

remove some trailing whitespace

remove some trailing whitespace

Add option to get_model to disable RDF graph context.

At least with the version of librdf I was using the context
graph really slowed adding tripes down.

Ignore kdevelop & kate project files.

Rename stripNamespace strip_namespace

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

update settings for new location of WSGI_APPLICATION, and add a reminder about where to set debug

fix quote typos with the {% static %} template tag

Move wsgi into the actual project root.

remove some test code debugging print statements

Update WSGI_APPLICATION to point to the updated location of the wsgi script

Inventory works, even though its was hidden between two non-working modules

move an example result directory into git and use it for testing

Merge branch 'django1.4'

there was a conflict with my qualifying the load_pipeline_run_xml function call

Conflicts:
htsworkflow/frontend/samples/views.py

Update requirements to require diango 1.6

Start simplyfing settings by using from settings_local import * pattern.

This should be a lot less ugly than my previous implementation
using the ini file. However there are still settings that need to
be migrated over.

add new wsgi.py driver

Update templates to consistently use {% static %} instead of hard coding paths

Also import a few media files that were missing.

Move loading DTD into a function as the call caused a hang when loaded into wsgi

move django imports around, change one function call to a qualified import

Update exception caught for newer django?

use url function call for url definition instead of just a bare tuple

Move use of settings default into the function instead of function definition.

This is because the if its not defined the program wont start up.

Update manage script to django 1.6

Being able to filter on paired end runs might be useful

remove deprecated module django.contrib.databrowse

With 1.6 boolean field changed to default Null, so to be backwards compatible set default false

Django 1.6 is pickier about enforcing referential integrity

Fix urls patterns import to be compatible with django 1.6

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Add new paired library types to our hackish list for library classifications

Attempt to be robust to not having an alignment in our RunXml file

Attempt to be robust to not having an alignment in our RunXml file

After implementing proper tests get a working implementation of runfolder name from IPAR tree.

My first couple tries didn't work hopefully this one will work

After implementing proper tests get a working implementation of runfolder name from IPAR tree.

My first couple tries didn't work hopefully this one will work

fix typo

fix typo

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Recent IPAR xml config blocks include the runfolder name

I was previously extracting it in the gerald step, but since we
have a number of runfolders with no aligned directory that wasn't working.

Conflicts:

htsworkflow/pipelines/test/test_runfolder_rta180.py

Update for UCSC's validate manifest 1.7

Provide reporting of what command failed when bigWigInfo isn't available.

Recent IPAR xml config blocks include the runfolder name

I was previously extracting it in the gerald step, but since we
have a number of runfolders with no aligned directory that wasn't working.

Add a way to report what url was failing

Catch and report another class of exception

Merge remote-tracking branch 'brisby/django1.4' into django1.4

Pass additional information to the trackhub.

This allows adding a term to control visibility of tracks.

There's also a hack to pull out the min/max bigWig values when generating
the trackDb.txt file.

It unfortunately depends on having bigWigInfo from UCSC on your path.

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Merge branch 'master' into django1.4

Add command line feature to srf command

this should allow copying out fastq-equivalent files from a run.

Dynamically respond to the number of lanes.

Illumina now has single lane flowcells so the assumtion that there
will be 8 lanes is wrong.

Fix typo.

Merge branch 'django1.4' of mus.cacr.caltech.edu:htsworkflow into django1.4

Implement a wrapper around bigWigInfo to report bigWig summary info.

(shocking name there I know)