Test htsworkflow under several different django & python versions

whitespace fixes

Make times a bit sloppier as my test vm was kind of slow

delete jsonld helpers, as rdflib has its own jsonld plugin

port ucsc_gather to rdflib

port encode_find to rdflib

port condorfastq to rdflib

Port daf to rdflib

Port submission.py to rdflib

Port test_inventory to rdflib

Make compatbile with rdflib and python 2/3

* remove old get_model redland code.
* add_default_namespaces needs ConjunctiveGraph
* serialize returns bytes in python 3, which needs to be
  converted to a string for later functions

Bind the right XML namespace variable in our header

Port pipelines.sequences to rdflib

Port test_samples to rdflib

Port test_experiment to rdflib

I used RDF for some test cases

Port rdfinfer to rdflib (fixing a hidden bug)

The redland property validation was wrong and was missing validation
errors.

Also I reused a function name.

This could still have better error messages

Port rdfhelp to rdflib from redland librdf.

Several things that were hard in librdf are much easier
in rdflib, so I dropped several wrapper functions since the
rdflib API was reasonable to use directly.

our pages are xhtml, so customize replace the django admin search form

Force a reasonable sort order for sample sheet

since we made the opposite order the default for lanes_for

A user object is not the same as a username

Sometimes type checking would be good.

Expect empty list instead of a 404.

I think it makes more sense

Set sort order on Lanes model.

I was enforcing a sort order one one way to retrieve lanes but not the
other, which ment my tests depended on the database default return
order.

This then impacted another test of 'expected' results which needed to
be updated.

Whitespace change, wrap line for easier reading

DCC tightned up their validator

Empty list wasn't sufficiently empty.

Add new paths for spreadsheet ENCODE submission.

Added
 * /file/
 * /files/
 * /annotations/

Update flowcell chage_form override

The old version had hardcode url names which have changed some.
this version uses the named url views to point to started email page,

Additionally I copied and repasted the chunk of object-tools from the
source template.

Update referring to admin changelink static icons

Remove obsolete render_options, it's available in the base class

dev laptop has a new hostname

Merge branch 'django1.7' of mus.cacr.caltech.edu:htsworkflow into django1.7

Save some example sql queries mirrored copy of encode database

Use local.py if we don't have a host settings file

Fix test case looking for library id

Looking at the text for the strong node didn't work when the actual html was
<strong><a>text</a></strong>

remove unused import

Report no data found when collections empty

The xhtml validator caught a few cases where empty data generated
some invalid html because some table or list bodies were missing. I
thought it reasonable to include a message that nothing was found
instead of leaving the table blank.

Adapt response.content for RDF and xhtml validator

Irritatingly one wants bytes and one wants unicode under python3.

elpy+flake8 suggested some formatting improvements

Delete temp objects to avoid constraint error

Django 1.10 with Postgres 9.? was throwing an error because the
samples_htsuser id that was assigned to an affiliation didn't exist in
the database.

The simplest solution I found was to delete the objects from the ORM,
I don't think they were ever actually created in the db so I'm not sure
how the constraint check was happening.

Move to render and use simple context dictionaries

render_to_response is likely to be deprecated at some point

The DCC has complained about me making a few common typos, so I added some checks for those cases

some date cells contain two dates, which is treated as a string

Remove references to migrations on topic branches

Try providing new django apps-style configuration

Not sure if I actually needed to do this.

The sort order of lanes changed breaking my test

Define filters variable again

There's a conditional that still used it, however we still need to
actually implement the todo functionality with newer django.

Save new object before attaching to a collection

Django tests were throwing warning about the newfile object not being
saved when I added it to the datafile_set collection.

Update custom user model for django 1.9ish.

They implemented some nicer ways of overriding the user model

Remove null=True from a few fields

django check pointed out that null=True is confusing with blank or
ManyToMany fields.

Update multiplex_id max length to 255

we had a very heavily mutiplexed library

Query_set was renamed to queryset

and I forgot to update the access in this template.
Good thing my test case caught it, because there
was no other error.

Match what generate_sample_results_tree creates

The turtle rules I was using for scanning a submission directory
didn't match what I was creating, which was generating some
warning messages.

Fix this cut down on logger warning messages being generated
during test runs.

Use find_statements instead of SPARQL for a query

The SPARQL query ended up with an unbound variable which
generated a warning, I redid the query with just a model.find_statements
which doesn't generate a warning

(My test output was getting cluttered with too many logger warnings)

Admin url includes /change/ at the end

so my tests that were looking at
/admin/experiments/flowcel/{flowcell id}/
needed to change to
/admin/experiments/flowcel/{flowcell id}/change/

this of course means we now require django 1.9 for tests.

Remove unused variables

give LaneOptions object access to the  admin site

Somewhere the changelist I was inheriting from needed a method from the
admin site. (empty_value_display)

white-space fix

Use render instead of render_to_response

Somtimes I needed to use context_instance=RequestContext(request)
in my templates, and that parameter was depreacted for
render_to_response.

It seemed easier to just universally switch to the newer render() call
which directly takes the request object.

Use named url pattern instead of package name

Replace permalink decorator with url reverse

Use reverse with named url patterns

instead of with the full package name

Name all of the view that we need to reverse

Django 1.9 wants to remove reversing by package name,
as far as I can tell the simplest way to then reverse a
name to find the view is to name the url pattern.

The next few commits should take advantage of the names.

Add migrations to the small apps.

Django 1.9 dropped the old way of creating the database so we needed to
update

Update template configuration for Django 1.9

Django 1.9? replaced request.REQUEST with .GET

update our code so we access the new variable name

Remove unused imports

Remove unused imports

Collapse multiple imports from the same module

Replace import * with explicit list of imports

Switch to GenericIPAddressField

Django 1.9 added support for ipv6 addresses and changed from
IPAddressField to GenericIPAddressField

Refactor out code to submit a single file from a loop.

I had some files to upload that weren't part of a
library result set... and that seemed like the easiest
way to reuse my code.

Django 1.9 deprecated string based url names and django.conf.url.patterns

I think those changes should be backwards, and they usually
shorten the url() lines so seemed reasonable to apply.

whitespace change

remove unused imports

Unicode munging for python3

Not sure if I'm breaking python2 though

Implement writing to compressed files for qseq2fastq

Along the way refactor some of the code I had in
desplit_fastq to make it easier to share the open compressed
streams logic

Extract part of get_json into get_response

For some experiments I wanted the ability to grab
the raw requests response, previously it was hidden
by just directly returning response.json()

Initial implementation of importencoded

This version reads from a json dump file and dumps it
into postgresql using sqlalchemy.

Considering the rest of htsworkflow uses django it might
be better to switch to using django's ORM and also to take advantage
of requests.

Increase size of Library.multiplex_id field

report run_type

report if a flowcell was single or paired ended as a file property

remove unused imports and variables

make a more informative log message

Read the first sequence out of the fastq to find the read_length

For some reason we had a flowcell where the sequencer thought
there were 66 cycles but the file only had 50.

refactor encode3 spreadsheet based object creation to be a bit easier to read

remove wsgiref requirement

argparse is in versions of python we care about

use decorator syntax for registering admin urls

update dotted path for python3

update url to new standard url

Update schema tests for upstreams release 33

make exception dotted name python3 compliant

this works better with python 3...

apparently json.dump can write to a stream

Add mode to connect to the DCC and make sure the files with a .upload file are actually present at the DCC

fix import path for HTTPError exception

fix typo, use print_function

add knowledge about file links

updates to deal with encoded 33 path changes

Merge branch 'django1.7' of mus.cacr.caltech.edu:htsworkflow into django1.7

move run_aws_cp command out of class to make it easier to use from other scripts

Return read_length for file properties