convert to print_function, and start adding unicode_literals future as well

put #!/usr/bin/env python in the right place

remove ,'s from more except blocks, and now a raise too

more use six.moves to import StringIO

use six.moves to get to python3-style urllib

whitespace-cleanup

remove some commented out code

convert to print_function

use force_text instead of force_unicode for python2/3 compatibility

import StringIO from six.moves

use six to work around rename of configparser

Convert old style except blocks to except Exception as variable: blocks

make the search tool more flexible

remove unused code

Update test_retrieve_config to work with factories

Along the way I slightly altered how the species factory
worked which required tweaking test_samples.
For some reason test_sequencer changed slightly.

fix spelling error in module name

Don't pass null authentication information to ENCODED.

the recent build seems unhappy getting auth=(None, None)
and while I was in there, update the domain name.

use absolute_import and print_function

Update inventory tests to use factory boy.

also start prefering reverse instead of hardcoding urls.

move the file type test cases out into their own module

use migrations for experiments, and use migrations to  the file type regexes

get_schema_url only works on object types now, so change some code to meet the new api

at some point I added code that used base64, hashlib, and os, but I never imported them

Forgot to disable loading ClusterStation and Sequencer test cases since I moved them out.

Convert experiments modules to use factories instead of fixtures.

And then propogate those changes throughout the test cases

Improve samples_factory generated objects.

* Add LibraryType and MultiplexIndex factories.
* Use factoryboy's fuzzy tools to generate more interesting objects,
  especially to avoid problems with Unique=True fields.
* Use django_get_or_create to make it easier to deail with things
  like usernames
* Define field values for is_staff and is_superuser for the user model
* Unsurprisingly this required updating some test cases to
  be compatible with the changes.

unimportant whitespace changes, at least the lines with text look the same

whitespace changes

fix typo -- or at least make it consistent. antigen -> antigene

move cluster station and sequencer tests out into their own modules

Use logger instead of trying to print to stdout. especially since print_function has a different syntax for doing that

one should only return json objects. so put our arrays inside a minimal object

Merge branch 'django1.7' of mus.cacr.caltech.edu:htsworkflow into django1.7

Conflicts:
htsworkflow/submission/encoded.py

Prefer the multi line
if 'string' in object:
   del object['string']

Add document registration class.

add more type checking for parsing object type from an object

add some helpful log messages

add ability to adjust some log level messages

commit script to copy jumpgate sqlite database to felcat postgres

require django 1.7 and factory boy for newer test code

Add some code to help read metadata out of spreadsheets.

also make the schema validator in encoded a bit more forgiving.

forgot to change one test to use factory

The makemigrations code didn't like how I was setting default selections with class methods.

this breaks them out into seperate functions, hopefully less confusing
for the migration code.

name get_query_set was deprecated in favor of get_queryset

Convert samples app to use migrations.

A big problem is that 1.7 migrations cause problems
for the initial data fixture. For whatever reason the
fixture would run before the migration, unsurprisingly
causing trouble.

My choice was either to convert the fixture to a data
migration, or to find another way to generate test data.

Several sources recommended avoiding fixtures for test code
and suggested using something like "factory_boy" to use the
orm to create fake data. So I went ahead and tried an
implementation using that.

Merge branch 'django1.7' of mus.cacr.caltech.edu:htsworkflow into django1.7

actually don't track the sqlite3 database

comment out benderjab dependency, as were not using it now

Change the settings default to work with the two scoops split settings.

Also configure logging to work with django 1.7

import os, so we can use os.path.join

relax requirements to make it easier to install on debian

make it easier to override variables in ENCODED class

add frozen package list

configure a mock keyring

make whitespace pep8 complient

Use two-scoop style multiple settings file.

This also adds a config_helper to help create an ini-file
 that contains the randomly generated secret key.

DCC example code sets both content-type and accept for sending API access

pep8 whitespace cleanup.

For a few modules this was pretty significant as they
inconsistently used both 2 and 4 space indenting.

create exception using modern python syntax

remove a commented out import

Flatten project hierarchy, moving djano applications out of htsworkflow.frontend into project root.

Unsuprisingly this also required updates to large chunks of
code to change the import paths for things.

I was motivated by the idea of trying to make my django applications more
portable. I tried some hacks with the python path to make it so they
could live in htsworkflow.appname, but django 1.7 seemed to want the app
to have only one import path, and this was the easiest way I could see to
solve that.

whitespace cleanup

clean up for pep8 compliance.

code cleanup, remove commented out code and adjust whitespacing

Attempt to split common initial data from wold lab specific database contents.

Remove very old misplaced initial data fixtures

Add fields list to a few ModelForms Meta class.

Django 1.7 threw a warning that they were going to require that by 1.8

Rename get_query_set to get_queryset

It was deprecated in django 1.6, will be removed in 1.8

Rename HttpResponse parameter mimetype to content_type

The old name was deprecated in django 1.5 and dropped in django 1.7

remove file created by typoing file name

Change unittest2 back into unittest.

Django 1.7 docs pointed out unittest2 was backported into
python 2.7, so they dropped their version.

Explicitly list initial_data.json for the test data loader fixtures

South wasn't automatically loading initial_data.json, adding
them to the test case data loading fixture seems to have worked.

Add post_json as some DCC objects are created with post requests.

considering the code is duplicated, there's probably a way to abstract
those functions.

Rename headers to json_headers for requests (seemed a bit clearer)

Also output a more informative http exception

Updates to jsonld context for the DCC schemas.

Also I added a comment for what their prefix NTR means.

Update test_encoded test cases due to https now being the default.

DCC switched to https

Update fastqname code & test code to better support having optional compression extension.

Its a bit weird as thats the first property which is optional, so
it needed some special case logic.

Also I accept either None or '' for the case of no compression extension as
condorfastq passes in compression_extension=''

Directly generate compressed fastq files from HiSeq split fastqs.

desplit_fastq is the only fastq builder that has the necessary
compression argument.

the filename templates were moved from condorfastq to fastqname a while ago

Indicate when desplit_fastq didn't get any files to process

Make sure we can load a run file that lacks alignment details.

For some reason the previous integrety fixes, added made the failed flowcell be in the second position in the table

Postgresql has referential integrety checking.

So some of my dangling foreign keys caused tests to failed.
I resolved them through a few different ways,
  * adding initial_data to include description tables
  * adding some additional data to the test fixture.
  * renumbering affiliation keys to match my small test list.

I had to reorder the app list because I think there was a dependency
in the wrong order.

Ignore the path when comparing filenames from the md5 files.

There were too many other ways of creating them or running
the md5 file creation from too many different places for including
the relative path to be reliable.

use autoopen to access fastq files

Start implementing tool to compute library fastq quality

Just use the python 2 url parsers instead of trying to pull it out of requests

Update timestamps in inventory app test data to be timezone aware.

point default flowcell directory to test data

add default values for some application specific values

Configure default STATICFILES_DIRS for static files (css, js, imgs)

And since we're using the newer django static file handling, we
can remove the old debug url configration to find the static files.

Mathematica had a suggestion for a fastq mime type. I extended for my other sequence types

Regex pattern was wrong.

Convert more timestamps to include timezone

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Add option to compress fastq file

Allow arbitrarily long regexes in experiment.FileType table

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

pass filters a string not an undefined variable

Remove django test environment setup code.

I've found djangos ./manage.py test to work quite well these days,
and attempting to manually setup the django test environment generates
an exception on shutdown.