actually complain if we get the wrong type

add a docstring to validate

Add get_accession_name to use collection name to find commonly used spreadsheet accesssion column name

support trying to figure out object type based on what collection its going to be posted to

Merge branch 'django1.7' of mus.cacr.caltech.edu:htsworkflow into django1.7

Switch encode3 submitter to use aws.

I needed to write a submission class to support submitting to
aws, and of course there's a slightly different set of metadata
they want to know for submission.

Import flowcell details into the triple store from a lane

store flowcell name in the triple store if its known

record file size information for a file in the triple store

Adjust logging overrides and move django.setup to after the override.

(Otherwise the extra logging doesn't do much.

getitem should only return the key

clean up a bit of whitespace

configure using a local postgres install

Convert reads to an integer, if if it was a float in the xml.

Some versions of the pipeline include a trailing .0 for read length,
this made python 3s parser unhappy. so convert to a float and then
truncate to work around the type issue.

Actually comare an integer (length of list) to an integer 0.

Why was list() > 0 ever valid code?

The empty list is now not found

No I don't know why.

Drop library id encoding

Use regex to make sure scripts end with the right command

python 3 doesn't seem to return the path to a .pyc file
like python 2.

Use six.moves to find urlencode and urlopen

filter out None c.times in list of potential times

use relative import for submission_test_common

Try to detect if an object is a file type on python python 2 & 3.

The base type for files changed between the two releases.

replace xrange with enumerate

Use ''.splitlines() instead of split('\n')

it seems to handle byte vs text strings a bit better.

adapt to python2 returning lists and python3 iterators

This leads to code like next(iter(obj.values())) instead of
obj.values()[0]. Honestly Im not sure which is less ugly.

Also there's a few places where I have to cast things with list()
to get my tests to pass.

use sorted on the iterator instead of an in-place sort

Use max on the iterator to find the last key

add more from __future__ import print_function, unicode_literals

Call print(msg) instead of print msg

special case unicode handling that differs between python2 & 3

Replace some unicode() with str()

Use isinstance(object, (types)) pattern instead of type(object) == types.Type

Specify text vs binary mode for opening files.

(And another smart_text cast sliped in)

prefer native string types.

Things get really messy when trying to pass unicode strings
to redland in python2. I found it simpler to just try and keep
using the native string type.

So this patch is largely replacing unicode() to str() and
changing u'' to ''.

update more raise exceptions to Exception(message) syntax

Use django.utils.encode smart_text or smart_str for intelligent unicode handling

some things like writing files or talking to redland are
quite picky about whether or not they're unicode or ascii strings.

import urljoin from six.moves.urllib.parse

use JsonResponse instead of making a json response by hand using HttpResponse

drop support for simplejson. were only caring about python 2.7+ and 3.3+

import ConfigParser classes from six.moves.configparser

use absolute_import

new json code returns [] when there are no lanes

convert to unicode_literals

convert all the string handling to unicode.
to make the RDF stuff work I needed to mark those strings
as byte arrays

take advantage of absolute_import to simplify import statements

base64.encodestring needs a bytearray in python3

I needed to use int2byte to safely replace the char()
I was using in python2.

Replace elif list() > int() with else

the expression was always true under python2 and
is a syntax error in python3. Replacing it with
if len(list()) > 0 caused test case failures
so this seemed like the best idea.

properly call usrlib.parse instead of urlparse

Convert alphanum sort from comparitor to key operator

I found a much shorter algorithm over on stackoverflow.

convert from failUnlessEqual to assertEqual

update srf2fastq detection code to work with byte arrays

assume we are writing text with gzip

replace iterkeys with python 3 equivalents

convert has_key to X in dictionary

use six.moves to work around urllib / urllib2 / urlparse to urllib 2to3 cleanup

remove unicode_literals from things going to redland RDF

remove some commented out code

convert some print statements to logger messages

convert to print_function, and start adding unicode_literals future as well

put #!/usr/bin/env python in the right place

remove ,'s from more except blocks, and now a raise too

more use six.moves to import StringIO

use six.moves to get to python3-style urllib

whitespace-cleanup

remove some commented out code

convert to print_function

use force_text instead of force_unicode for python2/3 compatibility

import StringIO from six.moves

use six to work around rename of configparser

Convert old style except blocks to except Exception as variable: blocks

make the search tool more flexible

remove unused code

Update test_retrieve_config to work with factories

Along the way I slightly altered how the species factory
worked which required tweaking test_samples.
For some reason test_sequencer changed slightly.

fix spelling error in module name

Don't pass null authentication information to ENCODED.

the recent build seems unhappy getting auth=(None, None)
and while I was in there, update the domain name.

use absolute_import and print_function

Update inventory tests to use factory boy.

also start prefering reverse instead of hardcoding urls.

move the file type test cases out into their own module

use migrations for experiments, and use migrations to  the file type regexes

get_schema_url only works on object types now, so change some code to meet the new api

at some point I added code that used base64, hashlib, and os, but I never imported them

Forgot to disable loading ClusterStation and Sequencer test cases since I moved them out.

Convert experiments modules to use factories instead of fixtures.

And then propogate those changes throughout the test cases

Improve samples_factory generated objects.

* Add LibraryType and MultiplexIndex factories.
* Use factoryboy's fuzzy tools to generate more interesting objects,
  especially to avoid problems with Unique=True fields.
* Use django_get_or_create to make it easier to deail with things
  like usernames
* Define field values for is_staff and is_superuser for the user model
* Unsurprisingly this required updating some test cases to
  be compatible with the changes.

unimportant whitespace changes, at least the lines with text look the same

whitespace changes

fix typo -- or at least make it consistent. antigen -> antigene

move cluster station and sequencer tests out into their own modules

Use logger instead of trying to print to stdout. especially since print_function has a different syntax for doing that

one should only return json objects. so put our arrays inside a minimal object

Merge branch 'django1.7' of mus.cacr.caltech.edu:htsworkflow into django1.7

Conflicts:
htsworkflow/submission/encoded.py

Prefer the multi line
if 'string' in object:
   del object['string']

Add document registration class.

add more type checking for parsing object type from an object

add some helpful log messages

add ability to adjust some log level messages

commit script to copy jumpgate sqlite database to felcat postgres

require django 1.7 and factory boy for newer test code

Add some code to help read metadata out of spreadsheets.

also make the schema validator in encoded a bit more forgiving.

forgot to change one test to use factory

The makemigrations code didn't like how I was setting default selections with class methods.

this breaks them out into seperate functions, hopefully less confusing
for the migration code.

name get_query_set was deprecated in favor of get_queryset