replace tab charcter with spaces in the multiplex index pluralization

Fix Multiplex index pluralization

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Extend the adapter id field to support the dual indexed libraries
this is implimented by using a - to indicate that two indexes are linked
together.

Start developing GEO SOFT submission tool.

At this point it will generate a partial soft file I'm still
missing several parts to the file, such as platform description,
but it is a proof of concept for the template based generation
of the sparql query and the SOFT text file for describing the submission.

Move code out of ucsc_gather and into the htsworkflow tree.

I thought it'd be better to refactor ucsc_gather into more
target chunks so I could test the components better and
start sharing code with the SOFT / GEO submission tool I need
to write

Remove a dead form

Change to using django templates for generating condor fastq scripts

Instead of manually constructing them as strings in python.
Hopefully it'll be a little clearer, also I was considering
using the templates when generating the SOFT format files.

Improve a settings error message, as it was confusing me while debugging

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Add an option to make a mini archive containing just the daf & ddf files

This should make the tweak metadata phase a bit easier.

Switch to lxml for parsing the summary file.

It's more reliable than ElementTree or BeautifulSoup, though
a bit harder to install.

Remove a function from the inifile version of ucsc_gather

Apparently I forgot to remove a parameter why creating copy_hiseq_project_fastqs

Add fastq to the raw format add_xoption

Add a rdf type for ucsc track records

It makes it a bit easier to extract just that type of
information.

Messed up the RDFa for specifying that a library was of type library.

Use name instead of library_name as the property describing the name

Actually if I provide an output file, I want to write to the file
(forgot a not in the test for an output filename)

Change name of term used for conditions to condition_term

Update archive script to try and deal with HiSeq multiplexed lanes.

Always include the python path when generating the condor scripts

Forgot to add split attribute to __eq__ test.

Add extract HiSeq project based split fastq files to ucsc_gather

Add tests for the code that generates the condor fastq conversion scripts

Update help message since we have a new type of file to archive

Support scanning for split fastq files generated by HiSeq demultiplexing

Ignore some more coverage files

Add module to convert multiple fastq files into a single file.

The HiSeq likes to produce N seperate fastq files to simplify
parallel processing.

Also I decided to split out the parse_slice code into a
util module since it was being shared between the desplit_fastq
and qseq2fastq.

Finally just for fun I ran these two modules through pep8.py
and pylint.py and cleaned up those errors

Add ability to print out json structures returned by api to api.py

(This is mostly to make exploration and/or mocking tests easier)

Use named tuple for sequence flowcell/start/stop/project dir extractor

I was returning too much stuff from get_flowcell_cycle, so I thought
a named tuple would make it more comprehensible.

Core functions for saving and finding fastq files generated by a HiSeq.

Becuase of the multiple tiles and demultiplexing I'm writing them into
the flowcell directory with the Project_NNNNN[_IndexN] directory
names.

Remove some debug prints

Simulate a HiSeq runfolder.

Also man do i need to clean up my simulation code

Make report prettier.
Down side is its now by geneome.
Upside is it more strongly shows how a library has multiple submissions.

Shorten option for specifying model name.
Also make it possible to specify what directory to look for model names

Fix a typo in some RDF example data

Make it possible to filter which genome to run report against

Add ability to refresh library data from our htsw server
(Delete & reload)

Start writing a report for "so, what experiments have we submitted"?

Added scanning for libraries that aren't attached to an encode affiliation.
Also I'm looking at both the test and live server for golden path links
And I added a hack to convert SL2971 library IDs to 02971.
Lastly I brought back updating specific data sources in addition to
--updating everything

split a function into two. (A query execute function and a reporting fuction)

Changed pprint daf attributes to a pformat output via logging.debug

Fix 'typo' in a library URN.

(Though I'm thinking I really should switch to library URNs that
don't end in a trailing /)

Don't use assertIn as older ubuntu python doesn't have it

Invalid library IDs should 404, not return a useless error message

Handle dateTime timestamps in RDF.Nodes

my encode_find test code needed it to test parsing timestamps
from the submission page.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

whitespace reformatting

Move ucsc_encode_submission code out of extra so nose will autodiscover it.

Also rename it to encode_submission to make the directory listing fit better.

Remove eXecute bit from modules

Include the test data for testing importing ucsc download track data

Add in test code for testing downloading the ucsc download file index

Deleted obsolete tests
what this was testing is now over in htsworkflow.submission.daf.test_daf

Try to figure out where UCSC is hosting our submitted files
This patch reads the download files index from UCSC's test server for
our tracks and adds them to my ENCODE metadata RDF database.

In addition there's a bug fix where the status URN wasn't being
constructed correctly. It was just using the timestamp and not
submission URN + timestamp.

Add a method to override command used to convert srf to fastq files.

Use Node.uri instead of manually trimming off RDF.Node formatting.
(Because different versions of librdf format nodes diffrently.

Function generating index text was assuming there'd always be an index
index_sequence was returning none for library adapter types that didnt
support indexing. this caused my tests to fail for older
libraries.

Update library adapter type initial data to match loriens new names

Merge in removal of queuecommand sleep.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Conflicts:
htsworkflow/pipelines/eland.py
htsworkflow/pipelines/retrieve_config.py
htsworkflow/pipelines/runfolder.py
scripts/htsw-runfolder

Use a logger initialized to the module name much more consistently.
e.g. LOGGER = logging.getLogger(__name__)
(Used uppercase since LOGGER ends up being a module level variable)

Lorian renamed some of the libraries, change our hard coding to match.
(Really should change to pull out of adapter type DB)

Yes generate regular gerald config file.

Add library adapter type to filter choices,
reorder the list of filters a bit

Allow replicates 5 & 6

Use "not run" instead of todo to describe libraries not yet run.

Add a todo view that shows only libraries that have no
lanes.

Remove ReadPrep and Thumbnail_Images being generated now.

Don't need to duplicate %t tile in srf command

Add the ability to specify a flowcell id instead of depending on autodetect.

This only works if there's one runfolder.

Also I shrunk htsw-runfolder's main function by doing a bit of
refactoring

Add support for flowcells analyzed with Casava 1.7
This appears to know support an early HiSeq run that we did.

Sparql query to back create protocol & treatment from submitted ddfs
(Use by looking at the database created by encode_find)

find submissions, even those without a set creation date

store md5sum of daf files to group different submissions
Slightly change xpath expression for finding Creation date

Configure daf variables in only one place. (daf.py)
When adding things to the daf variable list, check to see if
they're present before adding them (control duplicates).
Incorporate a couple more terms to select (mapVariable, strain)

Add support for new "extraVariables" term in DAF.

It's purpose is to list variables that should be included in the DAF
for a particular experiment but aren't experimental control variables.

Mark library & flowcell as a type in RDF.

Switch from beautifulsoup to lxml, now that I know how to build it on os x.

Rename ucsc submission namespace to be more consistent with python layer

Output samples that don't have index sequence as well.
Also use writerow to handle the header so there's a consistent EOL mark
on the header.

Python 2.6's DictWriter doesn't have writeheader, so fake it with join.

Disable csrf protection for the json urls

Add support for tracking the multiplex index sequence.

I had to add a new table to store the sequence Samples.MultiplexIndex
its manually searched by library type and ID.

There's also some extra complexity in that the multiplex id field
allows entering a comma seperated list to handle the cases where there are
samples that are pooled before being given to us. (As our library actually
represents a single physical tube).

This also adds a --sample-sheet option to attempt to create a sample sheet
for demultiplexing samples.

Add support for first-gen HiSeq flowcells (e.g. ABXX)

Django 1.1's csrf protection appears to be handled in the middleware component.
So remove the csrf_token tag until we upgrade

Add links to the admin page on the public pages if you're logged in as staff.

This also required tightening the css for the list of flowcells on the
inventory page.

Make it so the login link redirects you back to the page you were looking at.

I did this by adding a processing instruction to add a thispage
variable to RequestContext.

Emacs stripped off trailing whitespace

Add link to admin page to flowcell & library pages for logged in staff

Remove margin-right command as it was making a giant blank space in chromium

Ignore some files generated by my (diane's) development environment.

Attempt to download DAF data for a encodesubmit submission

This required trying to make htsworkflow/submission/daf.py more
flexible, and not assuming that it was going to get a "submission log name"

Also theres some changes to make pep8/pylint happier

Add error message for requesting link-daf but no daf file name was provided
Also remove trailing whitespace from some lines

Enable csrf proection when running under Django 1.2

Rescan a flowcell data run once per (setting.RESCAN_DELAY) days for files.
Defaults to 1 day.

Deal with (failed) in flowcell names.

Create a test case that triggers it and use '__startswith' to
work around the name.

Add a way to browse the list of entered antibody/antigene

Make a test more robust to different versions of librdf
[] vs <> change in nodes.

Construct unit tests for inventory/hard disk long term storage component.

This involved RDFing a couple of the templates to make it easier
to make sure the right types of information were on the web pages.

I also added a new namespace http://jumpgate.caltech.edu/wiki/InventoryOntology#

There was also a missing </div> in one of the templates that I fixed.

An improvement on the inventory system. Getting it going again.