Add script for updating database to data run versions and cluster/sequencer defaults

If I'm going to make a call to logger, I really should create it first

Only allow one default cluster station or sequencer to be set

Works by watching for the pre_save signal for those classes
and if it sees that the isdefault flag being set to true it
goes through all the other records and sets isdefault to null.

Only allow one default cluster station or sequencer to be set

Works by watching for the pre_save signal for those classes
and if it sees that the isdefault flag being set to true it
goes through all the other records and sets isdefault to null.

Auto-generate a secret key for django and store in the config file.
This way I can keep checking settings.py in.

Also since I implemented this be re-writing the settings file
I thought I'd clean out some of how we were storing some of our
previous default values. (Removed the hard coded - [defaults] section)
so they dont end up cluttering the users config file.

Since I removed the default for the linking hard disk tool
I changed the script to complain more helpfully if it can't find
the setting.

Add the ability to specify default cluster station & sequencer in the database

reformatting to be more pep8 like

Convert dictionary comprehension to dict(generator) so it'll work with 2.6

Adapt select strike-out widget to django 1.2
the function i was overriding was hidden, so I grabbed a bit more of
django 1.3 into my fake widget

Forgot to add the css file to add 'active' state to sequencers
commit d188105c2937068e4bbcf6dbf5229a85725a2e7d

Add an 'active' state to the sequencers.
On the flowcell admin page hack the sequencer select combo box to
strike out the disabled ones.
(Yes it involves hacking an override into the FlowCell admin form by
replacing the default widget it creates. Maybe there's a cleaner way,
but I didn't figure it out)

Show software version information on datarun page

Save pipeline version information from run_xml into DataRun table.
Also show said information on the flowcell page.

Add links to libraries and submission to data loaded from dcc indes files

Merge ssh://jumpgate.caltech.edu/var/htsworkflow/htsworkflow

Move typeof. I think its now getting parsed by rapper correctly now

Import information from NCBI SRA into a RDF model.
(Mostly so I can find our libraries on their site)

Slightly different sort order for finding libraries

Add a software (name) property to firecrest, ipar, bustard, gerald
This property should return the proper illumina name for any
of their various software components I've been trying to capture.

NOTE: Now requires lxml.

I prefer the xpath searching api, and that's not in element tree.
so this now requires lxml.

Return a gerald version number as a number and not a cvs string.
(Also my emacs configuration cleared excess spaces after on several lines)

Add instrument ID and model to sequencer table
Additionally added displaying that information on the flowcell page.

Split lane parameters into seperate classes for GA & HiSeq config files.
Also tweak the tests for a different example flowcell

Fixup docstring to be clearer to others

Merge ssh://jumpgate.caltech.edu/var/htsworkflow/htsworkflow

replace tab charcter with spaces in the multiplex index pluralization

Merge ssh://jumpgate.caltech.edu/var/htsworkflow/htsworkflow

Fix Multiplex index pluralization

Generate html reports when doing sparql queries with encode_find.

I have a further improved simplify_uri function which extracts
a meaningful name from some pretty arbitrary rdf nodes.

(This does mean that an earlier attempt which is still in the code
probably can be removed -- that one depended on knowing the namespace)

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Tweak some test code to work with librdf 1.0.10

update summary.py to extract data from HiSeq runs.
I also commited a much larger swath of hiseq summary files.

One change is Summary and LaneResultSummary now has subclasses to
handle the differences between the GA series and the HiSeq series
runfolders.

At this point the test code is dying trying to read the LaneParameters
out of the gerald config file.

Fix bugs introduduced by the improved HiSeq runfolder scanning.
This makes more progress toward analyzing a HiSeq runfolder, but
is currently lacking the ability to process the Aligned reads.

This does seem to now process the base call processing information
out of the Unaligned tree of hiseq runs.

Also all the previous runfolder versions tests pass again. (Some of my
intoduced logic was a bit off for guessing what type of runfolder it
is.)

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

I found this version more useful for trying to
answer Flo's questions about what we had submitted.

Properly constructing the geo soft file really needed multiple sparql queries.
Most of this is glueing the various queries together into the soft file
template.

One significant url change that should make it easier to
write turtle documents describing the library was to end the
submission set URI with # instead of /

this way .../SubmissionLog/SubName# is more clearly the same base as
.../SubmissionLog/SubName#AttributeName.

However this probably will break my older rule files.

And I'm not checking for that... *sigh*

Prepare for submitting data to geo by:
Adding a new namespace for them.
Creating something to simplify namespace qualified names to short normal names.

Also I implemented an option to import other RDF files.
I made a small attempt to at least partially sanitize strings being loaded
to only include "safe" html.

Most of the changes to test_rdfhelp came because I reindented it to 4 spaces.

Though I did add in tests for the new functions.

Minimal changes needed to get raw data archived for loxcyc.
Its probably not properly counting how many reads there are.

100% test coverage for alphanum.py

Rename a cell-line since we're now using "treatment/condition" for exponential

Add ability to override location to tar and lftp commands
and even a check to make sure there's at least a file
where we expect the command to be

Rename global logger to LOGGER to be more PEP8 like

Fix a typo and a missing .items() from the change of storing list of result directories.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Extend the adapter id field to support the dual indexed libraries
this is implimented by using a - to indicate that two indexes are linked
together.

Start developing GEO SOFT submission tool.

At this point it will generate a partial soft file I'm still
missing several parts to the file, such as platform description,
but it is a proof of concept for the template based generation
of the sparql query and the SOFT text file for describing the submission.

Move code out of ucsc_gather and into the htsworkflow tree.

I thought it'd be better to refactor ucsc_gather into more
target chunks so I could test the components better and
start sharing code with the SOFT / GEO submission tool I need
to write

Remove a dead form

Change to using django templates for generating condor fastq scripts

Instead of manually constructing them as strings in python.
Hopefully it'll be a little clearer, also I was considering
using the templates when generating the SOFT format files.

Improve a settings error message, as it was confusing me while debugging

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Add an option to make a mini archive containing just the daf & ddf files

This should make the tweak metadata phase a bit easier.

Switch to lxml for parsing the summary file.

It's more reliable than ElementTree or BeautifulSoup, though
a bit harder to install.

Remove a function from the inifile version of ucsc_gather

Apparently I forgot to remove a parameter why creating copy_hiseq_project_fastqs

Add fastq to the raw format add_xoption

Add a rdf type for ucsc track records

It makes it a bit easier to extract just that type of
information.

Messed up the RDFa for specifying that a library was of type library.

Use name instead of library_name as the property describing the name

Actually if I provide an output file, I want to write to the file
(forgot a not in the test for an output filename)

Change name of term used for conditions to condition_term

Update archive script to try and deal with HiSeq multiplexed lanes.

Always include the python path when generating the condor scripts

Forgot to add split attribute to __eq__ test.

Add extract HiSeq project based split fastq files to ucsc_gather

Add tests for the code that generates the condor fastq conversion scripts

Update help message since we have a new type of file to archive

Support scanning for split fastq files generated by HiSeq demultiplexing

Ignore some more coverage files

Add module to convert multiple fastq files into a single file.

The HiSeq likes to produce N seperate fastq files to simplify
parallel processing.

Also I decided to split out the parse_slice code into a
util module since it was being shared between the desplit_fastq
and qseq2fastq.

Finally just for fun I ran these two modules through pep8.py
and pylint.py and cleaned up those errors

Add ability to print out json structures returned by api to api.py

(This is mostly to make exploration and/or mocking tests easier)

Use named tuple for sequence flowcell/start/stop/project dir extractor

I was returning too much stuff from get_flowcell_cycle, so I thought
a named tuple would make it more comprehensible.

Core functions for saving and finding fastq files generated by a HiSeq.

Becuase of the multiple tiles and demultiplexing I'm writing them into
the flowcell directory with the Project_NNNNN[_IndexN] directory
names.

Remove some debug prints

Simulate a HiSeq runfolder.

Also man do i need to clean up my simulation code

Make report prettier.
Down side is its now by geneome.
Upside is it more strongly shows how a library has multiple submissions.

Shorten option for specifying model name.
Also make it possible to specify what directory to look for model names

Fix a typo in some RDF example data

Make it possible to filter which genome to run report against

Add ability to refresh library data from our htsw server
(Delete & reload)

Start writing a report for "so, what experiments have we submitted"?

Added scanning for libraries that aren't attached to an encode affiliation.
Also I'm looking at both the test and live server for golden path links
And I added a hack to convert SL2971 library IDs to 02971.
Lastly I brought back updating specific data sources in addition to
--updating everything

split a function into two. (A query execute function and a reporting fuction)

Changed pprint daf attributes to a pformat output via logging.debug

Fix 'typo' in a library URN.

(Though I'm thinking I really should switch to library URNs that
don't end in a trailing /)

Don't use assertIn as older ubuntu python doesn't have it

Invalid library IDs should 404, not return a useless error message

Handle dateTime timestamps in RDF.Nodes

my encode_find test code needed it to test parsing timestamps
from the submission page.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

whitespace reformatting

Move ucsc_encode_submission code out of extra so nose will autodiscover it.

Also rename it to encode_submission to make the directory listing fit better.

Remove eXecute bit from modules

Include the test data for testing importing ucsc download track data

Add in test code for testing downloading the ucsc download file index

Deleted obsolete tests
what this was testing is now over in htsworkflow.submission.daf.test_daf

Try to figure out where UCSC is hosting our submitted files
This patch reads the download files index from UCSC's test server for
our tracks and adds them to my ENCODE metadata RDF database.

In addition there's a bug fix where the status URN wasn't being
constructed correctly. It was just using the timestamp and not
submission URN + timestamp.

Add a method to override command used to convert srf to fastq files.

Use Node.uri instead of manually trimming off RDF.Node formatting.
(Because different versions of librdf format nodes diffrently.

Function generating index text was assuming there'd always be an index
index_sequence was returning none for library adapter types that didnt
support indexing. this caused my tests to fail for older
libraries.

Update library adapter type initial data to match loriens new names

Merge in removal of queuecommand sleep.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Conflicts:
htsworkflow/pipelines/eland.py
htsworkflow/pipelines/retrieve_config.py
htsworkflow/pipelines/runfolder.py
scripts/htsw-runfolder