Django 1.1's csrf protection appears to be handled in the middleware component.
So remove the csrf_token tag until we upgrade

Add links to the admin page on the public pages if you're logged in as staff.

This also required tightening the css for the list of flowcells on the
inventory page.

Make it so the login link redirects you back to the page you were looking at.

I did this by adding a processing instruction to add a thispage
variable to RequestContext.

Emacs stripped off trailing whitespace

Add link to admin page to flowcell & library pages for logged in staff

Remove margin-right command as it was making a giant blank space in chromium

Ignore some files generated by my (diane's) development environment.

Attempt to download DAF data for a encodesubmit submission

This required trying to make htsworkflow/submission/daf.py more
flexible, and not assuming that it was going to get a "submission log name"

Also theres some changes to make pep8/pylint happier

Add error message for requesting link-daf but no daf file name was provided
Also remove trailing whitespace from some lines

Enable csrf proection when running under Django 1.2

Rescan a flowcell data run once per (setting.RESCAN_DELAY) days for files.
Defaults to 1 day.

Deal with (failed) in flowcell names.

Create a test case that triggers it and use '__startswith' to
work around the name.

Add a way to browse the list of entered antibody/antigene

Make a test more robust to different versions of librdf
[] vs <> change in nodes.

Construct unit tests for inventory/hard disk long term storage component.

This involved RDFing a couple of the templates to make it easier
to make sure the right types of information were on the web pages.

I also added a new namespace http://jumpgate.caltech.edu/wiki/InventoryOntology#

There was also a missing </div> in one of the templates that I fixed.

An improvement on the inventory system. Getting it going again.

Examine the DAF to determine if the DDF needs to include replicate information

Stop copying attributes from library to a submission node
Instead just query the library directly.

This involved updating the sparql query in make_ddf a bit.

Associated with doing that I also changed when I import
data from the RDFa pages, so I only connect to the web server
once per library, instead of once per scanned file per attribute.

That provided a significant performance improvement.

Remove spurious debugging print statement

Add an option to print out an example view to extension RDF map
(Which is the start of the extra override rules file I've been using
for submissions)

Make searching library & cell line more robust to missing data
and add example to limit to a date range, to help with status reports.

Search for both encode & mouse encode projects.
Add better function (with tests) for finding library IDs in the names
on encodesubmit.

Update old dt-overrides.turtle example to use the newer library urls

Make antibody catalog number optional for creating entries

Make sure we can roundtrip unicode characters via converting to utf-8

Add "Count of multi-reads" back into the library page
(Also encode the mapped read counts as RDFa

Don't use xsd:string for string data types in toTypedNode
I saw a reference that "foo" and "foo"^xsd:string should
be treated the same, and man isn't the first version shorter
to write and easier to read?

Library urls have a trailing /. make sure the test case uses that

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Fix namespace issues in encode_find after the conversion
for ucsc_gather.

Also I really need to implement a function to compute the library
URN. e.g. <http://jumpgate.caltech.edu/library/12345/>

Add some additional logging to util/rdflib.py to help debugging

Make sure that the lane set is sorted on the flowcell table page

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

The proper DDF variable name for files to be submitted is files
Also the older librdf resource formatting used [] instead of <>
so can't be directly placed into a sparql query

Older librdf gets cranky when mixing unicode & strings

Django 1.1 doesn't support validators so remove it for the time

Fix typo in a template

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

switch fix_ob3 to the better way of finding settings file

Further clean up ddf generation.

This still needs work as I ended up hard coding a sparql query
to support the submission I'm currently working on -- which is
unfortunate as the whole point of the push to RDF was to reduce
hard coding.

However it did simplify collecting information for make_ddf.

Using the query would also mean that the term copying I was doing
earlier, moving library attributes into each specific submission view
would be unecessary, since I can now easily query the graphs.

Probably what I need to do after the submission is to reduce the
term copying when importing a submisison directory, and add some
way of tying a sparql query to a specific imported daf.

Though I need to deal with the upcoming submission deadlines first.

Start supporting multiple libraries per lane, as needed for the HiSeq

This commit alters the admin page to allow entering multiple libraries
per lane, and updates the new flowcell and flowcell lane views
to work with having multiple lane objects with the same lane number.

I'll still need to update the configuration generation and archiving
result files.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Conflicts:
extra/ucsc_encode_submission/ucsc_gather.py
htsworkflow/submission/test/test_daf.py

Also merging the conflict was made more difficult by needing
to work around changes in the older version of librdf on 10.04

Slightly alter some tests to work with versions of python on ubuntu 10.04

Move parse_flowcell_id out of frontend.samples.results
this is so the fastq extraction code can run on systems without
django installed.

allow running ucsc_gather --fastq without specifying an analysis name or model

Finish new RDF based ddf construction.
The previous patch hadn't implemented actually writing the ddf to
a file.

Rework ucsc gather to use RDF models for gathering and storing track metadata.

I dumped all of my rdf namespace definitions into rdfhelp.py to comply
with don't-repeat-yourself.

The major step forward for this is I can now specify additional
attributes for a submission that aren't found in the htsworkflow database.

Also the daf model attribute lookup function implements a brute force
owl:sameAs search. (If it can't find the term you asked for, it'll search for
sameAs terms and look for those).

The TestDAFMapper unit test is a bit slow as it needs to check
the htsworkflow server for one of the test cases. I should come
up with a way to preload the required information into the testcase.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Include the library_id in addition to the RDFa library uri
Hopefully forcing the trailing '/' in the uri won't cause
trouble elsewhere.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Minor RDFa fixes.
RDFa likes to use <a hrefs for the subject name, and by adding
links to the species I was confusing what species I was talking about.
Also I added the numeric types to the gel_cut and insert_size values.

Start to move all the RDF namespace definitions into a single module.
Also use less abbreviated names.

Add module to parse UCSC DAF file.
This includes some utilities to help convert the DAF dictionary
to a librdf model.

Move code to make srf and qseq to fastq condor scripts to its own module

Sample Test RDFA needed the flowcell id field

Remove some uneeded linefeeds

Fix a template typo
remove a RDFa tag for a flowcell id that wasn't pulling a parse_flowcell_id
name.

Supprose IVC plot table rows if we don't have data for a lane
Django 1.1 doesn't have conditionals so I needed a different
way to suppress the other lanes for the specific lane detail page.
And finally the links produced by Lane.get_absolute_url needed
to strip the parenthetical comment from the flowcell IDs

Follow the flowcell link from the library page.
Need to test to make sure that flowcells with parentheticall comments
are accessible.

e.g. 12345AAXX (failed) -> /flowcell/12345AAXX/
and the flowcell link actually returns a page.

The get_permanent_link function on the flowcell model didn't work
for flowcells with parenthetical status comments.

This fixes that problem and adds a testcase to make sure the link
does show up correctly

Remove some now unnecessary coments and reformat some parameter lists to be easier to read

python's 2.6 uuid function doesn't cast to a string in django
so write our own str_uuid function and use that to initialize
the DataFile.random_key field

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Convert Rami's DataRun feature to something useful to us.
(and more)

The data run captures some of the core values of a run, namely
the location of the result directory (relative to settings.RESULT_HOME_DIR)
and what the run cycle start/stop was.

The code will also scan the result directory looking for files whose
names match patterns stored in the FileType table and link those
to the DataRun in a DataFile table.

An unresolved issue is when & how often to scan the result directory --
currently when a live site flowcell is viewed it will look in the result
directory and import whatever it sees there. If it sees that result folder
again it wont bother to try and import it.

I might imagine problems if someone's hitting reload on a flowcell page
while the result files are being copied in.

I still need to implement a table to store results imported from the
run xml file. Also the old result folder scanning code used in the library
page should probably be updated to use the newer DataRun files.

Lastly there were some layout changes to a few pages and some
CSS rules got relocated.

The srf/qseq --raw-format patch.

Signed-off-by: Diane Trout <diane@caltech.edu>

Move test srf files to testdata directory so I can use them in other tests

Add a method to return the runfolder name.
Add a newer version of the run_*.xml file format for testing
Also make sure that the various versions of the run xml file
have the same "api". (Its not particularly obvious to use).

Add in test code to verify RDF data being added to the library page.

Trivial change, add human to common name of "homo sapiens"

Add feature to manage and print labels.

Merge branch 'add-condition'

Conflicts:
htsworkflow/frontend/templates/samples/library_detail.html

Resolve differences between the headers of library_detail for
adding RDFa and reordering the sample details.

Make antibody & condition visible.
Also change replicate number to allow null and not autodefault to 1.
Lastly reorganize the fields on the library page to be a bit less confusing.

Write the librdf model database somewhere other than /tmp
It should be made configurable at some point.

Pretty print the json files to help debugging

When trying to initialize a new postgresql database from scratch
there was some referential integrity error because of a foriegn
key constraint.

Allow configuring additional database settings so we can use postgres.

Now instead of a couple of database settings in [frontend] in
the htsworkflow.ini file, frontend just points to a different
ini configuration block that contains the ability to set all
of the database configuration parameters.

Add fake settings.py file point to the real htsworkflow.settings file
manage.py and nosetests were assuming that settings were in the current
directory.

Though a little later in its startup manage.py switched to thinking
settings was in htsworkflow.setttings. I have no idea why

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Move default_pm setting to a little more predictable of a location

Keep moving settings around until I can find a place that tests on multiple machines

Add utility program to help find what exists in georgi's submission dirs

Report missing directory names to help diagnose sequence scanning problems

Validate fastq files in both phred33 & phred64 versions
Do not validate some imaginary fasta/fastq hybrid that I imagined
late some night.

I needed to add a parameter to pick which fastq format is in use.

Make a slightly less confusing 404 error message

Be more flexible with fastq filenames.
Allow pass/nopass, all, or no filter flag.

Also add more information to exception text

django-nose didn't work with django 1.1, so I went back to the nose plugin NoseDjango
I needed to move the settings file around a bit so the default build of
nosedjango will find it (instead of my previously hacked copy).

I got tired of modifying the location of the settings files and
discovered that django has a standardized way of grabbign the config
file. with "from django.conf import settings", though that will
only show uppercased config entries.

Adjust django driver script to test the whole package.
I moved settings & manage up a bit in the tree, and added a dependency
on python-django-nose which uses nose for the django test runner.

This version is using the class based runner, which appears
to require django 1.2. I'm not sure what's on the cluster machines
right now.

Revert a bad change. Apparently past me knew what I was doing,
and I needed to manually construct the dictionary for feeding
a json object, instead of just handing the json.dumps function a
random django object.

unlike the RDFa template which can just operate on the django ORM object.

remove spurious debugging print

Remove spurious debug print statements

Fix a typo inserted into the template.

Apparently a {% trans "value" %} needs to be on one line.
This didn't show up until I'd provided the get_absolute_url reference
for flowcells.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow

Add pages to show information about a particular flowcell.
-- in both human and RDFa formats.

Also I implemented get_absolute_url for flowcells & lanes, which
means "view on site" pops up on the flowcell admin page.

Also with modifying the templates for RDFa, many more elements
on the library, flowcell, and flowcell lane detail pages link to
each other.

I moved the table formatting css out of the library page
and into app.css.

I also switched experiments/views.py from using Context to RequestContext
which provides the default media url to the template.

There were a few changes to samples/views.py to get the more informative
object to the template instead of our on-the-fly created lists.

Update single vs paired guessing code
Add in new guesses for Georgi files to view names

Update spoolwatcher to 0.2 benderjab's logging api

Move some common runfolder path management code into its own module
I discovered I had two different functions for checking if something
was a runfolder name. I put them in once place and linked the
two together.
Then I cleaned up the test code that was calling them.

Add a place for "breadcrumbs" back into the base.html page so
navigation links appear on the started email page

Ignore emacs backup files for things other than python files

Save the overrides to the RDF model.
They're designed to be loaded into the model before we start pulling data
from UCSC and our website.

Currently the file just defines submission to library URN/URL mappings
for the submissions whose submission name doesn't include the correct
library ID.

Only pull web data when its missing from the rdf model.

This involved alterning the RDF model.

I changed the namespace to something a bit more discriptive.
The information grabbed from the ddf is now attached to the submission
status node, as changing the ddf will change the status.

Merge branch 'master' of mus.cacr.caltech.edu:htsworkflow