Set WITH_SEQUENCE as both a per-lane AND global parameter
the per-lane version set $(lane)_WITH_SEQUENCE := TRUE in the makefiles
the gerald WITH_SEQUENCE TRUE changed the setting in the config.txt file

So lets just set both versions and hopefully we'll get sequence files
out the other end.

Let me show you my hammer...

WITH_SEQUENCE is actually a global GERALD option, remove the lane specifier.

Update gerald config file generation.
Include ELAND_SET_SIZE, WITH_SEQUENCE options
Stop commenting SEQUENCE_FORMAT out

Minor changes to display

Removed some models from the admin index view

Changed Frequently Used links to be properly relative

Removed from admin index page

Removed unused DataRun model from admin index page

Removed all analysis models from main admin index

Limited which models show up on admin index page
Removed some fields from view in the Library Change/Add page
Rearranged the remaining Library fields

Ignore some files generated by python
.coverage
*.egg-info

Adjust spoolwatchers use of inotify to correspond to pyinotify 0.8.9

Handle the case when a sequencing lane lacks any yield information.
(For instance if we only run one lane of analysis on a flowcell)

Remind myself that dry-run doesn't work with the extract results code

Add support for CASAVA 1.7

They stopped generating eland_extended files so I needed to parse
the export files instead.

Also more carefully test how I'm computing the U0-2 and R0-2
scores.

Better detect which program ids generated CNF4 srf files.
apparently illumina2srf v1.11.5Illumina.1.3 also genrated CNF4s.
It's only illumina2srf v1.11.6... that generated CNF1s.

Split parts of build_fastqs into a seperate function.
Use the database to flag if a lane is bad instead of hard coding it.
Support comments and spaces in the library_id to target directory file.

Add a "All Lanes" option to the control-lane field for the cases
where we didn't set a control lane, but instead let the pipeline
estimate from the entire flowcell.

Shrink flowcell notes field.
See [ticket:167]

Don't offer to track flowcell config files in svn

Remove debug print statement

Reduce the size of the bioanalyzer summary text box
to 3 lines.

Tell git to ignore *.py[co]~ files.
(Useful if you're using git-svn)

This patch adds in fields to support storing bioanalyzer results. [ticket:166]

Georgi used slightly different extensions for the second batch
of data

Add search field to the lanes admin page

Use the htsworkflow API to determine if a flowcell is paired end or not.

Under some conditions urlerror doesn't have a code,
so just report the raw error message in that case

Report if a lane was on a paired end flowcell from the library
json structure.

Since srf2named_fastq detects what type of srf file I can remove
the -c option that was forcing it to read CNF1 formatted srf files

Update srf2named_fastq to try to detect if the srf file is CNF1 or CNF4
and figure out the correct option to pass to srf2fastq.

Add option to force overwriting old fastqs.

It will ignore the current existence of a fastq file when generating
the condor submit script.

In addition it will tell srf2named_fastq to --force as well.

If a quality score started with an @ sign it was treated as a header
which created an invalid fastq file.

This patch fixes that, and introduces some test cases for srf2named_fastq.py

This still isn't ideal as the RESULTS_HOME_DIR is still out of my
home directory, but at least the use of expanduser means it'll work on
both linux and os x.

Save changes needed to submit to UCSC in Jun 2010.

Some of those changes include:
  * modifying the list of variables to include in the ddf
  * making it easier to set the MapAlgorithm.
  * Return information about the condor scripts so I can make a
    condor dagman script to run all the compression jobs

Perhaps some parts of this should be moved into the main
htsworkflow. I can see wanting the code to batch convert
srf/qseqs to fastq being more generally useful.

Fix srf2named_fastq to output the proper /2 in paired end reads

Update the 'flowcell started' email message to include the sequencer
in the url.

Make it easier to run srf2named_fastq.py

Wrapper script that helps convert srf files to fastq files.
It can do the following:
  split the fastq into two files (for paired end reads)
  add in a flowcell id to the header (for either type of read).

Rename avg_lib_size to gel_cut_size, and add insert_size
to clear up the confusion about what was supposed to be
being recorded in avg_lib_size.

In addition, this patch adds in a per lane status field.

Update internal copy of the django admin/templates/admin/index.html
They changed how the css was being imported in the django css
so when running with django 1.1 the admin index page was messed up.

This gets all the borders to show up correctly.

Collect fastqs by read and add them to the configuration ini file as a
single line. (As desired by UCSC).

Also the library to result map file supports a basic comment character.
if # is the _first_ character it will skip that line.

Next I should fix the avg library size / insert length variables.

Put partial support back in for srf files.

Since I don't know if the srf file is supposed to be single or
paired end, this version assumes paired end unless you provide the
--single option.

Currently it'll give up if you try to convert a paired srf file
to a fastq file.

Also I made the code formatting in the make_parser function
look cleaner, and changed it to allow setting the logging verbosity
via command line options --verbose/--debug.

Add script to try and build submissions to the UCSC encode project.

This version supports generating qseq2fastq entries using the
htsworkflow api and scanning the flowcell repository directory.

There was code to generate the ddf files (from ini files).

I need to update the ini generation code to scan the submisison directory
for fastq files and group them by read.

Extend htsworkflow.pipelines.sequences to also try to figure out the cycle count.
In addition there is experimental code to shove the found sequences into a
sql database.

I also needed to bug fix the sequence patterns to catch the fake flowcell
ilmn200901 which wasn't matching my regexp for detecting flowcell ids.

Move the code to scan the sequence file archive to its own module so
I can use it in scripts other than make-library-tree

new api module actually needed logging.

Move the knowledge of the urls for the REST API to one new file
htsworkflow.util.api and then update some of the scripts that were
using the api to import from the new module.

Yes this increases the dependencies, but it does mean it'll be
easier to update the urls if we need to change them

apparently commas are important

make-library-tree should be an installed script too

Add in extra fields lorian asked for to library detail page

Do not insert anything into the header if there is no flowcell info.

(Previously there was a spurious _)

qseq2fastq should also be installed as a script

A patch that allows printing more than 11 labels at a time.

Default to pointing to the Ubuntu python location for django admin templates.

Matches can have trailing AGCT in addition to a number

Always return a count from carefully_make_hardlinks
Be more flexible about which json parser to use

Disabling 'delete selected'.

Added a 'Print Labels' action to the Library Admin Page.
 * Django 1.1 feature.
 * FIXME: Requires a Printer Template (Inventory) with type Library to work...
   * returns a useful error if template does not exist.

Update summary script to read from the GERALD Summary.xml file
instead of depending on randomly changign html code.

Add support for generating fasta files in addition to fastq files
Add an option to add a flowcell ID to the header

WARNING: Django 1.0.2 to Django 1.1.1 compatibility patch... There's not going back now!

Extend qseq2fastq to write to two fastq files,
one for files that pass filter and one that doesn.

Report hidden field in the library API

Use the HTS workflow API to figure out the library tree.
This also needed to search flow flowcell id by the starting name
because we still have the status of a flowcell being part of the
name in a few places.

there is no such thing as sequence_extended. I was using the wrong
suffix generator for paired end sequencing

Return affiliation, library name, and comment in the lanes_for json
api call

Actually implement the code to loop over a list of runfolders
on the command line.

Update the inventory tracker code for the split from lanes being
in the flowcell table to their own stand-alone model.

Also I made the mark_archived_data script take a list of
runfolder archives so I can archive a whole hard disk in one go.

Adds a json api 'lanes_for' feature

Force auth_backend error messages to sys stderr, as
wsgi hates stdout

Remove debugging code that breaks mod_wsgi

Added 'lanes_for' which will show recent flowcell lanes ordered by date,
and allows filtering by username.

In addition I modified the library index to bin runs into
small (<40), medium (<100), and large (>=100) runs seperated by single
and paired end reads.

Refine user handling.
The sysadmins need username to match up with the unix accounts,
The site manager needs a meaningful name to attach users to samples.
So the HTSUser string representation is first/last name and then username
in the corner.
In addition I modified the add user popup form to allow setting the
first/last name during the user creation.

Update test code to deal with the switch to storing archive
qseq files instead of srf files

Don't throw an error if library.cell_line is None.

The API was having problems where if the cell_line wasn't set it was
trying to do None.cellline_name, which didn't work so well.

In addition there were a few other type conversion issues, such as
unicode(None) != None.

So I added unicode_or_none

Modify qseq2fastq to also read from compressed tar files containing qseq files

Update the usage string for qseq2fastq

Add flowcell/lane information for a library to the rest hts api.
(Also catch a couple of bugs converting some fields to json.)

Define the unicode() function for HTSUser to also report the users full name.
ticket:149
Make adding a user to an affiliation optional
ticket:150

Include information about the flowcell run date on the library detail page

Make the basic library page show up when javascript is disabled
by removing the x-hidden from the content div.

Tell people to use the https address so it'll work off campus.

Modify the srf utility to tar.bz2 the qseq files instead of the using
the srf utility.
Additionally I updated the runfolder script to capture a few more
pieces of information (in addition to the switch to qseq files).
I'm now capturing the IVC plot and pngs, and the
flow cell reports generated by the 1.4 and later version of the
pipeline.

Replace '.' with 'N' in the sequence from qseq files.
Also add an option to include the pass filter state in the header
(and a small code reorganization)

Fix typo in srf command

Also include the read ID in the fastq header

Add a simple utility to convert qseq to fastq files.

It'll probably morph into a more complex utility in the near future.

Watch for a list of files to indicate that the flowcell is done.
I change completion_file to completion_files and used shlex.split
to split the options in the ini file into multiple elements.

Thus if you want a name with a space in it you'll need to use a
backslash before the space

Override extjs's rather harsh stylesheet so the library detail page is legible

Don't add the post_run_command unless the option and a runfolder are specified

Remport that the pipeline will be done in X to Y days from now
instead of from when the pipeline was started.

update inventory status template to use new field name for samples_library library id

Allow specifying which database to convert

Turn the library_id back into the primary key for samples_library (SCHEMA CHANGE!)
Trying to make it possible to enter the 'library_id' instead of the
arbitrary auto-incrementing key when creating a flowcell was turning out
to be far too time consuming.

It was vastly easier to decide that the 'library id' was a sufficiently
unique short value that it could be used directly as the primary key.
Its now a char 10 field, unlike the integer primary key to support
stanford style library IDs like SL123.

Its possible to convert the previous database version to one compatible with
this code by running docs/conv_library_id_to_pk_v0.3.1.py

Figure out the absolute path to the runfolder for passing to the post_run
command

Also use the javascript dual panel choice box for tags.

In some cases test_retrive_config will attempt to normalize None as a url
which doesn't work so well.

So this patch just returns the None and lets the problem
get sorted out elsewhere.

Use raw_id_fields for the library ID in the Flowcell Lane Inline form
this provides a vastly superior choice for searching a large number of
database entries.

I also grouped the various Lane form customization elements together
as I was tired of scrolling up and down in the file.

Add the ability not to build srf files.

This requires that you specify the 'site name' as a flag to turn
on creating the srf files.Add the ability not to build srf files.