added updLibInfo function

added case for calling updLibInfo

update imports for runfolder and eland_makebed for location in htswdataprod.

Added a display column (not DB) to show the total count of alligned reads for each library record

I moved more of options in settings.py to the .htsworkflow.ini
In this case, the list of admin users were moved to a [admins]
section in the ini file as well as the allowed_ips to [allowed_hosts]
and allowed_analys_ips to [allowed_analysis_hosts].

Currently localhost is always allowed.

I modified the admin base site login page slightly to be less
stanford specific. It would be nice if there was someway of
passing variables to the admin site templates so we could
provide per site branding without having to commit the site
customization to the repository

update imports in srf for htsw directory structure

Pull tool to make srf files from trunk (depends on
util/queuecommands.py)

solexa2srf likes to produce output, so my trick of watching the
sockets to block until when the process ends didn't work.

This patch inserts a simple sleep(1) (second) into the code that
waits for the jobs to finish to prevent the queue manager from rapidly
spinning.

It should probably be fixed with a better way of monitoring for when
a process finishes

MERGED from trunk (the hard way)

add setuptools setup.py scripts for the modules I need to be able to use

converts QuEST peakcalls output file into narrowPeak ENCODE format

Removed all Antibody related fields from the Library search_fields list. The Library search for some reason fails to retrieve these records that have NULL in Antibody FK value.

removed affiliation field from the search_fields option

Updates to profile reads to be more general in how chromosomes are handled

Added installation notes

Added MACS source

Change the django settings.py file to get configuration settings from
an ini-like file. Currently it searches, ~/.htsworkflow and
/etc/htsworkflow.ini.

Currently I only implemented the most basic settings overrides needed to
run a django server in development mode.

Minor typos fixes

Merge in all of my testing code from trunk.

Added a master runtest.sh script that deals with the annoying problem
caused by nesting each package in its own source tree.

I moved in my eland to bed file code (which might still need to be
renamed).

I resolved all the import errors in my illumina specific parsing
code (thanks to the test code)

merge in my changes from trunk

Template loading fix.
 * Relative path was slightly off.

Ignore *.py[co~] files

return the project xml config file as text/plain so you can read it in
your browser.

update the url matching to provide proper access to the
analys_track/getProject url

First complete Projects/Tasks build.

Actually the an_urls.py was importing the views, if we remove that
we can remove the views file

Add queuecommand to htswcommon,
add tests for ethelp and queuecommand, though nose will only work
if run from within the htswcommon directory

cleaned the code a bit: put the  method in utils.py

removed views url

Django really wanted a view in analys_track, it was periodically
tossing an import error.

I inserted a fairly basic views.py, which seemed to make things better.

Added a program to help compare libraries

added Affiliation FK to Libarary + Affiliation table to associate each library record to a project/lab/contact etc..

I think this was missing... manage.py is fairly useful. =o)

added Affiliation table and linked to Library in a ManyToMany relathionship

small GUI change

Tasks functionality added. Lots of cleanup to do, but a good start. It remains to test and set up the Projects aspect of the code, which includes reporting html pages on a webserver somewhere.

Added align_to_bed script. Used to turn MACS output into a bed file

Added wiggle fiole generation

minor updates

minor url updates

the only used function here is makeFCSheet. the other are used for testings.

minor adjastments

added Replicate filed in Library table. added as well a 'Short Name' field in Antibody table, to store antigene 'nickname'

Quest_2_bed conversaion added.

Added auxillliary programs needed to run projects

Smalle bug fix

added comm module of communication.

Added communitaion between projects and lims

Initial attempt to get Projects and Tasks framework brought into repository. Lots of work needs to be done gettign directories hooked up and general. Might make sense to start a config files somewhere.

added search interface to the Task and Project entities. Now, for example, you can search all Projects by LibraryId

Major bug-fix where some probes in the in-silico qPCR were not working.

Small change to fix directory structure problem

These are the template directories and files.

Replaced 'gaworflow' with 'htsworkflow'; updated settings.py, urls.py etc... Tested: site load sucessfully from /htsworkflow

Migrating Rami's frontend changes from stanford branch to htsworkflow branch.

This text file includes step by step SQL commands to convert your DB into our schema. If used the new htsw_frontend models.py your web site should be able to load your data on the new model.

Fixed another directory problem: the libraries repo had an assumed location relative to the cwd that is not necessarily true.

Fixed directories to be more general and easy to set via the environment variable:

HTSW_ANALYSIS_DIR

Fixed bug that bailed on empty alignment files. (weird exception case)

Took our some old targets from the Makefile that are going unused.

Made changes to add quarterly information to the sequencign summary.

Big steps on getting the library automation going. Small code changes in the qPCR progrm to make output nicer. Then, added a "Makefile" for reference data to get the GenericBackground file used by the qPCR. Lastly, made various changes to correct incorrect paths in the LibrariesMakefile. Stll under testing, but the library system here is becoming funcitonal in the new framework.

rendered compatible with the updated MPListener

rendered compatible with the new MainPipelineScript, which is now ran from runner bot

rendered compatible with the new MainPipelineScript, which is now ran from runner bot

rendered completely runnable from runner bot

Finished adding LibraryMakefile related code. Nothing tested yet, but all the necessary source, scripts, and reference data is there. Some parts of LibraryMakefile are commented out until I decide whether to keep them or remove them.

Initial Checkin. Not complete package yet, but a starting point. Bringing in lots of code from various places and making them all talk to each other under a revised directory structure.

Initial Checkin

more dev

Need the os module.

Update from gaworkflow package to htswdataprod and htswcommon packages.

Importing Diane's opener.py from trunk.

gaworkflow to htswdataprod package fix.

Pulling in Diane's gerald, bustard, and firecrest modules from trunk.

Added a Stanford CollectReads compatibility mode.
 * Use --compat_mode with --extract-results to trigger this new mdoe.

Importing the rest of the code needed for Diane's runfolder.

Pulling in Diane's runfolder script from trunk.

continuing the try to make the MainPScript run sucessfully from the bot

Progress towards a Stanford runner bot.

Migrated exp_track_comm into htswdataprod.exp_track_comm python module.

Might actually need the runner_s implementation!

Start of Stanford runner bot... currently stripped down runner.

Handles all the data collection at the end of the data pipeline (Perl). All collected (and formated) data files are put in a (create) folder 'CollectReads' unders the run folder root. The content of CollectReads will be copied - at a later stage - (currently using scp) to a separate analysis server.

[dataprod <-> frontend] messaging functions. among others, it gets the run config file, reports run status (e.g. bustard finished) etc..

command script that runs [dataprod <-> frontend] messaging functions.

sub script of MainPipelineScript: counts Image folders and sub folders and return calculated run cycle for the current run folder.

ran by the MPListener, at the end. Collects all important data from the pipeline results, converts some formats, then runs some quality control programs (from QC script folder). Creates 2 folders CollectReads and QC. CollectReads's content is then all transfered to the analysis server where down stream analysis part is performed and other data handling stuff.