htswanalysis/scripts/SummarizeProject2.pm

   1 #!/usr/bin/perl -w
   2 use strict;
   3 use warnings;
   4 use XML::Simple;
   5 my $root_dir = shift;
   6 my $library_info = shift;
   7 my %libs;
   8 my %quest;
   9 my $expxml = XML::Simple->new();
  10 my $xml = $expxml->XMLin("Project.xml", ForceArray => [ qw(ComparePeakCalls CompareLibraries PeakCalling ProfileReads qPCR MotifFinding)]);
  11 my @peak_calling = ();
  12
  13 my $project_name = $xml->{Name};
  14 my $project_id= $xml->{ProjectId};
  15
  16 if(exists($xml->{PeakCalling})) {
  17 for my $i (0..scalar(@{$xml->{PeakCalling}})-1) {
  18   my $task = $xml->{PeakCalling}->[$i]->{TaskId};
  19   my $name = $xml->{PeakCalling}->[$i]->{Name};
  20   my $caller = $xml->{PeakCalling}->[$i]->{Caller};
  21   my $genome = $xml->{PeakCalling}->[$i]->{Genome};
  22   my $signal = $xml->{PeakCalling}->[$i]->{Signal}->{Library};
  23   my $bg = $xml->{PeakCalling}->[$i]->{Background}->{Library};
  24   $libs{$signal} = 0; $libs{$bg} = 0;
  25   $name =~ s/\s/_/ig;
  26   my $caller_dir = "../../Tasks/$task";
  27   my %desc = (Name => $name, Dir => $caller_dir, Caller => $caller);
  28   $desc{outfile} = "";
  29   $desc{fasta} = "";
  30   if($caller eq "QuEST") {
  31     $desc{Summary} = `$root_dir/scripts/SummarizeQuEST.pm $caller_dir`;
  32     $desc{outfile} = "$caller_dir/peak_caller.ChIP.out.bedgraph";
  33     $desc{fasta} = "$caller_dir/peak_caller.ChIP.out.fasta";
  34   } elsif($caller eq "WingPeaks") {
  35     $desc{Summary} = `$root_dir/scripts/SummarizeWingPeaks.pm $caller_dir/$name.peaks`;
  36     $desc{outfile} = "$caller_dir/$name.peaks.bed";
  37     $desc{fasta} = "$caller_dir/$name.peaks.fasta";
  38   } elsif($caller eq "MACS") {
  39     my $peakfile = $caller_dir.'/'.$name.'_peaks.xls';
  40     my $negpeakfile = $caller_dir.'/'.$name.'_negative_peaks.xls';
  41     $desc{Summary} = `$root_dir/scripts/SummarizeMACS.pm $peakfile $negpeakfile`;
  42     $desc{outfile} = "$caller_dir/".$name."_peaks.bed";
  43     $desc{fasta} = "$caller_dir/".$name."_peaks.fasta";
  44     $desc{primer_design} = "$caller_dir/ValidationPrimers.html";
  45   }
  46
  47   if($genome eq "scer") { $genome = "sacCer1"; }
  48   $desc{Genome} = $genome;
  49   $desc{Task} = $task;
  50   push @peak_calling, \%desc;
  51 }
  52 }
  53
  54 my $qPCR_Summary = "";
  55 if(exists($xml->{qPCR})) {
  56 $qPCR_Summary .= "<H2><EM>In-silico</EM> qPCR Summary</H2><BR><TABLE BORDER=1><TR><TD><EM>Library</EM></TD><TD><EM>Factor</EM></TD><TD><EM>Fold Enrichment</EM></TD></TR>\n";
  57 for my $i (0..scalar(@{$xml->{qPCR}})-1) {
  58   my $task = $xml->{qPCR}->[$i]->{TaskId};
  59   my $name = $xml->{qPCR}->[$i]->{Name}; $name =~ s/\s/_/g;
  60   my $genome = $xml->{qPCR}->[$i]->{Genome};
  61   my $lib = $xml->{qPCR}->[$i]->{Library};
  62   my $outfile = "../../Tasks/$task/$name.qPCR";
  63
  64   $libs{$lib} = 0;
  65
  66   if( ! -e $outfile ) {  $qPCR_Summary .= "<TR BCOLOR=#FFBBBB><TD>$name</TD><TD>Processing...</TD></TR>\n"; } else {
  67     my $summary_line = `$root_dir/scripts/Summarize_qPCR.pm $name $lib $outfile`;
  68     if($summary_line eq "") { $qPCR_Summary .= "<TR BCOLOR=#FFBBBB><TD>$name</TD><TD>Processing...</TD></TR>\n"; }
  69     else {
  70       $qPCR_Summary .= $summary_line;
  71     }
  72   }
  73 }
  74 $qPCR_Summary .= "</TABLE>\n";
  75 }
  76
  77 my $methylseq_summary = "";
  78 if(exists($xml->{Methylseq})) {
  79   $methylseq_sumary "<TABLE BORDER=1>\n";
  80   $methylseq_summary .= "<TR>\n";
  81   $methylseq_summary .= "<TD><EM>msp1</EM></TD>\n";
  82   $methylseq_summary .= "<TD><EM>hpa2</EM></TD>\n";
  83   $methylseq_summary .= "<TD><EM>Assayed</EM></TD>\n";
  84   $methylseq_summary .= "<TD><EM>Methylated</EM></TD>\n";
  85   $methylseq_summary .= "<TD><EM>Errors</EM></TD>\n";
  86   $methylseq_summary .= "<TD><EM>Data</EM></TD></TR>\n";
  87
  88   for my $i (0..scalar(@{$xml->{Methylseq}})-1) {
  89     my $task = $xml->{Methylseq}->[$i]->{TaskId};
  90     my $genome = $xml->{Methylseq}->[$i]->{Genome};
  91     my $name = $xml->{Methylseq}->[$i]->{Name};
  92
  93     my $msp1   = $xml->{Methylseq}->[$i]->{Msp1}->{Library};
  94     my $hpa2   = $xml->{Methylseq}->[$i]->{Hpa2}->{Library};
  95
  96     $methylseq_summary .= `$root_dir/scripts/SummarizeMethylseq.pm $name $task $msp1 $hpa2 $genome`;
  97
  98   }
  99   $methylseq_summary .= "</TABLE>\n";
 100 }
 101
 102
 103 my $profile_summary = "";
 104 if(exists($xml->{ProfileReads})) {
 105   $profile_summary = "<BR><H2>Read Profiles (<A HREF=http://genome.ucsc.edu/cgi-bin/hgGateway>Genome Browser</A>)</H2>\n";
 106   $profile_summary .= "<TABLE BORDER=1><TR><TD><EM>Library</EM></TD><TD><EM>Wiggle file</EM></TD></TR>";
 107   for my $i (0..scalar(@{$xml->{ProfileReads}})-1) {
 108     my $task = $xml->{ProfileReads}->[$i]->{TaskId};
 109     my $name = $xml->{ProfileReads}->[$i]->{Name};
 110     my $genome = $xml->{ProfileReads}->[$i]->{Genome};
 111     my $lib = $xml->{ProfileReads}->[$i]->{Library};
 112     $libs{$lib} = 0;
 113
 114     if($genome eq "scer") { $genome = "sacCer1"; }
 115     $profile_summary .= "<TR><TD>$name ($lib)</TD><TD><A HREF=../../Tasks/$task/$lib.wig.gz>$lib.wig.gz</A><BR><A HREF=http://genome.ucsc.edu/cgi-bin/hgTracks?db=$genome&position=chr1:1000-2000&hgt.customText=http://171.65.76.194/Tasks/$task/$lib.wig.gz TARGET=\"_blank\">View in UCSC Genome Browser</A></TD>\n";
 116     $profile_summary .= "<TD><A HREF=../../Tasks/$task/$lib.profile.gif><IMG WIDTH=300 SRC=../../Tasks/$task/$lib.profile.gif></A></TD></TR>\n";
 117   }
 118   $profile_summary .= "</TABLE>\n";
 119 }
 120
 121 my $library_comparisons = "";
 122 if(exists($xml->{CompareLibraries})) {
 123 $library_comparisons .= "<H2>Library Comparisons</H2>\n";
 124 $library_comparisons .= "<TABLE BORDER=1>\n";
 125 $library_comparisons .= "<TR><TD><EM>Factor</EM></TD><TD><EM>Library 1</EM></TD><TD><EM>Library 2</EM></TD><TD><EM>Correlation</EM></TD></TR>\n";
 126 for my $i (0..scalar(@{$xml->{CompareLibraries}})-1) {
 127   my $task = $xml->{CompareLibraries}->[$i]->{TaskId};
 128   my $tf = $xml->{CompareLibraries}->[$i]->{TF};
 129   my $genome = $xml->{CompareLibraries}->[$i]->{Genome};
 130   my $features = "$root_dir/reference_data/".$genome."_uptream5k_downtream1k";
 131   my $name1 = $xml->{CompareLibraries}->[$i]->{Library}->[0]->{Library};
 132   my $name2 = $xml->{CompareLibraries}->[$i]->{Library}->[1]->{Library};
 133   my $outfile = "../../Tasks/".$task.'/'.$name1."_".$name2.".compare";
 134   $libs{$name1} = 0; $libs{$name2} = 0;
 135   my $correlation; my $color;
 136   if( !(-e $outfile) ) { $correlation = "In Progress..."; $color = "#FFBBBB"; }
 137   else {
 138     $correlation = `cat $outfile | awk '{print \$8}'`;
 139     if($correlation > 0.9) { $color = "#BBFFBB"; }
 140     elsif($correlation > 0.6) { $color = "#BBBBFF"; }
 141     else { $color = "#FFBBBB"; }
 142   }
 143   $library_comparisons .= "<TR BGCOLOR=$color><TD>$tf</TD><TD>$name1</TD><TD>$name2</TD<TD>$correlation</TD></TR>\n";
 144 }
 145 $library_comparisons .= "</TABLE>\n";
 146 }
 147
 148 my $peak_call_comparisons = "";
 149 if(exists($xml->{ComparePeakCalls})) {
 150   $peak_call_comparisons = "<H2>Peak Calling Comparisons</H2>\n";
 151   $peak_call_comparisons .= "<TABLE BORDER=1><TR><TD><EM>Caller1</EM></TD><TD><EM>Set1</EM></TD><TD><EM>Caller2</EM></TD><TD><EM>Set2</EM></TD><TD>|Union|</TD><TD>|Intersect|</TD><TD>|Difference|</TD><TD>Jaccard</TD><TD>Correlation</TD></TR>\n";
 152   for my $i (0..scalar(@{$xml->{ComparePeakCalls}})-1) {
 153     my $task = $xml->{ComparePeakCalls}->[$i]->{TaskId};
 154     my $caller1 = $xml->{ComparePeakCalls}->[$i]->{Caller1};
 155     my $caller2 = $xml->{ComparePeakCalls}->[$i]->{Caller2};
 156     my $genome = $xml->{ComparePeakCalls}->[$i]->{Genome};
 157     my $set1 = $xml->{ComparePeakCalls}->[$i]->{Set1}; $set1 =~ s/\s/_/g;
 158     my $set2 = $xml->{ComparePeakCalls}->[$i]->{Set2}; $set2 =~ s/\s/_/g;
 159     my $outfile .= "../../Tasks/".$task.'/'.$set1."-".$caller1."_v_".$set2."-".$caller2.".compare";
 160     my $correlation = -1;
 161
 162     if(! -e $outfile) {
 163       my $color = "#FFBBBB";
 164       $peak_call_comparisons .= "<TR BGCOLOR=$color><TD>$caller1</TD><TD>$set1</TD><TD>$caller2</TD><TD>$set2</TD><TD COLSPAN=5><B>Processing...</B></TD></TR>\n";
 165     } else {
 166       my $line = `cat $outfile`; chomp $line;
 167       my($tf,$set1_id,$set2_id,$U,$I,$D,$J,$R) = split(/\t/,$line);
 168       my $color = "#FFBBBB";
 169       if(!defined($R)) { $peak_call_comparisons .= "<TR BGCOLOR=$color><TD>$caller1</TD><TD>$set1</TD><TD>$caller2</TD><TD>$set2</TD><TD COLSPAN=5><B>Processing...</B></TD></TR>\n"; } else {
 170         $set1_id =~ /.+?\((\d+)\)$/; my $n1 = $1;
 171         $set2_id =~ /.+?\((\d+)\)$/; my $n2 = $1;
 172         if($R > 0.85) { $color = "#BBFFBB"; } elsif($R > 0.5) { $color="#BBBBFF"; } else { $color="#FFBBBB"; }
 173         $peak_call_comparisons .= "<TR BGCOLOR=$color><TD>$caller1</TD><TD>$set1 ($n1)</TD><TD>$caller2</TD><TD>$set2 ($n2)</TD><TD>$U</TD><TD>$I</TD><TD>$D</TD><TD>$J</TD><TD>$R</TD></TR>\n";
 174       }
 175     }
 176   }
 177   $peak_call_comparisons .= "</TABLE>\n";
 178 }
 179
 180 my $motif_finding = "";
 181 if(exists($xml->{MotifFinding})) {
 182   $motif_finding = "<H2>Motif Finding</H2>\n";
 183   $motif_finding .= "<TABLE BORDER=1><TR><TD><EM>Caller</EM></TD><TD><EM>Set</EM></TD><TD><EM>Width</EM></TD><TD>Motifs</TD><TD><EM>Motif Information</EM></TD></TR>\n";
 184   for my $i (0..scalar(@{$xml->{MotifFinding}})-1) {
 185     my $task = $xml->{MotifFinding}->[$i]->{TaskId};
 186     my $caller = $xml->{MotifFinding}->[$i]->{Caller};
 187     my $genome = $xml->{MotifFinding}->[$i]->{Genome};
 188     my $set = $xml->{MotifFinding}->[$i]->{Set}; $set =~ s/\s/_/g;
 189     my $width = $xml->{MotifFinding}->[$i]->{Width};
 190     my $outfile .= "../../Tasks/".$task.'/'.$set."-".$caller.".w".$width.".biop";
 191
 192     if(! -e $outfile) {
 193       my $color = "#FFBBBB";
 194       $motif_finding .= "<TR BGCOLOR=$color><TD>$caller</TD><TD>$set</TD><TD COLSPAN=3><B>Processing...</B></TD></TR>\n";
 195     } else {
 196       my $color = "#BBFFBB";
 197       my $line = `cat $outfile | grep "Motif #"`; $line =~ s/\n/<BR>/g;
 198       my $score = `cat $outfile | grep "MotifScore"`; $score=~ s/\n/<BR>/g;
 199       $motif_finding .= "<TR BGCOLOR=$color><TD>$caller</TD><TD>$set</TD><TD>$width</TD><TD>$line</TD><TD>$score</TD></TR>\n";
 200     }
 201   }
 202   $motif_finding .= "</TABLE>\n";
 203 }
 204
 205 print "<HTML><HEAD><TITLE>$project_name Analysis Summary</TITLE></HEAD><BODY>\n";
 206 print "<H1><CENTER>$project_name Analysis Summary</CENTER></H1>\n";
 207 print SummarizeLibrary($library_info);
 208 print $profile_summary;
 209 print $methylseq_summary;
 210 print $library_comparisons;
 211 print $peak_call_comparisons;
 212 print $motif_finding;
 213 print $qPCR_Summary;
 214
 215 if(exists($xml->{PeakCalling})) {
 216 print "<H2>Peak Calling Summary</H2>";
 217 print "<TABLE BORDER=1><TR><TD><EM>Experiment</EM></TD><TD><EM>Peak Caller</EM></TD><TD><EM>Summary</EM></TD></TR>\n";
 218 my $row = 0;
 219 for(@peak_calling) {
 220   my %hash = %{$_};
 221   $row++;
 222   #my $color = $row % 2?"#CCCCFF":"#FFFFFF";
 223   my $color = "#EEEEFF";
 224   print "<TR BGCOLOR=$color><TD><B>$hash{Name}</B></TD>";
 225   print "<TD>$hash{Caller}</TD><TD>$hash{Summary}</TD>\n";
 226   print "<TD><A HREF=$hash{outfile}>BED file</A><BR><A HREF=http://genome.ucsc.edu/cgi-bin/hgTracks?db=$hash{Genome}&hgt.customText=http://171.65.76.194/Tasks/$hash{Task}/$hash{outfile}>View in Genome Browser</A></TD><TD><A HREF=$hash{fasta}>FASTA</A></TD>\n";
 227   if(exists($hash{primer_design})) { print "<TD><A HREF=$hash{primer_design}>Validation Primers</A></TD>\n"; }
 228   print "</TR>\n";
 229 }
 230 }
 231 print "</TABLE>\n";
 232 print "</BODY></HTML>\n";
 233 sub SummarizeLibrary {
 234   my $xml_file = shift;
 235   my $xml = XMLin($xml_file, ForceArray => 1);
 236   my $summary = "";
 237   $summary .= "<H2>Libraries Used</H2><TABLE BORDER=1><TR><TD><EM>Library</EM></TD><TD><EM>Name</EM></TD><TD><EM>Num Lanes</EM></TD><TD><EM>Num Reads</EM></TD></TR>\n";
 238   for my $i (0..scalar(@{$xml->{Library}})-1) {
 239     my $lib = $xml->{Library}->[$i]->{Name};
 240     next unless(scalar(keys %libs) == 0 || exists($libs{$lib}));
 241     my $N = scalar(@{$xml->{Library}->[$i]->{Track}});
 242     my($date,$fc,$lane,$desc);
 243     my $num_reads = 0;
 244     my $num_lanes = 0;
 245     for my $t (0..$N-1) {
 246       my $filename = $xml->{Library}->[$i]->{Track}->[$t]->{Filename};
 247       $filename = `basename $filename`;
 248       $filename =~ /^(\d+)_(.+?)_s(\d+)_(.+?)_$lib.align/;
 249       ($date,$fc,$lane,$desc) = ($1,$2,$3,$4);
 250       $num_lanes += length($lane);
 251       $num_reads += $xml->{Library}->[$i]->{Track}->[$t]->{Count};
 252     }
 253     my $bgcolor;
 254     if($num_reads < 3000000) { $bgcolor = "FF3300"; }
 255     elsif($num_reads < 5000000) { $bgcolor = "FFCC33"; }
 256     elsif($num_reads < 10000000) { $bgcolor = "00CCFF"; }
 257     else { $bgcolor = "66FF66"; }
 258
 259     $summary .= sprintf("<TR BGCOLOR=#%s><TD>%s</TD><TD>%s</TD><TD>%d</TD><TD>%0.2fM</TD></TR>\n",$bgcolor,$lib,$desc,$num_lanes,$num_reads/1000000.0);
 260   }
 261   $summary .= "</TABLE>\n";
 262   return $summary;
 263 }
 264