make the mupa parser more robust
[mussa.git] / alg / mussa.cpp
index f75290c58705c68ea8e7ccb152da253fde976cbb..cda06ffe3ab9001d78bfa85323b7ee3b12d98435 100644 (file)
 #include <boost/filesystem/fstream.hpp>
 namespace fs = boost::filesystem;
 
+#include <boost/algorithm/string.hpp>
+
 #include <iostream>
 #include <sstream>
 
 #include "mussa_exceptions.hpp"
-#include "alg/flp.hpp"
-#include "alg/mussa.hpp"
-#include "alg/motif_parser.hpp"
+
+#include "flp.hpp"
+#include "io.hpp"
+#include "mussa.hpp"
+#include "motif_parser.hpp"
 
 using namespace std;
 
@@ -88,6 +92,26 @@ Mussa::clear()
   set_dirty(false);
 }
 
+void Mussa::set_append_window(bool v) 
+{
+  win_append = v;
+}
+
+bool Mussa::get_append_window()
+{
+  return win_append;
+}
+
+void Mussa::set_append_threshold(bool v)
+{
+  thres_append = v;
+}
+
+bool Mussa::get_append_threshold()
+{
+  return thres_append;
+}
+
 void Mussa::set_dirty(bool new_state)
 {
   if (dirty != new_state) {
@@ -187,6 +211,7 @@ int Mussa::get_soft_threshold() const
   return soft_thres;
 }
 
+
 void
 Mussa::set_analysis_mode(enum analysis_modes new_ana_mode)
 {
@@ -350,24 +375,13 @@ void Mussa::load_sequence(fs::path seq_file, fs::path annot_file,
   set_dirty(true);
 }
 
+void Mussa::load_mupa_file(std::string para_file_path) {
+  load_mupa_file(boost::filesystem::path(para_file_path));
+}
+
 void
 Mussa::load_mupa_file(fs::path para_file_path)
 {
-  fs::ifstream para_file;
-  string file_data_line;
-  string param, value; 
-  fs::path annot_file;
-  int split_index, fasta_index;
-  int sub_seq_start, sub_seq_end;
-  bool seq_params, did_seq;
-  string err_msg;
-  bool parsing_path;
-  string::size_type new_index, dir_index;
-
-  // initialize values
-  clear();
-
-  // if file was opened, read the parameter values
   if (not fs::exists(para_file_path))
   {
     throw mussa_load_error("Config File: " + para_file_path.string() + " not found");
@@ -376,93 +390,145 @@ Mussa::load_mupa_file(fs::path para_file_path)
   } else if (fs::is_empty(para_file_path)) {
     throw mussa_load_error("Config File: " + para_file_path.string() + " is empty");
   } else  {
+    // what directory is the mupa file in?
+    fs::path file_path_base( para_file_path.branch_path()) ;
+
+    fs::ifstream para_file;
     para_file.open(para_file_path, ios::in);
+    
+    load_mupa_stream(para_file, file_path_base);
+    para_file.close();   
+  }
+}
 
-    // what directory is the mupa file in?
-    fs::path file_path_base = para_file_path.branch_path();
+void
+Mussa::load_mupa_stream(std::istream& para_file, fs::path& file_path_base)
+{
+  std::string line;
+  std::vector< std::string > tokens;
+  int line_count = 0;
+
+  enum parsing_state_enum { START, INSEQUENCE };
+  parsing_state_enum parsing_state = START;
+  
+  // sequence file parameters
+  fs::path seq_file;
+  fs::path annot_file;
+  int split_index, fasta_index;
+  int sub_seq_start, sub_seq_end;
+  bool seq_params, did_seq;
+  std::string err_msg;
 
+  // initialize values
+  clear();
+
+  
+  while (para_file.good())
+  {
+    ++line_count;
     // setup loop by getting file's first line
-    getline(para_file,file_data_line);
-    split_index = file_data_line.find(" ");
-    param = file_data_line.substr(0,split_index);
-    value = file_data_line.substr(split_index+1);
-    
-    while (para_file)
-    {
-      did_seq = false;
-      if (param == "ANA_NAME")
-        analysis_name = value;
-      else if (param == "APPEND_WIN")
-        win_append = true;
-      else if (param == "APPEND_THRES")
-        thres_append = true;
-      else if (param == "SEQUENCE_NUM")
-        ; // ignore sequence_num now
-      else if (param == "WINDOW")
-        window = atoi(value.c_str());
-      else if (param == "THRESHOLD")
-        threshold = atoi(value.c_str());
-      else if (param == "SEQUENCE")
-      {
-        fs::path seq_file = file_path_base / value;
-        //cout << "seq_file_name " << seq_files.back() << endl;
-        fasta_index = 1;
-        annot_file = "";
-        sub_seq_start = 0;
-        sub_seq_end = 0;
-        seq_params = true;
-
-        while (para_file && seq_params)
-        {
-          getline(para_file,file_data_line);
-          split_index = file_data_line.find(" ");
-          param = file_data_line.substr(0,split_index);
-          value = file_data_line.substr(split_index+1);
-
-          if (param == "FASTA_INDEX")
-            fasta_index = atoi(value.c_str());
-          else if (param == "ANNOTATION")
-            annot_file = file_path_base / value;
-          else if (param == "SEQ_START")
-            sub_seq_start = atoi(value.c_str());
-          else if (param == "SEQ_END")
-          {
-            sub_seq_end = atoi(value.c_str());
-          }
-          //ignore empty lines or that start with '#'
-          else if ((param == "") || (param == "#")) {}
-          else seq_params = false;
-        }
+    multiplatform_getline(para_file, line);
+    // strip leading/trailing whitespace
+    boost::trim(line);
+    // ignore commented out or blank lines
+    if ( line.size() == 0 or line[0] == '#' ) {
+      continue;
+    } 
+
+    // split the line on white spance
+    boost::split(tokens, line, boost::is_space());
+    // do we have a name/value pair?
+    if (tokens.size() != 2) { 
+      std::stringstream errmsg;
+      errmsg << "Error parsing MUPA file line: "
+             << line_count << std::endl
+             << line;
+      throw mussa_load_error(errmsg.str());
+    }
+  
+    boost::to_upper(tokens[0]);
+    // Parameters only useful after a sequence block
+    if (parsing_state == INSEQUENCE) {
+      // in the following if blocks, if we do 
+      // successfully match a token we should continue
+      // on to the next token
+      // but if we don't match a token we want to 
+      // fall through to the top level parsing
+
+      if (tokens[0] == "FASTA_INDEX") {
+        fasta_index = atoi(tokens[1].c_str());
+        continue;
+      } else if (tokens[0] == "ANNOTATION") {
+        annot_file = file_path_base / tokens[1];
+        continue;
+      } else if (tokens[0] == "SEQ_START") {
+        sub_seq_start = atoi(tokens[1].c_str());
+        continue;
+      } else if (tokens[0] == "SEQ_END") {
+        sub_seq_end = atoi(tokens[1].c_str());
+        continue;
+      } else {
+        // any other token means we're done with this
+        // sequence so we should load it 
+        // (and let the "unknown" token fall through into the 
+        // top level token parser)
         load_sequence(seq_file, annot_file, fasta_index, sub_seq_start, 
                       sub_seq_end);
-        did_seq = true;
-      }
-      //ignore empty lines or that start with '#'
-      else if ((param == "") || (param == "#")) {}
-      else
-      {
-        clog << "Illegal/misplaced mussa parameter in file\n";
-        clog << param << "\n";
+        parsing_state = START;
       }
-
-      if (!did_seq)
-      {
-        getline(para_file,file_data_line);
-        split_index = file_data_line.find(" ");
-        param = file_data_line.substr(0,split_index);
-        value = file_data_line.substr(split_index+1);
-        did_seq = false;
+    }
+    // if we didn't consume a token from the previous if block
+    // try 
+    // top level token parsing
+    if (tokens[0] == "ANA_NAME")  {
+      analysis_name = tokens[1];
+    } else if (tokens[0] == "APPEND_WIN") {
+      win_append = true;
+    } else if (tokens[0] == "APPEND_THRES") {
+      thres_append = true;
+    } else if (tokens[0] == "SEQUENCE_NUM") {
+      ; // ignore sequence_num now
+    } else if (tokens[0] == "WINDOW") {
+      window = atoi(tokens[1].c_str());
+    } else if (tokens[0] == "THRESHOLD") {
+      threshold = atoi(tokens[1].c_str());
+    } else if (tokens[0] == "SEQUENCE") {
+      if (parsing_state == INSEQUENCE) {
+        cout << "seq_file_name call2" << seq_file << endl;
+        load_sequence(seq_file, annot_file, fasta_index, sub_seq_start, 
+                      sub_seq_end);
+        parsing_state = START;
       }
+      // reset sequence parameters
+      seq_file = file_path_base / tokens[1];
+      fasta_index = 1;
+      annot_file = "";
+      sub_seq_start = 0;
+      sub_seq_end = 0;
+      seq_params = true;
+      parsing_state = INSEQUENCE;
+    } else {
+      clog << "Illegal/misplaced mussa parameter in file\n";
+      clog << tokens[0] << "\n";
+      std::stringstream errmsg;
+      errmsg << "Invalid mussa paaramater '" 
+             << tokens[0] 
+             << "' on line: "
+             << line_count << std::endl
+             << line;
+      throw mussa_load_error(errmsg.str());
+      throw mussa_load_error("Error parsing MUPA file");
     }
+  }
 
-    para_file.close();
-
-    soft_thres = threshold;
-    //cout << "nway mupa: analysis_name = " << analysis_name 
-    //     << " window = " << window 
-    //     << " threshold = " << threshold << endl;
+  // if we hit the end of the file and there's a sequence
+  // pending, go ahead and load it
+  if (parsing_state == INSEQUENCE) {
+    load_sequence(seq_file, annot_file, fasta_index, sub_seq_start, 
+                  sub_seq_end);
   }
-  // no file was loaded, signal error
+
+  soft_thres = threshold;
   set_dirty(true);
 }
 
@@ -639,6 +705,10 @@ Mussa::load(fs::path ana_file)
   vector<FLPs> empty_FLP_vector;
   FLPs dummy_comp;
 
+
+  //--------------------------------------------------------
+  // Load Muway
+  //--------------------------------------------------------
   analysis_path = ana_file;
   analysis_name = ana_path.leaf();
   fs::path muway(analysis_name+".muway", fs::native);
@@ -648,26 +718,65 @@ Mussa::load(fs::path ana_file)
   // us know what our threshold and window sizes were when we load a muway
   window = the_paths.get_window();
   threshold = the_paths.get_threshold();
-  soft_thres = threshold;
+  soft_thres = the_paths.get_soft_threshold();
+
 
-  int seq_num = the_paths.sequence_count();
+  //--------------------------------------------------------
+  // Load Sequence
+  //--------------------------------------------------------
+  //int seq_num = the_paths.sequence_count();
 
   fs::path museq(analysis_name + ".museq", fs::native);
   a_file_path = analysis_path / museq;
 
   // this is a bit of a hack due to C++ not acting like it should with files
-  for (i = 1; i <= seq_num; i++)
+  /*for (i = 1; i <= seq_num; i++)
   {
     boost::shared_ptr<Sequence> tmp_seq(new Sequence);
     tmp_seq->load_museq(a_file_path, i);
     the_seqs.push_back(tmp_seq);
+  }*/
+  
+  i = 1;
+  //int seq_num = 0;
+  boost::filesystem::fstream load_museq_fs;
+  load_museq_fs.open(a_file_path, std::ios::in);
+  boost::shared_ptr<Sequence> tmp_seq;
+  while (1)
+  {
+    tmp_seq = Sequence::load_museq(load_museq_fs);
+    
+    if (tmp_seq)
+    {
+      the_seqs.push_back(tmp_seq);
+    }
+    else
+    {
+      break;
+    }
+    
+    
+    //safe guard in case of an infinate loop.
+    //FIXME: If mussa can handle a comparison of 10000 sequences
+    // in the future, then this code should be fixed.
+    if (i == 10000)
+    {
+      throw mussa_load_error(" Run away sequence load!");
+    }
+    i++;
   }
+  load_museq_fs.close();
   
+  //--------------------------------------------------------
+  // Load Motifs
+  //--------------------------------------------------------
   fs::path mtl(analysis_name + ".mtl", fs::native);
   fs::path motif_file = analysis_path / mtl;
   if (fs::exists(motif_file)) {
     load_motifs(motif_file);
   }
+  
+  vector<Sequence>::size_type seq_num = the_seqs.size();
   empty_FLP_vector.clear();
   for(i = 0; i < seq_num; i++)
   {
@@ -676,6 +785,7 @@ Mussa::load(fs::path ana_file)
       all_comps[i].push_back(dummy_comp);
   }
   
+  
   for(i = 0; i < seq_num; i++)
   {
     for(i2 = i+1; i2 < seq_num; i2++)