bam_maqcns.c

   1 #include <math.h>
   2 #include "bam.h"
   3 #include "bam_maqcns.h"
   4 #include "ksort.h"
   5 KSORT_INIT_GENERIC(uint32_t)
   6
   7 #define MAX_WINDOW 33
   8
   9 typedef struct __bmc_aux_t {
  10         int max;
  11         uint32_t *info;
  12 } bmc_aux_t;
  13
  14 typedef struct {
  15         float esum[4], fsum[4];
  16         uint32_t c[4];
  17         uint32_t rms_mapQ;
  18 } glf_call_aux_t;
  19
  20 char bam_nt16_nt4_table[] = { 4, 0, 1, 4, 2, 4, 4, 4, 3, 4, 4, 4, 4, 4, 4, 4 };
  21
  22 /*
  23   P(<b1,b2>) = \theta \sum_{i=1}^{N-1} 1/i
  24   P(D|<b1,b2>) = \sum_{k=1}^{N-1} p_k 1/2 [(k/N)^n_2(1-k/N)^n_1 + (k/N)^n1(1-k/N)^n_2]
  25   p_k = i/k / \sum_{i=1}^{N-1} 1/i
  26  */
  27 static void cal_het(bam_maqcns_t *aa)
  28 {
  29         int k, n1, n2;
  30         double sum_harmo; // harmonic sum
  31         double poly_rate;
  32         double p1 = 0.0, p3 = 0.0; // just for testing
  33
  34         free(aa->lhet);
  35         aa->lhet = (double*)calloc(256 * 256, sizeof(double));
  36         sum_harmo = 0.0;
  37         for (k = 1; k <= aa->n_hap - 1; ++k)
  38                 sum_harmo += 1.0 / k;
  39         for (n1 = 0; n1 < 256; ++n1) {
  40                 for (n2 = 0; n2 < 256; ++n2) {
  41                         long double sum = 0.0;
  42                         double lC = lgamma(n1+n2+1) - lgamma(n1+1) - lgamma(n2+1); // \binom{n1+n2}{n1}
  43                         for (k = 1; k <= aa->n_hap - 1; ++k) {
  44                                 double pk = 1.0 / k / sum_harmo;
  45                                 double log1 = log((double)k/aa->n_hap);
  46                                 double log2 = log(1.0 - (double)k/aa->n_hap);
  47                                 sum += pk * 0.5 * (expl(log1*n2) * expl(log2*n1) + expl(log1*n1) * expl(log2*n2));
  48                         }
  49                         aa->lhet[n1<<8|n2] = lC + logl(sum);
  50                         if (n1 == 17 && n2 == 3) p3 = lC + logl(expl(logl(0.5) * 20));
  51                         if (n1 == 19 && n2 == 1) p1 = lC + logl(expl(logl(0.5) * 20));
  52                 }
  53         }
  54         poly_rate = aa->het_rate * sum_harmo;
  55         aa->q_r = -4.343 * log(2.0 * poly_rate / (1.0 - poly_rate));
  56 }
  57
  58 /** initialize the helper structure */
  59 static void cal_coef(bam_maqcns_t *aa)
  60 {
  61         int k, n, q;
  62         long double sum_a[257], b[256], q_c[256], tmp[256], fk2[256];
  63         double *lC;
  64
  65         lC = (double*)calloc(256 * 256, sizeof(double));
  66         // aa->lhet will be allocated and initialized
  67         free(aa->fk); free(aa->coef);
  68         aa->fk = (double*)calloc(256, sizeof(double));
  69         aa->coef = (double*)calloc(256*256*64, sizeof(double));
  70         aa->fk[0] = fk2[0] = 1.0;
  71         for (n = 1; n != 256; ++n) {
  72                 aa->fk[n] = pow(aa->theta, n) * (1.0 - aa->eta) + aa->eta;
  73                 fk2[n] = aa->fk[n>>1]; // this is an approximation, assuming reads equally likely come from both strands
  74         }
  75         for (n = 1; n != 256; ++n)
  76                 for (k = 1; k <= n; ++k)
  77                         lC[n<<8|k] = lgamma(n+1) - lgamma(k+1) - lgamma(n-k+1);
  78         for (q = 1; q != 64; ++q) {
  79                 double e = pow(10.0, -q/10.0);
  80                 double le = log(e);
  81                 double le1 = log(1.0-e);
  82                 for (n = 1; n != 256; ++n) {
  83                         double *coef = aa->coef + (q<<16|n<<8);
  84                         sum_a[n+1] = 0.0;
  85                         for (k = n; k >= 0; --k) { // a_k = \sum_{i=k}^n C^n_k \epsilon^k (1-\epsilon)^{n-k}
  86                                 sum_a[k] = sum_a[k+1] + expl(lC[n<<8|k] + k*le + (n-k)*le1);
  87                                 b[k] = sum_a[k+1] / sum_a[k];
  88                                 if (b[k] > 0.99) b[k] = 0.99;
  89                         }
  90                         for (k = 0; k != n; ++k) // log(\bar\beta_{nk}(\bar\epsilon)^{f_k})
  91                                 q_c[k] = -4.343 * fk2[k] * logl(b[k] / e);
  92                         for (k = 1; k != n; ++k) q_c[k] += q_c[k-1]; // \prod_{i=0}^k c_i
  93                         for (k = 0; k <= n; ++k) { // powl() in 64-bit mode seems broken on my Mac OS X 10.4.9
  94                                 tmp[k] = -4.343 * logl(1.0 - expl(fk2[k] * logl(b[k])));
  95                                 coef[k] = (k? q_c[k-1] : 0) + tmp[k]; // this is the final c_{nk}
  96                         }
  97                 }
  98         }
  99         free(lC);
 100 }
 101
 102 bam_maqcns_t *bam_maqcns_init()
 103 {
 104         bam_maqcns_t *bm;
 105         bm = (bam_maqcns_t*)calloc(1, sizeof(bam_maqcns_t));
 106         bm->aux = (bmc_aux_t*)calloc(1, sizeof(bmc_aux_t));
 107         bm->het_rate = 0.001;
 108         bm->theta = 0.85;
 109         bm->n_hap = 2;
 110         bm->eta = 0.03;
 111         bm->cap_mapQ = 60;
 112         return bm;
 113 }
 114
 115 void bam_maqcns_prepare(bam_maqcns_t *bm)
 116 {
 117         cal_coef(bm); cal_het(bm);
 118 }
 119
 120 void bam_maqcns_destroy(bam_maqcns_t *bm)
 121 {
 122         if (bm == 0) return;
 123         free(bm->lhet); free(bm->fk); free(bm->coef); free(bm->aux->info);
 124         free(bm->aux); free(bm);
 125 }
 126
 127 glf1_t *bam_maqcns_glfgen(int _n, const bam_pileup1_t *pl, uint8_t ref_base, bam_maqcns_t *bm)
 128 {
 129         glf_call_aux_t *b;
 130         int i, j, k, w[8], c, n;
 131         glf1_t *g = (glf1_t*)calloc(1, sizeof(glf1_t));
 132         float p[16], min_p = 1e30;
 133         uint64_t rms;
 134
 135         g->ref_base = ref_base;
 136         if (_n == 0) return g;
 137
 138         // construct aux array
 139         if (bm->aux->max < _n) {
 140                 bm->aux->max = _n;
 141                 kroundup32(bm->aux->max);
 142                 bm->aux->info = (uint32_t*)realloc(bm->aux->info, 4 * bm->aux->max);
 143         }
 144         for (i = n = 0; i < _n; ++i) {
 145                 const bam_pileup1_t *p = pl + i;
 146                 uint32_t q, x = 0, qq;
 147                 if (p->is_del || (p->b->core.flag&BAM_FUNMAP)) continue;
 148                 q = (uint32_t)bam1_qual(p->b)[p->qpos];
 149                 x |= (uint32_t)bam1_strand(p->b) << 18 | q << 8 | p->b->core.qual;
 150                 if (p->b->core.qual < q) q = p->b->core.qual;
 151                 x |= q << 24;
 152                 qq = bam1_seqi(bam1_seq(p->b), p->qpos);
 153                 q = bam_nt16_nt4_table[qq? qq : ref_base];
 154                 if (!p->is_del && q < 4) x |= 1 << 21 | q << 16;
 155                 bm->aux->info[n++] = x;
 156         }
 157         ks_introsort(uint32_t, n, bm->aux->info);
 158         // generate esum and fsum
 159         b = (glf_call_aux_t*)calloc(1, sizeof(glf_call_aux_t));
 160         for (k = 0; k != 8; ++k) w[k] = 0;
 161         rms = 0;
 162         for (j = n - 1; j >= 0; --j) { // calculate esum and fsum
 163                 uint32_t info = bm->aux->info[j];
 164                 int tmp;
 165                 if (info>>24 < 4 && (info>>8&0x3f) != 0) info = 4<<24 | (info&0xffffff);
 166                 k = info>>16&7;
 167                 if (info>>24 > 0) {
 168                         b->esum[k&3] += bm->fk[w[k]] * (info>>24);
 169                         b->fsum[k&3] += bm->fk[w[k]];
 170                         if (w[k] < 0xff) ++w[k];
 171                         ++b->c[k&3];
 172                 }
 173                 tmp = (int)(info&0x7f) < bm->cap_mapQ? (int)(info&0x7f) : bm->cap_mapQ;
 174                 rms += tmp * tmp;
 175         }
 176         b->rms_mapQ = (uint8_t)(sqrt((double)rms / n) + .499);
 177         // rescale ->c[]
 178         for (j = c = 0; j != 4; ++j) c += b->c[j];
 179         if (c > 255) {
 180                 for (j = 0; j != 4; ++j) b->c[j] = (int)(254.0 * b->c[j] / c + 0.5);
 181                 for (j = c = 0; j != 4; ++j) c += b->c[j];
 182         }
 183         // generate likelihood
 184         for (j = 0; j != 4; ++j) {
 185                 // homozygous
 186                 float tmp1, tmp3;
 187                 int tmp2, bar_e;
 188                 for (k = 0, tmp1 = tmp3 = 0.0, tmp2 = 0; k != 4; ++k) {
 189                         if (j == k) continue;
 190                         tmp1 += b->esum[k]; tmp2 += b->c[k]; tmp3 += b->fsum[k];
 191                 }
 192                 if (tmp2) {
 193                         bar_e = (int)(tmp1 / tmp3 + 0.5);
 194                         if (bar_e < 4) bar_e = 4; // should not happen
 195                         if (bar_e > 63) bar_e = 63;
 196                         p[j<<2|j] = tmp1 + bm->coef[bar_e<<16|c<<8|tmp2];
 197                 } else p[j<<2|j] = 0.0; // all the bases are j
 198                 // heterozygous
 199                 for (k = j + 1; k < 4; ++k) {
 200                         for (i = 0, tmp2 = 0, tmp1 = tmp3 = 0.0; i != 4; ++i) {
 201                                 if (i == j || i == k) continue;
 202                                 tmp1 += b->esum[i]; tmp2 += b->c[i]; tmp3 += b->fsum[i];
 203                         }
 204                         if (tmp2) {
 205                                 bar_e = (int)(tmp1 / tmp3 + 0.5);
 206                                 if (bar_e < 4) bar_e = 4;
 207                                 if (bar_e > 63) bar_e = 63;
 208                                 p[j<<2|k] = p[k<<2|j] = -4.343 * bm->lhet[b->c[j]<<8|b->c[k]] + tmp1 + bm->coef[bar_e<<16|c<<8|tmp2];
 209                         } else p[j<<2|k] = p[k<<2|j] = -4.343 * bm->lhet[b->c[j]<<8|b->c[k]]; // all the bases are either j or k
 210                 }
 211                 //
 212                 for (k = 0; k != 4; ++k)
 213                         if (p[j<<2|k] < 0.0) p[j<<2|k] = 0.0;
 214         }
 215
 216         { // fix p[k<<2|k]
 217                 float max1, max2, min1, min2;
 218                 int max_k, min_k;
 219                 max_k = min_k = -1;
 220                 max1 = max2 = -1.0; min1 = min2 = 1e30;
 221                 for (k = 0; k < 4; ++k) {
 222                         if (b->esum[k] > max1) {
 223                                 max2 = max1; max1 = b->esum[k]; max_k = k;
 224                         } else if (b->esum[k] > max2) max2 = b->esum[k];
 225                 }
 226                 for (k = 0; k < 4; ++k) {
 227                         if (p[k<<2|k] < min1) {
 228                                 min2 = min1; min1 = p[k<<2|k]; min_k = k;
 229                         } else if (p[k<<2|k] < min2) min2 = p[k<<2|k];
 230                 }
 231                 if (max1 > max2 && (min_k != max_k || min1 + 1.0 > min2))
 232                         p[max_k<<2|max_k] = min1 > 1.0? min1 - 1.0 : 0.0;
 233         }
 234
 235         // convert necessary information to glf1_t
 236         g->ref_base = ref_base; g->max_mapQ = b->rms_mapQ;
 237         g->depth = n > 16777215? 16777215 : n;
 238         for (j = 0; j != 4; ++j)
 239                 for (k = j; k < 4; ++k)
 240                         if (p[j<<2|k] < min_p) min_p = p[j<<2|k];
 241         g->min_lk = min_p > 255.0? 255 : (int)(min_p + 0.5);
 242         for (j = c = 0; j != 4; ++j)
 243                 for (k = j; k < 4; ++k)
 244                         g->lk[c++] = p[j<<2|k]-min_p > 255.0? 255 : (int)(p[j<<2|k]-min_p + 0.5);
 245
 246         free(b);
 247         return g;
 248 }
 249
 250 uint32_t glf2cns(const glf1_t *g, int q_r)
 251 {
 252         int i, j, k, tmp[16], min = 10000, min2 = 10000, min3 = 10000, min_g = -1, min_g2 = -1;
 253         uint32_t x = 0;
 254         for (i = k = 0; i < 4; ++i)
 255                 for (j = i; j < 4; ++j) {
 256                         tmp[j<<2|i] = -1;
 257                         tmp[i<<2|j] = g->lk[k++] + (i == j? 0 : q_r);
 258                 }
 259         for (i = 0; i < 16; ++i) {
 260                 if (tmp[i] < 0) continue;
 261                 if (tmp[i] < min) {
 262                         min3 = min2; min2 = min; min = tmp[i]; min_g2 = min_g; min_g = i;
 263                 } else if (tmp[i] < min2) {
 264                         min3 = min2; min2 = tmp[i]; min_g2 = i;
 265                 } else if (tmp[i] < min3) min3 = tmp[i];
 266         }
 267         x = min_g >= 0? (1U<<(min_g>>2&3) | 1U<<(min_g&3)) << 28 : 0xf << 28;
 268         x |= min_g2 >= 0? (1U<<(min_g2>>2&3) | 1U<<(min_g2&3)) << 24 : 0xf << 24;
 269         x |= (uint32_t)g->max_mapQ << 16;
 270         x |= min2 < 10000? (min2 - min < 256? min2 - min : 255) << 8 : 0xff << 8;
 271         x |= min2 < 10000 && min3 < 10000? (min3 - min2 < 256? min3 - min2 : 255) : 0xff;
 272         return x;
 273 }
 274
 275 uint32_t bam_maqcns_call(int n, const bam_pileup1_t *pl, bam_maqcns_t *bm)
 276 {
 277         glf1_t *g;
 278         uint32_t x;
 279         if (n) {
 280                 g = bam_maqcns_glfgen(n, pl, 0xf, bm);
 281                 x = glf2cns(g, (int)(bm->q_r + 0.5));
 282                 free(g);
 283         } else x = 0xfU<<28 | 0xfU<<24;
 284         return x;
 285 }
 286
 287 /************** *****************/
 288
 289 bam_maqindel_opt_t *bam_maqindel_opt_init()
 290 {
 291         bam_maqindel_opt_t *mi = (bam_maqindel_opt_t*)calloc(1, sizeof(bam_maqindel_opt_t));
 292         mi->q_indel = 40;
 293         mi->r_indel = 0.00015;
 294         //
 295         mi->mm_penalty = 3;
 296         mi->indel_err = 4;
 297         mi->ambi_thres = 10;
 298         return mi;
 299 }
 300
 301 void bam_maqindel_ret_destroy(bam_maqindel_ret_t *mir)
 302 {
 303         if (mir == 0) return;
 304         free(mir->s[0]); free(mir->s[1]); free(mir);
 305 }
 306
 307 #define MINUS_CONST 0x10000000
 308
 309 bam_maqindel_ret_t *bam_maqindel(int n, int pos, const bam_maqindel_opt_t *mi, const bam_pileup1_t *pl, const char *ref,
 310                                                                  int _n_types, int *_types)
 311 {
 312         int i, j, n_types, *types, left, right;
 313         bam_maqindel_ret_t *ret = 0;
 314         // if there is no proposed indel, check if there is an indel from the alignment
 315         if (_n_types == 0) {
 316                 for (i = 0; i < n; ++i) {
 317                         const bam_pileup1_t *p = pl + i;
 318                         if (!(p->b->core.flag&BAM_FUNMAP) && p->indel != 0) break;
 319                 }
 320                 if (i == n) return 0; // no indel
 321         }
 322         { // calculate how many types of indels are available (set n_types and types)
 323                 int m;
 324                 uint32_t *aux;
 325                 aux = (uint32_t*)calloc(n + _n_types + 1, 4);
 326                 m = 0;
 327                 aux[m++] = MINUS_CONST; // zero indel is always a type
 328                 for (i = 0; i < n; ++i) {
 329                         const bam_pileup1_t *p = pl + i;
 330                         if (!(p->b->core.flag&BAM_FUNMAP) && p->indel != 0)
 331                                 aux[m++] = MINUS_CONST + p->indel;
 332                 }
 333                 if (_n_types) // then also add this to aux[]
 334                         for (i = 0; i < _n_types; ++i)
 335                                 if (_types[i]) aux[m++] = MINUS_CONST + _types[i];
 336                 ks_introsort(uint32_t, m, aux);
 337                 // squeeze out identical types
 338                 for (i = 1, n_types = 1; i < m; ++i)
 339                         if (aux[i] != aux[i-1]) ++n_types;
 340                 types = (int*)calloc(n_types, sizeof(int));
 341                 j = 0;
 342                 types[j++] = aux[0] - MINUS_CONST;
 343                 for (i = 1; i < m; ++i) {
 344                         if (aux[i] != aux[i-1])
 345                                 types[j++] = aux[i] - MINUS_CONST;
 346                 }
 347                 free(aux);
 348         }
 349         { // calculate left and right boundary
 350                 bam_segreg_t seg;
 351                 left = 0x7fffffff; right = 0;
 352                 for (i = 0; i < n; ++i) {
 353                         const bam_pileup1_t *p = pl + i;
 354                         if (!(p->b->core.flag&BAM_FUNMAP)) {
 355                                 bam_segreg(pos, &p->b->core, bam1_cigar(p->b), &seg);
 356                                 if (seg.tbeg < left) left = seg.tbeg;
 357                                 if (seg.tend > right) right = seg.tend;
 358                         }
 359                 }
 360                 if (pos - left > MAX_WINDOW) left = pos - MAX_WINDOW;
 361                 if (right - pos> MAX_WINDOW) right = pos + MAX_WINDOW;
 362         }
 363         { // the core part
 364                 char *ref2, *inscns = 0;
 365                 int k, l, *score, *pscore, max_ins = types[n_types-1];
 366                 ref2 = (char*)calloc(right - left + types[n_types-1] + 2, 1);
 367                 if (max_ins > 0) { // get the consensus of inserted sequences
 368                         int *inscns_aux = (int*)calloc(4 * n_types * max_ins, sizeof(int));
 369                         // count occurrences
 370                         for (i = 0; i < n_types; ++i) {
 371                                 if (types[i] <= 0) continue; // not insertion
 372                                 for (j = 0; j < n; ++j) {
 373                                         const bam_pileup1_t *p = pl + j;
 374                                         if (!(p->b->core.flag&BAM_FUNMAP) && p->indel == types[i]) {
 375                                                 for (k = 1; k <= p->indel; ++k) {
 376                                                         int c = bam_nt16_nt4_table[bam1_seqi(bam1_seq(p->b), p->qpos + k)];
 377                                                         if (c < 4) ++inscns_aux[i*max_ins*4 + (k-1)*4 + c];
 378                                                 }
 379                                         }
 380                                 }
 381                         }
 382                         // construct the consensus of inserted sequence
 383                         inscns = (char*)calloc(n_types * max_ins, sizeof(char));
 384                         for (i = 0; i < n_types; ++i) {
 385                                 for (j = 0; j < types[i]; ++j) {
 386                                         int max = 0, max_k = -1, *ia = inscns_aux + i*max_ins*4 + j*4;
 387                                         for (k = 0; k < 4; ++k) {
 388                                                 if (ia[k] > max) {
 389                                                         max = ia[k];
 390                                                         max_k = k;
 391                                                 }
 392                                         }
 393                                         inscns[i*max_ins + j] = max? 1<<max_k : 15;
 394                                 }
 395                         }
 396                         free(inscns_aux);
 397                 }
 398                 // calculate score
 399                 score = (int*)calloc(n_types * n, sizeof(int));
 400                 pscore = (int*)calloc(n_types * n, sizeof(int));
 401                 for (i = 0; i < n_types; ++i) {
 402                         // write ref2
 403                         for (k = 0, j = left; j <= pos; ++j)
 404                                 ref2[k++] = bam_nt16_table[(int)ref[j]];
 405                         if (types[i] <= 0) j += -types[i];
 406                         else for (l = 0; l < types[i]; ++l)
 407                                          ref2[k++] = inscns[i*max_ins + l];
 408                         for (; j < right && ref[j]; ++j)
 409                                 ref2[k++] = bam_nt16_table[(int)ref[j]];
 410                         // calculate score for each read
 411                         for (j = 0; j < n; ++j) {
 412                                 const bam_pileup1_t *p = pl + j;
 413                                 uint32_t *cigar;
 414                                 bam1_core_t *c = &p->b->core;
 415                                 int s, ps;
 416                                 bam_segreg_t seg;
 417                                 if (c->flag&BAM_FUNMAP) continue;
 418                                 cigar = bam1_cigar(p->b);
 419                                 bam_segreg(pos, c, cigar, &seg);
 420                                 for (ps = s = 0, l = seg.qbeg; c->pos + l < right && l < seg.qend; ++l) {
 421                                         int cq = bam1_seqi(bam1_seq(p->b), l), ct;
 422                                         // in the following line, "<" will happen if reads are too long
 423                                         ct = c->pos + l - seg.qbeg >= left? ref2[c->pos + l - seg.qbeg - left] : 15;
 424                                         if (cq < 15 && ct < 15) {
 425                                                 s += cq == ct? 1 : -mi->mm_penalty;
 426                                                 if (cq != ct) ps += bam1_qual(p->b)[l];
 427                                         }
 428                                 }
 429                                 score[i*n + j] = s; pscore[i*n + j] = ps;
 430                                 if (types[i] != 0) { // then try the other way to calculate the score
 431                                         for (ps = s = 0, l = seg.qbeg; c->pos + l + types[i] < right && l < seg.qend; ++l) {
 432                                                 int cq = bam1_seqi(bam1_seq(p->b), l), ct;
 433                                                 ct = c->pos + l - seg.qbeg + types[i] >= left? ref2[c->pos + l - seg.qbeg + types[i] - left] : 15;
 434                                                 if (cq < 15 && ct < 15) {
 435                                                         s += cq == ct? 1 : -mi->mm_penalty;
 436                                                         if (cq != ct) ps += bam1_qual(p->b)[l];
 437                                                 }
 438                                         }
 439                                 }
 440                                 if (score[i*n+j] < s) score[i*n+j] = s; // choose the higher of the two scores
 441                                 if (pscore[i*n+j] > ps) pscore[i*n+j] = ps;
 442                                 if (types[i] != 0) score[i*n+j] -= mi->indel_err;
 443                                 //printf("%d, %d, %d, %d, %d, %d, %d\n", p->b->core.pos + 1, seg.qbeg, i, types[i], j,
 444                                 //         score[i*n+j], pscore[i*n+j]);
 445                         }
 446                 }
 447                 { // get final result
 448                         int *sum, max1, max2, max1_i, max2_i;
 449                         // pick up the best two score
 450                         sum = (int*)calloc(n_types, sizeof(int));
 451                         for (i = 0; i < n_types; ++i)
 452                                 for (j = 0; j < n; ++j)
 453                                         sum[i] += -pscore[i*n+j];
 454                         max1 = max2 = -0x7fffffff; max1_i = max2_i = -1;
 455                         for (i = 0; i < n_types; ++i) {
 456                                 if (sum[i] > max1) {
 457                                         max2 = max1; max2_i = max1_i; max1 = sum[i]; max1_i = i;
 458                                 } else if (sum[i] > max2) {
 459                                         max2 = sum[i]; max2_i = i;
 460                                 }
 461                         }
 462                         free(sum);
 463                         // write ret
 464                         ret = (bam_maqindel_ret_t*)calloc(1, sizeof(bam_maqindel_ret_t));
 465                         ret->indel1 = types[max1_i]; ret->indel2 = types[max2_i];
 466                         ret->s[0] = (char*)calloc(abs(ret->indel1) + 2, 1);
 467                         ret->s[1] = (char*)calloc(abs(ret->indel2) + 2, 1);
 468                         // write indel sequence
 469                         if (ret->indel1 > 0) {
 470                                 ret->s[0][0] = '+';
 471                                 for (k = 0; k < ret->indel1; ++k)
 472                                         ret->s[0][k+1] = bam_nt16_rev_table[(int)inscns[max1_i*max_ins + k]];
 473                         } else if (ret->indel1 < 0) {
 474                                 ret->s[0][0] = '-';
 475                                 for (k = 0; k < -ret->indel1 && ref[pos + k + 1]; ++k)
 476                                         ret->s[0][k+1] = ref[pos + k + 1];
 477                         } else ret->s[0][0] = '*';
 478                         if (ret->indel2 > 0) {
 479                                 ret->s[1][0] = '+';
 480                                 for (k = 0; k < ret->indel2; ++k)
 481                                         ret->s[1][k+1] = bam_nt16_rev_table[(int)inscns[max2_i*max_ins + k]];
 482                         } else if (ret->indel2 < 0) {
 483                                 ret->s[1][0] = '-';
 484                                 for (k = 0; k < -ret->indel2 && ref[pos + k + 1]; ++k)
 485                                         ret->s[1][k+1] = ref[pos + k + 1];
 486                         } else ret->s[1][0] = '*';
 487                         // write count
 488                         for (i = 0; i < n; ++i) {
 489                                 const bam_pileup1_t *p = pl + i;
 490                                 if (p->indel == ret->indel1) ++ret->cnt1;
 491                                 else if (p->indel == ret->indel2) ++ret->cnt2;
 492                                 else ++ret->cnt_anti;
 493                         }
 494                         // write gl[]
 495                         ret->gl[0] = ret->gl[1] = 0;
 496                         for (j = 0; j < n; ++j) {
 497                                 int s1 = pscore[max1_i*n + j], s2 = pscore[max2_i*n + j];
 498                                 //printf("%d, %d, %d, %d, %d\n", pl[j].b->core.pos+1, max1_i, max2_i, s1, s2);
 499                                 if (s1 > s2) ret->gl[0] += s1 - s2 < mi->q_indel? s1 - s2 : mi->q_indel;
 500                                 else ret->gl[1] += s2 - s1 < mi->q_indel? s2 - s1 : mi->q_indel;
 501                         }
 502                 }
 503                 free(score); free(pscore); free(ref2); free(inscns);
 504         }
 505         { // call genotype
 506                 int q[3], qr_indel = (int)(-4.343 * log(mi->r_indel) + 0.5);
 507                 int min1, min2, min1_i;
 508                 q[0] = ret->gl[0] + (ret->s[0][0] != '*'? 0 : 0) * qr_indel;
 509                 q[1] = ret->gl[1] + (ret->s[1][0] != '*'? 0 : 0) * qr_indel;
 510                 q[2] = n * 3 + (ret->s[0][0] == '*' || ret->s[1][0] == '*'? 1 : 1) * qr_indel;
 511                 min1 = min2 = 0x7fffffff; min1_i = -1;
 512                 for (i = 0; i < 3; ++i) {
 513                         if (q[i] < min1) {
 514                                 min2 = min1; min1 = q[i]; min1_i = i;
 515                         } else if (q[i] < min2) min2 = q[i];
 516                 }
 517                 ret->gt = min1_i;
 518                 ret->q_cns = min2 - min1;
 519                 // set q_ref
 520                 if (ret->gt < 2) ret->q_ref = (ret->s[ret->gt][0] == '*')? 0 : q[1-ret->gt] - q[ret->gt] - qr_indel - 3;
 521                 else ret->q_ref = (ret->s[0][0] == '*')? q[0] - q[2] : q[1] - q[2];
 522                 if (ret->q_ref < 0) ret->q_ref = 0;
 523         }
 524         free(types);
 525         return ret;
 526 }