Используя rust-htslib, есть ли быстрый способ получить все генотипы?

На чтение 4 мин Опубликовано 15.09.2024

Я пытаюсь прочитать все генотипы из VCF файла, используя rust_htslib, преобразовать их в другую кодировку и сохранить в вектор векторов, наряду с некоторыми метаданными в HashMap. Я успешно реализовал это с помощью следующего кода, но это работает чрезвычайно медленно (в 10 раз медленнее, чем работа с VCF как с текстовым файлом).

Кто-нибудь знаком с rust_htslib и может предложить более быстрый способ сделать это? Я предполагаю, что если бы я мог извлечь все генотипы для одной записи сразу и преобразовать их в вектор или что-то подобное, это было бы более эффективно.

Я что-то здесь упускаю? Конечно, есть более быстрый способ чтения генотипов.

    let mut bcf = Reader::from_path(vcf).expect("Ошибка при открытии файла.");
    let sample_count = usize::try_from(bcf.header().sample_count()).unwrap();
    let mut anml_lookup: HashMap<i32, usize> = HashMap::with_capacity(sample_count);
    let mut genotypes: Vec<Vec<i8>> = vec![Vec::with_capacity(MAX_MARKERS); sample_count];
    let mut inform: HashMap<usize, i32> = HashMap::with_capacity(sample_count);

    for record in bcf.records().map(|r| r.expect("Нет записи")) {
        let b = rust_htslib::bcf::record::Buffer::new();
        let gts = record.genotypes_shared_buffer(b).expect("Не удается получить GTs");
        for sample_index in 0..sample_count {
            let gt: (i8, i32) = conv(&gts.get(sample_index).to_string());
            *inform.entry(sample_index).or_insert(0) += gt.1;
            genotypes[sample_index].push(gt.0);
        }
    }

Ответ

Конечно! Здесь приведён пример, как можно оптимизировать процесс извлечения генотипов из VCF-файла с помощью библиотеки rust-htslib. Эта версия кода сосредоточена на более быстром извлечении генотипов за счёт работы с буфером и минимизации вызовов метода по извлечению генотипов.

use rust_htslib::bcf;
use std::collections::HashMap;

fn main() {
    let vcf = "path/to/your/file.vcf"; // Укажите путь к вашему VCF файлу
    let mut bcf_reader = bcf::Reader::from_path(vcf).expect("Ошибка при открытии файла.");
    let sample_count = usize::try_from(bcf_reader.header().sample_count()).unwrap();

    let mut anml_lookup: HashMap<i32, usize> = HashMap::with_capacity(sample_count);
    let mut genotypes: Vec<Vec<i8>> = vec![Vec::with_capacity(MAX_MARKERS); sample_count];
    let mut inform: HashMap<usize, i32> = HashMap::with_capacity(sample_count);

    // Используем общий буфер для чтения генотипов
    let mut genotype_buffer = bcf_reader.genotypes_shared_buffer().expect("Не удалось получить генотипы");

    // Читаем записи из файла
    for result in bcf_reader.records() {
        let record = result.expect("Не удалось прочитать запись");

        // Получаем генотипы за один раз
        if let Some(gts) = record.genotypes(&mut genotype_buffer) {
            for sample_index in 0..sample_count {
                // Проверяем, есть ли генотип для данного индекса
                if let Some(gt) = gts.get(sample_index) {
                    let converted_gt: (i8, i32) = conv(gt); // Используем вашу функцию преобразования
                    *inform.entry(sample_index).or_insert(0) += converted_gt.1;
                    genotypes[sample_index].push(converted_gt.0);
                }
            }
        }
    }
}

Пояснения к оптимизированному коду:

Использование общего буфера: Вместо создания нового буфера для каждой записи, мы инициализируем один общий буфер genotype_buffer в начале. Это значительно ускоряет выполнение программы за счёт снижения накладных расходов на выделение памяти.
Минимизация доступов к методу: Мы получаем все генотипы одновременно для каждой записи и сразу обрабатываем их. Это особенно эффективно, когда у вас много образцов и записей, так как количество обращений к методу genotypes уменьшается.
Проверка наличия генотипов: Мы добавляем проверку if let Some(gt), чтобы избежать возможных ошибок доступа к индексу.

Эти изменения должны значительно ускорить ваш код и снизить время обработки VCF-файла. Если у вас возникнут ещё вопросы или нужны дополнительные улучшения, не стесняйтесь задавать!