Rustにおけるnomとpestを用いた効率的なパーサー構築

はじめに

ソフトウェア開発の領域では、構造化されたデータを解釈および処理する必要性は遍在しています。設定ファイル、ドメイン固有言語、ネットワークプロトコル、あるいは複雑なユーザー入力であっても、パーシングは多くのアプリケーションの中心に位置しています。手動でパーサーを記述することは、特に非自明な文法の場合、退屈でエラーが発生しやすい作業となり得ますが、Rustはパフォーマンスと安全性に重点を置いているため、このタスクを簡素化する強力なツールを提供します。このブログ投稿では、Rustエコシステムにおける2つの著名なパーサーコンビネータライブラリ、nomとpestを探求し、それらが開発者にエレガントかつ容易に効率的で堅牢なパーサーを構築する力をどのように与えるかを実証します。それらの方法論を深く掘り下げ、アプローチを比較し、次のパーシングの課題に最適なツールを選択するための知識を身につけます。

パーシングの前に、コアコンセプトを理解する

nomとpestの複雑さに入る前に、それらの操作を理解するために不可欠ないくつかの基本的な概念を定義しましょう。

• パーサー (Parser): 入力文字列またはバイトストリームを受け取り、それを構造化された表現、通常は抽象構文木（AST）またはより単純なデータ構造に変換する関数またはコンポーネント。
• コンビネータ (Combinator): パーシングの文脈では、コンビネータは1つ以上のパーサーを入力として受け取り、新しいパーサーを返す高階関数です。これにより、関数型プログラミングのパラダイムに似た、より単純で再利用可能なコンポーネントから複雑なパーサーを構築できます。
• 文法 (Grammar): 言語またはデータ形式の有効な構造を定義するルールのセット。文法は、バッカステレビュー記法（BNF）または拡張バッカステレビュー記法（EBNF）のような形式文法を使用して表現されることがよくあります。
• 抽象構文木 (AST): プログラミング言語で記述されたソースコードの抽象構文構造のツリー表現。ツリーの各ノードは、ソースコードに発生するコンストラクトを表します。
• 字句解析器（またはトークナイザー）(Lexer/Tokenizer): パーシングの最初のフェーズであり、入力テキストをトークン（キーワード、識別子、演算子などの意味のある単位）のシーケンスに分割します。
• パーサー生成器 (Parser Generator): 文法定義を入力として受け取り、パーサーのソースコードを自動生成するツール。pestはその一例です。
• パーサーコンビネータライブラリ (Parser Combinator Library): 小さなパーシング関数からパーサーを手動で構築するために使用できる関数（コンビネータ）のセットを提供するライブラリ。nomはその一例です。

nomを使用したパーサーの構築

nomはRust用の強力なゼロコピーパーサーコンビネータライブラリです。その設計思想は、パーシングルールが小さく、テストしやすい関数から構成される機能的なアプローチを重視しています。nomはバイトスライスまたは文字列スライスに直接操作し、不要なメモリ割り当てやコピーを回避するため、その効率に大きく貢献します。

簡単な例でnomを説明しましょう。key:valueのような基本的なキーと値のペア形式を解析します。

use nom::;
use nom::bytes::complete::{tag, take_while1};
use nom::character::complete::{alpha1, multispace0};
use nom::sequence::separated_pair;
use nom::IResult;

// キー（英数字）のパーサーを定義
fn parse_key(input: &str) -> IResult<&str, &str> {
    alpha1(input)
}

// 値（改行または入力終了までの任意の文字）のパーサーを定義
fn parse_value(input: &str) -> IResult<&str, &str> {
    take_while1(|c: char| c.is_ascii_graphic())(input)
}

// キーと値のパーサーを区切り文字で結合
fn parse_key_value(input: &str) -> IResult<&str, (&str, &str)> {
    // separated_pair は 3 つのパーサーを取ります：最初の要素、区切り文字、2 番目の要素。
    separated_pair(parse_key, tag(":"), parse_value)(input)
}

fn main() {
    let input = "name:Alice\nage:30";

    match parse_key_value(input) {
        Ok((remaining, (key, value))) => {
            println!("Parsed key: {}, value: {}", key, value);
            println!("Remaining input: \'{}'", remaining);
        }
        Err(e) => println!("Error parsing: {:?}", e),
    }

    let input_with_whitespace = "  city:NewYork  ";
    let (remaining, (key, value)) = 
        separated_pair(
            multispace0.and_then(parse_key), // キーの前にオプションの空白を許可
            tag(":"),
            parse_value,
        )(input_with_whitespace)
        .expect("Failed to parse with whitespace");
    
    println!("Parsed key: {}, value: {}", key, value);
    println!("Remaining input: \'{}'", remaining);

}

この例では：

• alpha1（1つ以上のアルファベット文字にマッチ）やtake_while1（条件が満たされる限り文字にマッチ）のようなnomの組み込みコンビネータを使用してparse_keyとparse_valueを定義します。
• tag(":")はリテラル文字列:にマッチする単純なパーサーです。
• separated_pairは、最初の要素のパーサー、区切り文字のパーサー、2番目の要素のパーサーの3つのパーサーを順番に適用する強力なコンビネータです。要素パーサーの結果をタプルとして返します。
• nomパーサーによって返されるIResult型には、成功時には残りの入力と解析された値、またはエラーが含まれています。

nomは、解析の細かい制御が必要な場合、バイナリ形式を扱っている場合、またはゼロコピーの性質によりパフォーマンスが絶対に重要な場合に輝きます。完全な初心者にとっては学習曲線が急になる可能性があり、多くの小さなパーシング関数をどのように構成するかを理解する必要があります。

pestを使用したパーサーの作成

pestは、パーサー生成器を活用することで異なるアプローチを取ります。Rustコードでパーシングロジックを記述する代わりに、pestのカスタムEBNFライク構文を使用して別のファイルに文法を定義します。pestは、パーシングコードを生成するため、文法定義の可読性と保守性が最優先される複雑な文法やドメイン固有言語（DSL）に非常に適しています。

pestを使用して同じキーと値のペア形式を解析しましょう。まず、key_value.pestという名前のファイルに文法を定義します。

// key_value.pest
WHITESPACE = _{" " | "\t"}

key = @{ ASCII_ALPHA+ }
value = @{ (ANY - NEWLINE)+ }

pair = { key ~ ":" ~ value }

次に、main.rsでpestを統合します。

use pest::Parser;
use pest_derive::Parser;

// 文法ファイルから生成されたパーサーをインクルード
#[derive(Parser)]
#[grammar = "key_value.pest"] // 文法ファイルへのパス
pub struct KeyValueParser;

fn main() {
    let input = "name:Alice\n misure:100cm";

    // "pair"ルールを使用して入力文字列を解析
    let pairs = KeyValueParser::parse(Rule::pair, input)
        .expect("Failed to parse input");

    for pair in pairs {
        if pair.as_rule() == Rule::pair {
            let mut inner_rules = pair.into_inner();
            let key = inner_rules.next().unwrap().as_str();
            let value = inner_rules.next().unwrap().as_str();
            println!("Parsed key: {}, value: {}", key, value);
        }
    }

    // 空白を含む例（WHITESPACEルールによって暗黙的に処理される）
    let input_with_whitespace = "  city:NewYork  ";
    let parsed_with_whitespace = KeyValueParser::parse(Rule::pair, input_with_whitespace)
        .expect("Failed to parse with whitespace");

    for pair in parsed_with_whitespace {
        if pair.as_rule() == Rule::pair {
            let mut inner_rules = pair.into_inner();
            let key = inner_rules.next().unwrap().as_str();
            let value = inner_rules.next().unwrap().as_str();
            println!("Parsed key: {}, value: {}", key, value);
        }
    }
}

key_value.pest文法では：

• WHITESPACE = _{ " " | "\t" }は空白のルールを定義します。_はそれを「見えない」ようにします。明示的に指示されない限り、pestはルール間の空白を自動的に無視します。
• key = @{ ASCII_ALPHA+ }は、1つ以上のアルファベット文字をキーとして定義します。@は、一致したテキストをキャプチャしたいことを示します。
• value = @{ (ANY - NEWLINE)+ }は、改行以外の任意の文字の1つ以上のシーエンスを値として定義します。「行の残り」の値の一般的なパターンです。
• pair = { key ~ ":" ~ value }は、key、リテラル``:、およびvalueルールを組み合わせてpairを形成します。~`演算子はシーケンシャルマッチングを示します。

pestは以下の場合に優れています：

• 複雑で正式に定義された文法を扱う場合。
• 文法の可読性と保守性が重要な場合。
• 解析ルールの宣言的な方法を好む場合。
• 生成されたパーサーのオーバーヘッドが許容できる場合。

nomとpestの選択

nomとpestはどちらも優れたツールですが、それぞれわずかに異なるユースケースや好みに対応しています。

生の速度と低レベルの制御、特にバイナリ入力の場合は、nomがしばしば選択肢となります。そのコンビネータアプローチは、習得すれば非常に強力になり得ます。一方、pestは、強力な文法定義言語とコード生成を通じて、複雑なテキストパーサーの作成を簡素化し、明確で保守可能なDSLを可能にします。

最終的な選択は、文法の複雑さ、パフォーマンス要件、および各パラダイムに対する快適さのレベルにかかっています。一部の高度なシナリオでは、開発者は要素を組み合わせて、字列解析（トークン化）にはnomを使用し、その後、構文解析のためにpestで生成されたパーサーにそれらのトークンを供給することさえあります。

結論

Rustは効率的で堅牢なパーサーを構築するための優れた機能を提供しており、nomとpestはこの分野の主要なライブラリとして際立っています。機能的なパーサーコンビネータアプローチを備えたnomは、比類のないパフォーマンスと細かい制御を提供し、低レベルおよびバイナリパーシングタスクに最適です。一方、pestは、強力な文法定義言語とコード生成を通じて、複雑なテキストパーサーの作成を簡素化し、明確で保守可能なDSLを可能にします。それらのコア原則とアプリケーションシナリオを理解することで、Rust開発者は自信を持ってあらゆるパーシングの課題に取り組むための適切なツールを選択し、構造化されていないデータを精度と速度で意味のある洞察に変えることができます。