.. DO NOT EDIT. .. THIS FILE WAS AUTOMATICALLY GENERATED BY SPHINX-GALLERY. .. TO MAKE CHANGES, EDIT THE SOURCE PYTHON FILE: .. "auto_examples_torch/plot_export_report.py" .. LINE NUMBERS ARE GIVEN BELOW. .. only:: html .. note:: :class: sphx-glr-download-link-note :ref:`Go to the end ` to download the full example code. .. rst-class:: sphx-glr-example-title .. _sphx_glr_auto_examples_torch_plot_export_report.py: .. _l-plot-export-report: Excel report produced by the torch exporter ============================================ Every call to :func:`to_onnx ` with a *filename* argument saves two artifacts next to the ``.onnx`` file: * the ONNX model itself, and * a companion ``.xlsx`` workbook that contains up to **six sheets** covering different aspects of the export process. This example exports a small model, reads the workbook back, and visualises the content of every sheet so you can see what each page looks like. The six sheets are: ``stats`` One row per optimisation rule application — pattern name, number of nodes added/removed, and time spent. ``stats_agg`` The same data aggregated by rule name and sorted by nodes removed (descending). ``extra`` Scalar key/value pairs recorded during the export: timing entries, counters, export-option flags, etc. ``build_stats`` Timing and counter entries collected by the low-level :class:`~yobx.container.BuildStats` object embedded in the model container (written only for *large_model* exports). ``node_stats`` Per-op-type breakdown: how many nodes of each type are in the exported model and the estimated FLOPs for each type. ``symbolic_flops`` Per-node symbolic FLOPs expressions computed by :class:`~yobx.xshape.BasicShapeBuilder` with ``InferenceMode.COST``. When the model's input shapes contain symbolic dimensions the values are symbolic arithmetic strings; for fully static shapes they are integers. .. GENERATED FROM PYTHON SOURCE LINES 43-45 Imports ------- .. GENERATED FROM PYTHON SOURCE LINES 45-54 .. code-block:: Python import os import matplotlib.pyplot as plt import pandas as pd import torch from yobx.torch.interpreter import to_onnx .. GENERATED FROM PYTHON SOURCE LINES 55-60 1. Define and export a model ---------------------------- We use a small two-layer MLP so that the export produces a non-trivial set of ONNX nodes and a visible optimisation report. .. GENERATED FROM PYTHON SOURCE LINES 60-88 .. code-block:: Python class SmallMLP(torch.nn.Module): """Two-layer MLP: Linear → ReLU → Linear.""" def __init__(self, in_features: int = 16, hidden: int = 32, out_features: int = 8): super().__init__() self.fc1 = torch.nn.Linear(in_features, hidden) self.fc2 = torch.nn.Linear(hidden, out_features) def forward(self, x: torch.Tensor) -> torch.Tensor: return self.fc2(torch.relu(self.fc1(x))) model = SmallMLP() x = torch.randn(4, 16) onnx_path = "plot_export_report.onnx" xlsx_path = os.path.splitext(onnx_path)[0] + ".xlsx" # ``filename`` triggers both the ONNX save and the Excel report. artifact = to_onnx(model, (x,), filename=onnx_path) print(f"ONNX saved : {onnx_path}") print(f"Report saved: {xlsx_path}") print(f"Nodes in graph: {len(artifact.graph.node)}") print(f"Report repr : {artifact.report!r}") .. rst-class:: sphx-glr-script-out .. code-block:: none ONNX saved : plot_export_report.onnx Report saved: plot_export_report.xlsx Nodes in graph: 3 Report repr : ExportReport(n_stats=669, extra=['builder', 'optimization', 'stat_time_export_and_post_processing', 'stat_time_post_process_exported_program', 'stat_time_torch_export_export_oblivious', 'time_export_builder_process', 'time_export_graph_module', 'time_export_to_onnx'], has_build_stats=False, n_node_stats=2, n_symbolic_flops=3, n_discrepancies=0) .. GENERATED FROM PYTHON SOURCE LINES 89-94 2. Read every sheet from the workbook -------------------------------------- :func:`pandas.read_excel` with ``sheet_name=None`` returns an ``{sheet_name: DataFrame}`` mapping so we can inspect every page. .. GENERATED FROM PYTHON SOURCE LINES 94-101 .. code-block:: Python sheets: dict[str, pd.DataFrame] = pd.read_excel(xlsx_path, sheet_name=None) print(f"\nSheets in workbook: {list(sheets)}") for name, df in sheets.items(): print(f"\n--- {name} ({df.shape[0]} rows × {df.shape[1]} cols) ---") print(df.to_string(index=False)) .. rst-class:: sphx-glr-script-out .. code-block:: none Sheets in workbook: ['stats', 'stats_agg', 'extra', 'node_stats', 'symbolic_flops'] --- stats (669 rows × 13 cols) --- pattern removed added time_in value iteration instances match_index n_nodes exit_point changed scale algo dynamic_dimension_naming 0 0 2.104100e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_A-dynamic_dimension_naming 0 0 2.236300e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_A-opt-sub 0 0 2.242300e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_identity 4 2 7.002300e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_identity-0 0 0 1.910800e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 4.409500e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_unused-1 0 0 2.165200e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN constant_folding 2 0 2.251220e-04 NaN NaN NaN NaN NaN NaN NaN NaN NaN apply_constant_folding_new_inits 0 0 NaN 2.0 0.0 NaN NaN NaN NaN NaN NaN NaN apply_constant_folding__Transpose 0 0 NaN 2.0 0.0 NaN NaN NaN NaN NaN NaN NaN check_constant_folding-2 0 0 1.814600e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 3.233800e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_unused-3 0 0 1.519200e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN patterns 1 0 8.280953e-03 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_pattern_00 0 0 1.728500e-05 NaN -1.0 NaN NaN NaN NaN NaN NaN NaN match_BatchNormalizationPattern 0 0 1.044600e-05 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_BatchNormalizationTrainingPattern 0 0 5.758000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastPattern 0 0 4.917000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastPattern 0 0 5.208000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatGatherPattern 0 0 5.368000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatReshapePattern 0 0 6.479000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConvBiasNullPattern 0 0 4.937000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_PadConvPattern 0 0 4.957000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandPattern 0 0 5.408000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandUnsqueezeExpandPattern 0 0 4.857000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherConcatPattern 0 0 5.057000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherGatherPattern 0 0 4.927000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherShapePattern 0 0 4.767000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_GeluPattern 0 0 1.009598e-03 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_IdentityPattern 0 0 1.352090e-04 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_LeakyReluPattern 0 0 7.422340e-04 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulUnsqueezeUnsqueezePattern 0 0 6.340000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapePattern 0 0 6.369000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeSqueezePattern 0 0 6.740000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedReshapeIsSqueezePattern 0 0 6.210000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedStaticExpandPattern 0 0 4.767000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedEditDistanceReshapePattern 0 0 5.528000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedIdentityPattern 0 0 5.138000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapedBasedReshapePattern 0 0 4.777000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedSameChildrenPattern 0 0 4.957000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedShapeShapeAddPattern 0 0 9.834000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeTransposePattern 0 0 4.747000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeShapePattern 0 0 4.237000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapePattern 0 0 5.398000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SameChildrenPattern 0 0 1.216800e-05 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SameChildrenFromInputPattern 0 0 1.013500e-05 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SoftmaxCrossEntropyLossCastPattern 0 0 1.306345e-03 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeAddPattern 0 0 1.283900e-05 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeBinaryUnsqueezePattern 0 0 4.697000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeUnsqueezePattern 0 0 5.989000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_StaticConcatReshapePattern 0 0 5.979000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapExpandReshapePattern 0 0 4.577000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapExpandUnsqueezePattern 0 0 4.757000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapUnaryPattern 0 0 4.697000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapUnsqueezeTransposePattern 0 0 4.317000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeGatherPattern 0 0 4.897000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeReshapeTransposePattern 0 0 4.577000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeTransposePattern 0 0 4.537000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeOrSqueezeReshapePattern 0 0 4.576000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeReshapePattern 0 0 4.947000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeUnsqueezePattern 0 0 5.007000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionAttentionPattern 0 0 5.498000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionAttentionGQAPattern 0 0 5.678000e-06 NaN 0.0 0.0 0.0 NaN NaN NaN NaN NaN check_pattern_A20 0 0 1.764600e-05 NaN 0.0 NaN NaN NaN NaN NaN NaN NaN remove_duplicated_shape 0 0 2.474000e-06 NaN 0.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BD0 0 0 1.412100e-05 NaN 0.0 NaN NaN NaN NaN NaN NaN NaN remove_identity_nodes 2 1 4.562700e-05 NaN 0.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BI0 0 0 1.243800e-05 NaN 0.0 NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 3.126600e-05 NaN 0.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BUS0 0 0 2.218300e-05 NaN 0.0 NaN NaN NaN NaN NaN NaN NaN build_graph_for_pattern 0 0 2.018000e-05 NaN 0.0 NaN NaN NaN NaN NaN NaN NaN iteration_0 0 0 3.710088e-03 NaN 0.0 NaN NaN 5.0 NaN NaN NaN NaN match_BatchNormalizationPattern 0 0 5.107000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_BatchNormalizationTrainingPattern 0 0 3.865000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastLayerNormalizationCastPattern 0 0 5.338000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastPattern 0 0 4.216000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastBinaryPattern 0 0 1.937800e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastPattern 0 0 3.956000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastOpCastPattern 0 0 1.303900e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ClipClipPattern 0 0 4.477000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatEmptyPattern 0 0 5.378000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatGatherPattern 0 0 3.926000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatReshapePattern 0 0 5.028000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatTwiceUnaryPattern 0 0 5.097000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConstantToInitializerPattern 0 0 4.206000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConvBiasNullPattern 0 0 3.665000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_PadConvPattern 0 0 3.586000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_DropoutPattern 0 0 3.746000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandPattern 0 0 3.585000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandBroadcastPattern 0 0 4.136000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandSwapPattern 0 0 4.036000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandUnsqueezeExpandPattern 0 0 3.635000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherConcatPattern 0 0 3.806000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherGatherPattern 0 0 3.836000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_GathersSplitPattern 0 0 4.216000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherShapePattern 0 0 3.505000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_GeluPattern 0 0 1.015500e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_IdentityPattern 0 0 5.169600e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationPattern 0 0 4.697000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationScalePattern 0 0 4.526000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_LeakyReluPattern 0 0 9.494000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_MaxReluPattern 0 0 4.196000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulMulMulScalarPattern 0 0 4.557000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulUnsqueezeUnsqueezePattern 0 0 3.665000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotNotPattern 0 0 4.066000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotWherePattern 0 0 3.976000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceArgTopKPattern 0 0 5.208000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceReshapePattern 0 0 5.148000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceSumNormalizePattern 0 0 4.606000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapePattern 0 0 4.377000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeMatMulReshapePattern 0 0 8.813000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_Reshape2Of3Pattern 0 0 1.409100e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapeBinaryPattern 0 0 9.694000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeSqueezePattern 0 0 4.447000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_GemmTransposePattern 0 0 3.906000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_MatMulReshape2Of3Pattern 0 0 1.552300e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulMulMatMulPattern 0 0 1.049500e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedReshapeIsSqueezePattern 0 0 4.256000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedStaticExpandPattern 0 0 3.816000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedConcatExpandPattern 0 0 4.467000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedEditDistanceReshapePattern 0 0 3.896000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedIdentityPattern 0 0 3.885000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastPattern 0 0 1.256800e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastMatMulPattern 0 0 1.072500e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandCastWhereSwapPattern 0 0 3.916000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandSwapPattern 0 0 1.095600e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedMatMulToMulPattern 0 0 1.046500e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapedBasedReshapePattern 0 0 3.956000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedSameChildrenPattern 0 0 4.227000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedShapeShapeAddPattern 0 0 6.139000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeTransposePattern 0 0 3.675000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeShapePattern 0 0 3.465000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapePattern 0 0 4.286000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_RotaryEmbeddingPattern 0 0 4.377000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SameChildrenPattern 0 0 8.662000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SameChildrenFromInputPattern 0 0 7.561000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SequenceConstructAtPattern 0 0 4.717000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SplitToSequenceSequenceAtPattern 0 0 4.336000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SliceSlicePattern 0 0 4.086000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SlicesSplitPattern 0 0 4.777000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SoftmaxCrossEntropyLossCastPattern 0 0 9.464000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SplitConcatPattern 0 0 4.136000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeAddPattern 0 0 7.311000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeBinaryUnsqueezePattern 0 0 3.655000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeUnsqueezePattern 0 0 3.795000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_StaticConcatReshapePattern 0 0 3.866000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_Sub1MulPattern 0 0 4.556000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapExpandReshapePattern 0 0 3.685000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapExpandUnsqueezePattern 0 0 3.555000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapRangeAddScalarPattern 0 0 4.276000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapUnaryPattern 0 0 3.806000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapUnsqueezeTransposePattern 0 0 3.385000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwitchOrderBinaryPattern 0 0 9.715000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwitchReshapeActivationPattern 0 0 7.851000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeEqualReshapePattern 0 0 4.056000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeGatherPattern 0 0 3.736000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeMatMulPattern 0 0 1.364100e-05 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeReshapeMatMulPattern 0 0 9.134000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeReshapeTransposePattern 0 0 3.685000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeTransposePattern 0 0 3.505000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeEqualPattern 0 0 4.276000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeOrSqueezeReshapePattern 0 0 3.766000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeReshapePattern 0 0 3.836000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeUnsqueezePattern 0 0 3.595000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_WhereAddPattern 0 0 4.066000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_RotaryConcatPartPattern 0 0 6.179000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionAttentionPattern 0 0 4.476000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionAttentionGQAPattern 0 0 4.787000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskPattern 0 0 4.606000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskMulAddPattern 0 0 7.922000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCosSinCachePattern 0 0 4.587000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionHalfRotaryEmbeddingPattern 0 0 4.066000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_RMSNormalizationPattern 0 0 4.056000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN match_RMSNormalizationMulPattern 0 0 4.297000e-06 NaN 1.0 0.0 0.0 NaN NaN NaN NaN NaN check_pattern_A20 0 0 1.436100e-05 NaN 1.0 NaN NaN NaN NaN NaN NaN NaN remove_duplicated_shape 0 0 1.713000e-06 NaN 1.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BD0 0 0 1.080500e-05 NaN 1.0 NaN NaN NaN NaN NaN NaN NaN remove_identity_nodes 0 0 2.856300e-05 NaN 1.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BI0 0 0 1.060600e-05 NaN 1.0 NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 2.904200e-05 NaN 1.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BUS0 0 0 1.001500e-05 NaN 1.0 NaN NaN NaN NaN NaN NaN NaN build_graph_for_pattern 0 0 1.968900e-05 NaN 1.0 NaN NaN NaN NaN NaN NaN NaN iteration_1 0 0 8.828610e-04 NaN 1.0 NaN NaN 5.0 NaN NaN NaN NaN match_BatchNormalizationPattern 0 0 4.396000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_BatchNormalizationTrainingPattern 0 0 3.836000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastLayerNormalizationCastPattern 0 0 4.237000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastPattern 0 0 3.615000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastBinaryPattern 0 0 1.461200e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastPattern 0 0 3.706000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastOpCastPattern 0 0 1.047600e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ClipClipPattern 0 0 4.226000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatEmptyPattern 0 0 4.116000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatGatherPattern 0 0 4.036000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatReshapePattern 0 0 4.156000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatTwiceUnaryPattern 0 0 4.277000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConstantToInitializerPattern 0 0 2.609800e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConvBiasNullPattern 0 0 6.770000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_PadConvPattern 0 0 5.808000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_DropoutPattern 0 0 5.248000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandPattern 0 0 5.579000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandBroadcastPattern 0 0 5.649000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandSwapPattern 0 0 3.545000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandUnsqueezeExpandPattern 0 0 3.635000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherConcatPattern 0 0 4.246000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherGatherPattern 0 0 3.706000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_GathersSplitPattern 0 0 3.425000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherShapePattern 0 0 3.435000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_GeluPattern 0 0 1.043500e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_IdentityPattern 0 0 4.173100e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationPattern 0 0 3.956000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationScalePattern 0 0 3.605000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_LeakyReluPattern 0 0 9.254000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_MaxReluPattern 0 0 3.805000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulMulMulScalarPattern 0 0 3.896000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulUnsqueezeUnsqueezePattern 0 0 3.636000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotNotPattern 0 0 3.224000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotWherePattern 0 0 3.345000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceArgTopKPattern 0 0 4.516000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceReshapePattern 0 0 4.227000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceSumNormalizePattern 0 0 3.956000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapePattern 0 0 4.166000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeMatMulReshapePattern 0 0 7.601000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_Reshape2Of3Pattern 0 0 1.169800e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapeBinaryPattern 0 0 8.653000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeSqueezePattern 0 0 4.306000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_GemmTransposePattern 0 0 3.815000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_MatMulReshape2Of3Pattern 0 0 1.379000e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulMulMatMulPattern 0 0 8.853000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedReshapeIsSqueezePattern 0 0 4.326000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedStaticExpandPattern 0 0 3.655000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedConcatExpandPattern 0 0 3.976000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedEditDistanceReshapePattern 0 0 4.156000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedIdentityPattern 0 0 3.756000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastPattern 0 0 1.051600e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastMatMulPattern 0 0 9.564000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandCastWhereSwapPattern 0 0 3.445000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandSwapPattern 0 0 9.545000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedMatMulToMulPattern 0 0 8.833000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapedBasedReshapePattern 0 0 4.226000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedSameChildrenPattern 0 0 3.635000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedShapeShapeAddPattern 0 0 5.578000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeTransposePattern 0 0 3.695000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeShapePattern 0 0 3.425000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapePattern 0 0 4.206000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_RotaryEmbeddingPattern 0 0 3.585000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SameChildrenPattern 0 0 8.762000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SameChildrenFromInputPattern 0 0 7.531000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SequenceConstructAtPattern 0 0 4.036000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SplitToSequenceSequenceAtPattern 0 0 3.465000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SliceSlicePattern 0 0 3.635000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SlicesSplitPattern 0 0 3.936000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SoftmaxCrossEntropyLossCastPattern 0 0 9.554000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SplitConcatPattern 0 0 3.645000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeAddPattern 0 0 7.391000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeBinaryUnsqueezePattern 0 0 3.726000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeUnsqueezePattern 0 0 3.565000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_StaticConcatReshapePattern 0 0 3.655000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_Sub1MulPattern 0 0 3.435000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapExpandReshapePattern 0 0 3.815000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapExpandUnsqueezePattern 0 0 3.665000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapRangeAddScalarPattern 0 0 3.815000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapUnaryPattern 0 0 3.796000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapUnsqueezeTransposePattern 0 0 3.946000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwitchOrderBinaryPattern 0 0 8.372000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwitchReshapeActivationPattern 0 0 6.219000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeEqualReshapePattern 0 0 3.755000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeGatherPattern 0 0 3.715000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeMatMulPattern 0 0 1.218800e-05 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeReshapeMatMulPattern 0 0 8.032000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeReshapeTransposePattern 0 0 3.595000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeTransposePattern 0 0 3.556000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeEqualPattern 0 0 3.646000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeOrSqueezeReshapePattern 0 0 3.545000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeReshapePattern 0 0 3.655000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeUnsqueezePattern 0 0 3.635000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_WhereAddPattern 0 0 3.495000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_RotaryConcatPartPattern 0 0 5.438000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionAttentionPattern 0 0 4.397000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionAttentionGQAPattern 0 0 4.487000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskPattern 0 0 3.806000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskMulAddPattern 0 0 6.339000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCosSinCachePattern 0 0 3.775000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionHalfRotaryEmbeddingPattern 0 0 3.785000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_RMSNormalizationPattern 0 0 3.645000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_RMSNormalizationMulPattern 0 0 3.796000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN match_AttentionGQAPattern 0 0 4.327000e-06 NaN 2.0 0.0 0.0 NaN NaN NaN NaN NaN check_pattern_A20 0 0 1.452200e-05 NaN 2.0 NaN NaN NaN NaN NaN NaN NaN remove_duplicated_shape 0 0 1.652000e-06 NaN 2.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BD0 0 0 1.094700e-05 NaN 2.0 NaN NaN NaN NaN NaN NaN NaN remove_identity_nodes 0 0 2.806200e-05 NaN 2.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BI0 0 0 1.069600e-05 NaN 2.0 NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 2.754000e-05 NaN 2.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BUS0 0 0 1.015500e-05 NaN 2.0 NaN NaN NaN NaN NaN NaN NaN build_graph_for_pattern 0 0 1.925900e-05 NaN 2.0 NaN NaN NaN NaN NaN NaN NaN iteration_2 0 0 8.424010e-04 NaN 2.0 NaN NaN 5.0 NaN NaN NaN NaN match_BatchNormalizationPattern 0 0 4.306000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_BatchNormalizationTrainingPattern 0 0 3.736000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastLayerNormalizationCastPattern 0 0 4.126000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastPattern 0 0 3.515000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastBinaryPattern 0 0 1.401100e-05 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastPattern 0 0 3.966000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastOpCastPattern 0 0 1.007500e-05 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ClipClipPattern 0 0 3.786000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatEmptyPattern 0 0 3.956000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatGatherPattern 0 0 4.096000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatReshapePattern 0 0 4.356000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatTwiceUnaryPattern 0 0 4.306000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConstantToInitializerPattern 0 0 3.535000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConvBiasNullPattern 0 0 3.476000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_PadConvPattern 0 0 3.755000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_DropoutPattern 0 0 3.345000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandPattern 0 0 3.836000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandBroadcastPattern 0 0 3.725000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandSwapPattern 0 0 3.415000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandUnsqueezeExpandPattern 0 0 3.625000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherConcatPattern 0 0 3.815000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherGatherPattern 0 0 3.576000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_GathersSplitPattern 0 0 3.505000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherShapePattern 0 0 3.745000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_GeluPattern 0 0 9.323000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_IdentityPattern 0 0 3.551200e-05 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationPattern 0 0 4.006000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationScalePattern 0 0 3.445000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_LeakyReluPattern 0 0 9.063000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_MaxReluPattern 0 0 3.605000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulMulMulScalarPattern 0 0 3.795000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulUnsqueezeUnsqueezePattern 0 0 3.545000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotNotPattern 0 0 3.525000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotWherePattern 0 0 3.615000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceArgTopKPattern 0 0 4.316000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceReshapePattern 0 0 4.537000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceSumNormalizePattern 0 0 3.656000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapePattern 0 0 1.581300e-05 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeMatMulReshapePattern 0 0 8.562000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_Reshape2Of3Pattern 0 0 1.182700e-05 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapeBinaryPattern 0 0 8.913000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeSqueezePattern 0 0 4.617000e-06 NaN 3.0 0.0 0.0 NaN NaN NaN NaN NaN match_MatMulAddPattern 0 0 3.001500e-05 NaN 3.0 2.0 2.0 NaN NaN NaN NaN NaN match_GemmTransposePattern 0 0 4.106000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_MatMulReshape2Of3Pattern 0 0 1.403100e-05 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_MulMulMatMulPattern 0 0 9.253000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedReshapeIsSqueezePattern 0 0 4.506000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedStaticExpandPattern 0 0 4.086000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedConcatExpandPattern 0 0 4.827000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedEditDistanceReshapePattern 0 0 4.357000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedIdentityPattern 0 0 4.126000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastPattern 0 0 1.077600e-05 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastMatMulPattern 0 0 1.037500e-05 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandCastWhereSwapPattern 0 0 3.736000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandSwapPattern 0 0 1.057600e-05 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedMatMulToMulPattern 0 0 9.604000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapedBasedReshapePattern 0 0 4.156000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedSameChildrenPattern 0 0 4.096000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedShapeShapeAddPattern 0 0 5.829000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeTransposePattern 0 0 3.825000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeShapePattern 0 0 3.856000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_ReshapeReshapePattern 0 0 4.156000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_RotaryEmbeddingPattern 0 0 3.746000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SameChildrenPattern 0 0 8.833000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SameChildrenFromInputPattern 0 0 7.821000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SequenceConstructAtPattern 0 0 4.257000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SplitToSequenceSequenceAtPattern 0 0 3.816000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SliceSlicePattern 0 0 3.595000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SlicesSplitPattern 0 0 3.785000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SoftmaxCrossEntropyLossCastPattern 0 0 9.243000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SplitConcatPattern 0 0 3.425000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SqueezeAddPattern 0 0 6.770000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SqueezeBinaryUnsqueezePattern 0 0 3.806000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SqueezeUnsqueezePattern 0 0 3.776000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_StaticConcatReshapePattern 0 0 3.735000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_Sub1MulPattern 0 0 3.555000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapExpandReshapePattern 0 0 3.766000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapExpandUnsqueezePattern 0 0 3.445000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapRangeAddScalarPattern 0 0 3.726000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapUnaryPattern 0 0 3.776000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapUnsqueezeTransposePattern 0 0 3.556000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwitchOrderBinaryPattern 0 0 8.452000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwitchReshapeActivationPattern 0 0 6.229000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeEqualReshapePattern 0 0 3.705000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeGatherPattern 0 0 3.986000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeMatMulPattern 0 0 1.183800e-05 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeReshapeMatMulPattern 0 0 7.762000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeReshapeTransposePattern 0 0 3.705000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeTransposePattern 0 0 3.535000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeEqualPattern 0 0 3.335000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeOrSqueezeReshapePattern 0 0 3.585000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeReshapePattern 0 0 3.585000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeUnsqueezePattern 0 0 3.495000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_WhereAddPattern 0 0 3.735000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_RotaryConcatPartPattern 0 0 5.529000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionAttentionPattern 0 0 4.116000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionAttentionGQAPattern 0 0 4.687000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskPattern 0 0 3.776000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskMulAddPattern 0 0 6.860000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionCosSinCachePattern 0 0 3.915000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionHalfRotaryEmbeddingPattern 0 0 3.675000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_RMSNormalizationPattern 0 0 3.615000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_RMSNormalizationMulPattern 0 0 3.996000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN match_AttentionGQAPattern 0 0 3.635000e-06 NaN 3.0 0.0 2.0 NaN NaN NaN NaN NaN insert_and_remove_nodes 0 0 4.204200e-05 NaN NaN NaN NaN NaN insert_at NaN NaN NaN apply_MatMulAddPattern 2 1 9.537100e-05 NaN 3.0 1.0 0.0 NaN NaN NaN NaN NaN check_pattern_A10 0 0 6.000000e-07 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN insert_and_remove_nodes 0 0 3.121600e-05 NaN NaN NaN NaN NaN insert_at NaN NaN NaN apply_MatMulAddPattern 2 1 6.675800e-05 NaN 3.0 1.0 1.0 NaN NaN NaN NaN NaN check_pattern_A10 0 0 4.210001e-07 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_A20 0 0 9.554000e-06 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN remove_duplicated_shape 0 0 1.443000e-06 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BD0 0 0 7.111000e-06 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN remove_identity_nodes 0 0 2.207200e-05 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BI0 0 0 7.661000e-06 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 2.110100e-05 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BUS0 0 0 7.001000e-06 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN build_graph_for_pattern 0 0 1.451100e-05 NaN 3.0 NaN NaN NaN NaN NaN NaN NaN iteration_3 0 0 9.763590e-04 NaN 3.0 NaN NaN 3.0 NaN NaN NaN NaN match_BatchNormalizationPattern 0 0 3.795000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_BatchNormalizationTrainingPattern 0 0 2.834000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastLayerNormalizationCastPattern 0 0 3.185000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastPattern 0 0 2.654000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastBinaryPattern 0 0 2.554000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastPattern 0 0 2.494000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastOpCastPattern 0 0 3.265000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ClipClipPattern 0 0 2.584000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatEmptyPattern 0 0 2.664000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatGatherPattern 0 0 2.974000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatReshapePattern 0 0 3.145000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatTwiceUnaryPattern 0 0 3.004000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConstantToInitializerPattern 0 0 2.815000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConvBiasNullPattern 0 0 2.554000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_PadConvPattern 0 0 2.794000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_DropoutPattern 0 0 4.196000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandPattern 0 0 2.924000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandBroadcastPattern 0 0 2.554000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandSwapPattern 0 0 2.644000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandUnsqueezeExpandPattern 0 0 2.513000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherConcatPattern 0 0 2.904000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherGatherPattern 0 0 2.444000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_GathersSplitPattern 0 0 2.434000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherShapePattern 0 0 2.403000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_GeluPattern 0 0 6.429000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_IdentityPattern 0 0 2.704000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationPattern 0 0 2.384000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationScalePattern 0 0 2.474000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_LeakyReluPattern 0 0 6.179000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_MaxReluPattern 0 0 2.414000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulMulMulScalarPattern 0 0 2.444000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulUnsqueezeUnsqueezePattern 0 0 2.254000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotNotPattern 0 0 2.283000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotWherePattern 0 0 2.333000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceArgTopKPattern 0 0 2.754000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceReshapePattern 0 0 3.154000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceSumNormalizePattern 0 0 2.714000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapePattern 0 0 2.804000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeMatMulReshapePattern 0 0 2.884000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_Reshape2Of3Pattern 0 0 2.764000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapeBinaryPattern 0 0 2.704000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeSqueezePattern 0 0 3.085000e-06 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_MatMulAddPattern 0 0 1.267900e-05 NaN 4.0 0.0 0.0 NaN NaN NaN NaN NaN match_GemmTransposePattern 0 0 2.213300e-05 NaN 4.0 2.0 2.0 NaN NaN NaN NaN NaN match_MatMulReshape2Of3Pattern 0 0 3.255000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_MulMulMatMulPattern 0 0 2.704000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedReshapeIsSqueezePattern 0 0 2.834000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedStaticExpandPattern 0 0 2.664000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedConcatExpandPattern 0 0 2.874000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedEditDistanceReshapePattern 0 0 3.044000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedIdentityPattern 0 0 2.864000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastPattern 0 0 2.614000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastMatMulPattern 0 0 2.724000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandCastWhereSwapPattern 0 0 2.304000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandSwapPattern 0 0 2.774000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedMatMulToMulPattern 0 0 2.684000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapedBasedReshapePattern 0 0 3.044000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedSameChildrenPattern 0 0 2.694000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeBasedShapeShapeAddPattern 0 0 2.454000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ShapeTransposePattern 0 0 2.734000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeShapePattern 0 0 2.493000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_ReshapeReshapePattern 0 0 2.684000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_RotaryEmbeddingPattern 0 0 2.624000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SameChildrenPattern 0 0 5.808000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SameChildrenFromInputPattern 0 0 5.828000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SequenceConstructAtPattern 0 0 4.076000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SplitToSequenceSequenceAtPattern 0 0 2.634000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SliceSlicePattern 0 0 2.544000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SlicesSplitPattern 0 0 2.774000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SoftmaxCrossEntropyLossCastPattern 0 0 6.389000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SplitConcatPattern 0 0 3.014000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SqueezeAddPattern 0 0 2.664000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SqueezeBinaryUnsqueezePattern 0 0 2.835000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SqueezeUnsqueezePattern 0 0 2.644000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_StaticConcatReshapePattern 0 0 2.794000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_Sub1MulPattern 0 0 2.503000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapExpandReshapePattern 0 0 2.684000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapExpandUnsqueezePattern 0 0 2.644000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapRangeAddScalarPattern 0 0 2.554000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapUnaryPattern 0 0 2.634000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwapUnsqueezeTransposePattern 0 0 2.644000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwitchOrderBinaryPattern 0 0 2.935000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_SwitchReshapeActivationPattern 0 0 6.009000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeEqualReshapePattern 0 0 2.644000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeGatherPattern 0 0 2.434000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeMatMulPattern 0 0 1.097600e-05 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeReshapeMatMulPattern 0 0 2.644000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeReshapeTransposePattern 0 0 2.363000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_TransposeTransposePattern 0 0 2.414000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeEqualPattern 0 0 2.523000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeOrSqueezeReshapePattern 0 0 2.814000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeReshapePattern 0 0 2.484000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_UnsqueezeUnsqueezePattern 0 0 2.574000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_WhereAddPattern 0 0 2.554000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_RotaryConcatPartPattern 0 0 2.794000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionAttentionPattern 0 0 3.455000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionAttentionGQAPattern 0 0 3.595000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskPattern 0 0 2.924000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskMulAddPattern 0 0 2.915000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionCosSinCachePattern 0 0 3.144000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_FunctionHalfRotaryEmbeddingPattern 0 0 2.904000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_RMSNormalizationPattern 0 0 2.764000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_RMSNormalizationMulPattern 0 0 2.795000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN match_AttentionGQAPattern 0 0 2.994000e-06 NaN 4.0 0.0 2.0 NaN NaN NaN NaN NaN insert_and_remove_nodes 0 0 6.388400e-05 NaN NaN NaN NaN NaN insert_at NaN NaN NaN apply_GemmTransposePattern 1 2 1.364910e-04 NaN 4.0 1.0 0.0 NaN NaN NaN NaN NaN check_pattern_A10 0 0 5.209999e-07 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN insert_and_remove_nodes 0 0 5.382900e-05 NaN NaN NaN NaN NaN insert_at NaN NaN NaN apply_GemmTransposePattern 1 2 1.097820e-04 NaN 4.0 1.0 1.0 NaN NaN NaN NaN NaN check_pattern_A10 0 0 4.710000e-07 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_A20 0 0 1.380000e-05 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN remove_duplicated_shape 0 0 1.582000e-06 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BD0 0 0 1.102600e-05 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN remove_identity_nodes 0 0 2.843200e-05 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BI0 0 0 1.097600e-05 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 3.375900e-05 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BUS0 0 0 1.094600e-05 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN build_graph_for_pattern 0 0 2.197200e-05 NaN 4.0 NaN NaN NaN NaN NaN NaN NaN iteration_4 0 0 8.668680e-04 NaN 4.0 NaN NaN 5.0 NaN NaN NaN NaN match_BatchNormalizationPattern 0 0 5.358000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_BatchNormalizationTrainingPattern 0 0 4.046000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastLayerNormalizationCastPattern 0 0 4.347000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastPattern 0 0 3.766000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastBinaryPattern 0 0 4.297000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastCastPattern 0 0 4.266000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_CastOpCastPattern 0 0 5.087000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ClipClipPattern 0 0 3.795000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatEmptyPattern 0 0 4.196000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatGatherPattern 0 0 4.046000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatReshapePattern 0 0 4.286000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConcatTwiceUnaryPattern 0 0 4.506000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConstantToInitializerPattern 0 0 3.786000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ConvBiasNullPattern 0 0 3.506000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_PadConvPattern 0 0 3.976000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_DropoutPattern 0 0 3.625000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandPattern 0 0 3.656000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandBroadcastPattern 0 0 3.755000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandSwapPattern 0 0 3.395000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ExpandUnsqueezeExpandPattern 0 0 3.676000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherConcatPattern 0 0 3.856000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherGatherPattern 0 0 3.495000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_GathersSplitPattern 0 0 3.485000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_GatherShapePattern 0 0 3.656000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_GeluPattern 0 0 9.364000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_IdentityPattern 0 0 1.411100e-05 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationPattern 0 0 4.006000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_LayerNormalizationScalePattern 0 0 3.475000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_LeakyReluPattern 0 0 9.584000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_MaxReluPattern 0 0 3.696000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulMulMulScalarPattern 0 0 3.776000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulUnsqueezeUnsqueezePattern 0 0 3.546000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotNotPattern 0 0 3.405000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_NotWherePattern 0 0 3.605000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceArgTopKPattern 0 0 4.367000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceReshapePattern 0 0 4.246000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReduceSumNormalizePattern 0 0 3.665000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapePattern 0 0 7.411000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeMatMulReshapePattern 0 0 3.946000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_Reshape2Of3Pattern 0 0 3.936000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapeBinaryPattern 0 0 3.836000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeSqueezePattern 0 0 4.156000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_MatMulAddPattern 0 0 1.364000e-05 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_GemmTransposePattern 0 0 1.685500e-05 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_MatMulReshape2Of3Pattern 0 0 4.376000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_MulMulMatMulPattern 0 0 3.996000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedReshapeIsSqueezePattern 0 0 4.186000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedStaticExpandPattern 0 0 3.866000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedConcatExpandPattern 0 0 4.026000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedEditDistanceReshapePattern 0 0 3.845000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedIdentityPattern 0 0 6.219000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastPattern 0 0 3.986000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandBroadcastMatMulPattern 0 0 3.766000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandCastWhereSwapPattern 0 0 3.515000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedExpandSwapPattern 0 0 3.915000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedMatMulToMulPattern 0 0 3.835000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapedBasedReshapePattern 0 0 3.926000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedSameChildrenPattern 0 0 3.555000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeBasedShapeShapeAddPattern 0 0 3.825000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ShapeTransposePattern 0 0 3.745000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeShapePattern 0 0 3.475000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_ReshapeReshapePattern 0 0 4.126000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_RotaryEmbeddingPattern 0 0 3.615000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SameChildrenPattern 0 0 9.144000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SameChildrenFromInputPattern 0 0 8.853000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SequenceConstructAtPattern 0 0 3.936000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SplitToSequenceSequenceAtPattern 0 0 3.706000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SliceSlicePattern 0 0 3.846000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SlicesSplitPattern 0 0 3.986000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SoftmaxCrossEntropyLossCastPattern 0 0 9.764000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SplitConcatPattern 0 0 3.505000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeAddPattern 0 0 3.525000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeBinaryUnsqueezePattern 0 0 3.495000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SqueezeUnsqueezePattern 0 0 3.485000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_StaticConcatReshapePattern 0 0 3.816000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_Sub1MulPattern 0 0 3.546000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapExpandReshapePattern 0 0 3.605000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapExpandUnsqueezePattern 0 0 3.395000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapRangeAddScalarPattern 0 0 3.625000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapUnaryPattern 0 0 1.212800e-05 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwapUnsqueezeTransposePattern 0 0 7.001000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwitchOrderBinaryPattern 0 0 3.936000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_SwitchReshapeActivationPattern 0 0 6.440000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeEqualReshapePattern 0 0 1.481200e-05 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeGatherPattern 0 0 3.645000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeMatMulPattern 0 0 2.835200e-05 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeReshapeMatMulPattern 0 0 3.795000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeReshapeTransposePattern 0 0 6.470000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_TransposeTransposePattern 0 0 6.320000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeEqualPattern 0 0 3.615000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeOrSqueezeReshapePattern 0 0 4.026000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeReshapePattern 0 0 3.895000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_UnsqueezeUnsqueezePattern 0 0 3.525000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_WhereAddPattern 0 0 3.806000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_RotaryConcatPartPattern 0 0 3.886000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionAttentionPattern 0 0 4.276000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionAttentionGQAPattern 0 0 5.088000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskPattern 0 0 3.846000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCausalMaskMulAddPattern 0 0 3.665000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionCosSinCachePattern 0 0 6.629000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_FunctionHalfRotaryEmbeddingPattern 0 0 3.505000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_RMSNormalizationPattern 0 0 3.626000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_RMSNormalizationMulPattern 0 0 3.465000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN match_AttentionGQAPattern 0 0 3.696000e-06 NaN 5.0 0.0 0.0 NaN NaN NaN NaN NaN check_pattern_A20 0 0 1.302900e-05 NaN 5.0 NaN NaN NaN NaN NaN NaN NaN remove_duplicated_shape 0 0 1.593000e-06 NaN 5.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BD0 0 0 1.066600e-05 NaN 5.0 NaN NaN NaN NaN NaN NaN NaN remove_identity_nodes 0 0 2.736000e-05 NaN 5.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BI0 0 0 1.104600e-05 NaN 5.0 NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 3.909800e-05 NaN 5.0 NaN NaN NaN NaN NaN NaN NaN check_pattern_BUS0 0 0 1.062600e-05 NaN 5.0 NaN NaN NaN NaN NaN NaN NaN build_graph_for_pattern 0 0 2.140100e-05 NaN 5.0 NaN NaN NaN NaN NaN NaN NaN check_patterns-4 0 0 1.594400e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 2.627900e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_unused-5 0 0 1.314900e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_identity 0 0 2.404600e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_identity-6 0 0 1.204800e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN constant_folding 2 0 1.735050e-04 NaN NaN NaN NaN NaN NaN NaN NaN NaN apply_constant_folding_new_inits 0 0 NaN 2.0 0.0 NaN NaN NaN NaN NaN NaN NaN apply_constant_folding__Transpose 0 0 NaN 2.0 0.0 NaN NaN NaN NaN NaN NaN NaN check_constant_folding-7 0 0 1.085600e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 2.072000e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_unused-8 0 0 9.033000e-06 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_duplicated_initializer 0 0 4.136000e-06 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_duplicated_initializer-9 0 0 8.051000e-06 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_identity 0 0 1.792700e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_identity-10 0 0 7.881000e-06 NaN NaN NaN NaN NaN NaN NaN NaN NaN remove_unused 0 0 1.710500e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_remove_unused-11 0 0 7.551000e-06 NaN NaN NaN NaN NaN NaN NaN NaN NaN order 0 0 4.391400e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_orderA 0 0 9.264000e-06 NaN NaN NaN NaN NaN NaN NaN NaN NaN check_orderL 0 0 7.531000e-06 NaN NaN NaN NaN NaN NaN NaN NaN NaN shape_order 0 0 2.716000e-05 NaN NaN NaN NaN NaN NaN 0.0 0.0 NaN order 0 0 NaN NaN NaN NaN NaN NaN NaN NaN NaN 2.0 check_order-12 0 0 1.320900e-05 NaN NaN NaN NaN NaN NaN NaN NaN NaN optimization 7 0 9.272104e-03 NaN NaN NaN NaN NaN NaN NaN NaN NaN --- stats_agg (149 rows × 4 cols) --- pattern added removed time_in optimization 0 7 0.009272 constant_folding 0 4 0.000399 remove_identity 2 4 0.000112 apply_MatMulAddPattern 2 4 0.000162 apply_GemmTransposePattern 4 2 0.000246 remove_identity_nodes 1 2 0.000180 patterns 0 1 0.008281 check_constant_folding-2 0 0 0.000018 check_A-opt-sub 0 0 0.000022 check_A-dynamic_dimension_naming 0 0 0.000022 check_orderA 0 0 0.000009 check_orderL 0 0 0.000008 check_pattern_00 0 0 0.000017 check_pattern_A10 0 0 0.000002 check_pattern_A20 0 0 0.000083 check_pattern_BD0 0 0 0.000065 check_constant_folding-7 0 0 0.000011 check_order-12 0 0 0.000013 apply_constant_folding__Transpose 0 0 0.000000 apply_constant_folding_new_inits 0 0 0.000000 build_graph_for_pattern 0 0 0.000117 check_remove_identity-0 0 0 0.000019 check_remove_duplicated_initializer-9 0 0 0.000008 check_patterns-4 0 0 0.000016 check_pattern_BUS0 0 0 0.000071 check_pattern_BI0 0 0 0.000063 check_remove_identity-10 0 0 0.000008 check_remove_unused-1 0 0 0.000022 check_remove_identity-6 0 0 0.000012 dynamic_dimension_naming 0 0 0.000021 insert_and_remove_nodes 0 0 0.000191 iteration_0 0 0 0.003710 iteration_1 0 0 0.000883 check_remove_unused-11 0 0 0.000008 check_remove_unused-3 0 0 0.000015 check_remove_unused-5 0 0 0.000013 check_remove_unused-8 0 0 0.000009 match_BatchNormalizationPattern 0 0 0.000033 match_BatchNormalizationTrainingPattern 0 0 0.000024 match_CastCastBinaryPattern 0 0 0.000055 match_CastCastPattern 0 0 0.000024 match_CastLayerNormalizationCastPattern 0 0 0.000021 match_CastOpCastPattern 0 0 0.000042 match_CastPattern 0 0 0.000023 match_ClipClipPattern 0 0 0.000019 match_ConcatEmptyPattern 0 0 0.000020 match_ConcatGatherPattern 0 0 0.000024 match_ConcatReshapePattern 0 0 0.000027 match_ConcatTwiceUnaryPattern 0 0 0.000021 iteration_2 0 0 0.000842 iteration_3 0 0 0.000976 iteration_4 0 0 0.000867 match_AttentionGQAPattern 0 0 0.000015 match_ExpandPattern 0 0 0.000025 match_ExpandSwapPattern 0 0 0.000017 match_ExpandUnsqueezeExpandPattern 0 0 0.000022 match_FunctionAttentionGQAPattern 0 0 0.000028 match_FunctionAttentionPattern 0 0 0.000026 match_FunctionCausalMaskMulAddPattern 0 0 0.000028 match_FunctionCausalMaskPattern 0 0 0.000019 match_FunctionCosSinCachePattern 0 0 0.000022 match_FunctionHalfRotaryEmbeddingPattern 0 0 0.000018 match_GatherConcatPattern 0 0 0.000024 match_GatherGatherPattern 0 0 0.000022 match_GatherShapePattern 0 0 0.000022 match_GathersSplitPattern 0 0 0.000017 match_GeluPattern 0 0 0.001055 match_GemmTransposePattern 0 0 0.000051 match_IdentityPattern 0 0 0.000281 match_LayerNormalizationPattern 0 0 0.000019 match_LayerNormalizationScalePattern 0 0 0.000018 match_LeakyReluPattern 0 0 0.000786 match_MatMulAddPattern 0 0 0.000056 match_MatMulReshape2Of3Pattern 0 0 0.000051 match_MaxReluPattern 0 0 0.000018 match_MulMulMatMulPattern 0 0 0.000035 match_MulMulMulScalarPattern 0 0 0.000018 match_MulUnsqueezeUnsqueezePattern 0 0 0.000023 match_NotNotPattern 0 0 0.000017 match_NotWherePattern 0 0 0.000017 match_PadConvPattern 0 0 0.000025 match_ConstantToInitializerPattern 0 0 0.000040 match_ConvBiasNullPattern 0 0 0.000025 match_DropoutPattern 0 0 0.000020 match_ExpandBroadcastPattern 0 0 0.000020 match_ReduceReshapePattern 0 0 0.000021 match_ReduceArgTopKPattern 0 0 0.000021 match_RMSNormalizationPattern 0 0 0.000018 match_RMSNormalizationMulPattern 0 0 0.000018 match_ReduceSumNormalizePattern 0 0 0.000019 match_Reshape2Of3Pattern 0 0 0.000044 match_ReshapeMatMulReshapePattern 0 0 0.000032 match_ReshapePattern 0 0 0.000041 match_RotaryEmbeddingPattern 0 0 0.000018 match_SameChildrenFromInputPattern 0 0 0.000048 match_SameChildrenPattern 0 0 0.000053 match_SequenceConstructAtPattern 0 0 0.000021 match_ReshapeReshapeBinaryPattern 0 0 0.000034 match_ReshapeReshapePattern 0 0 0.000025 match_ReshapeSqueezePattern 0 0 0.000027 match_RotaryConcatPartPattern 0 0 0.000024 match_ShapeBasedExpandCastWhereSwapPattern 0 0 0.000017 match_ShapeBasedExpandSwapPattern 0 0 0.000038 match_ShapeBasedIdentityPattern 0 0 0.000026 match_ShapeBasedMatMulToMulPattern 0 0 0.000035 match_ShapeBasedReshapeIsSqueezePattern 0 0 0.000026 match_ShapeBasedSameChildrenPattern 0 0 0.000023 match_ShapeBasedShapeShapeAddPattern 0 0 0.000034 match_ShapeBasedStaticExpandPattern 0 0 0.000023 match_ShapeTransposePattern 0 0 0.000022 match_ShapedBasedReshapePattern 0 0 0.000024 match_SliceSlicePattern 0 0 0.000018 match_SlicesSplitPattern 0 0 0.000019 match_ShapeBasedConcatExpandPattern 0 0 0.000020 match_ShapeBasedEditDistanceReshapePattern 0 0 0.000025 match_ShapeBasedExpandBroadcastMatMulPattern 0 0 0.000037 match_ShapeBasedExpandBroadcastPattern 0 0 0.000040 match_SqueezeAddPattern 0 0 0.000040 match_SplitToSequenceSequenceAtPattern 0 0 0.000018 match_SplitConcatPattern 0 0 0.000018 match_SoftmaxCrossEntropyLossCastPattern 0 0 0.001351 match_SqueezeBinaryUnsqueezePattern 0 0 0.000022 match_SqueezeUnsqueezePattern 0 0 0.000023 match_StaticConcatReshapePattern 0 0 0.000024 match_Sub1MulPattern 0 0 0.000018 match_SwapUnsqueezeTransposePattern 0 0 0.000025 match_SwitchOrderBinaryPattern 0 0 0.000033 match_SwitchReshapeActivationPattern 0 0 0.000033 match_TransposeEqualReshapePattern 0 0 0.000029 match_SwapExpandReshapePattern 0 0 0.000022 match_SwapExpandUnsqueezePattern 0 0 0.000021 match_SwapRangeAddScalarPattern 0 0 0.000018 match_SwapUnaryPattern 0 0 0.000031 match_TransposeReshapeTransposePattern 0 0 0.000024 match_TransposeReshapeMatMulPattern 0 0 0.000031 match_TransposeMatMulPattern 0 0 0.000077 match_TransposeGatherPattern 0 0 0.000022 match_UnsqueezeReshapePattern 0 0 0.000022 match_TransposeTransposePattern 0 0 0.000024 match_UnsqueezeOrSqueezeReshapePattern 0 0 0.000022 match_UnsqueezeEqualPattern 0 0 0.000017 match_WhereAddPattern 0 0 0.000018 match_UnsqueezeUnsqueezePattern 0 0 0.000022 match_UnsqueezeShapePattern 0 0 0.000021 order 0 0 0.000044 remove_duplicated_shape 0 0 0.000010 remove_duplicated_initializer 0 0 0.000004 remove_unused 0 0 0.000322 shape_order 0 0 0.000027 --- extra (8 rows × 2 cols) --- key value builder {'aten': {: 2, : 1}} time_export_graph_module 0.031542 stat_time_export_and_post_processing 0.022427 stat_time_post_process_exported_program 0.000186 stat_time_torch_export_export_oblivious 0.022184 time_export_builder_process 0.002812 optimization ExportReport(n_stats=669, extra=['builder', 'optimization', 'stat_time_export_and_post_processing', 'stat_time_post_process_exported_program', 'stat_time_torch_export_export_oblivious', 'time_export_builder_process', 'time_export_graph_module', 'time_export_to_onnx'], has_build_stats=False, n_node_stats=2, n_symbolic_flops=3, n_discrepancies=0) time_export_to_onnx 0.010396 --- node_stats (2 rows × 3 cols) --- op_type count flops Gemm 2 6304 Relu 1 128 --- symbolic_flops (3 rows × 3 cols) --- op_type node_name symbolic_flops Gemm GemmTransposePattern--MatMulAddPattern--linear22 4224 Relu relu 128 Gemm GemmTransposePattern--MatMulAddPattern--linear62 2080 .. GENERATED FROM PYTHON SOURCE LINES 102-108 3. Plot the sheet content ------------------------- We render each sheet as a matplotlib table so sphinx-gallery captures the output. Sheets that are absent (e.g. ``build_stats`` for a standard-size model) are silently skipped. .. GENERATED FROM PYTHON SOURCE LINES 108-149 .. code-block:: Python ordered_sheets = ["extra", "stats", "stats_agg", "node_stats", "symbolic_flops", "build_stats"] present = [s for s in ordered_sheets if s in sheets] n = len(present) fig, axes = plt.subplots(n, 1, figsize=(10, 3 * n)) if n == 1: axes = [axes] for ax, sheet_name in zip(axes, present): df = sheets[sheet_name] ax.axis("off") ax.set_title(sheet_name, fontsize=11, fontweight="bold", pad=6) if df.empty: ax.text(0.5, 0.5, "(empty)", ha="center", va="center", transform=ax.transAxes) continue # Truncate to at most 10 rows for readability display_df = df.head(10) tbl = ax.table( cellText=display_df.values.tolist(), colLabels=list(display_df.columns), cellLoc="center", loc="center", ) tbl.auto_set_font_size(False) tbl.set_fontsize(7) tbl.auto_set_column_width(col=list(range(len(display_df.columns)))) if len(df) > 10: ax.text( 0.5, 0.01, f"… {len(df) - 10} more rows not shown", ha="center", va="bottom", fontsize=7, transform=ax.transAxes, ) fig.suptitle("Excel report sheets produced by to_onnx()", fontsize=12) plt.tight_layout() plt.show() .. image-sg:: /auto_examples_torch/images/sphx_glr_plot_export_report_001.png :alt: Excel report sheets produced by to_onnx(), extra, stats, stats_agg, node_stats, symbolic_flops :srcset: /auto_examples_torch/images/sphx_glr_plot_export_report_001.png :class: sphx-glr-single-img .. rst-class:: sphx-glr-script-out .. code-block:: none /home/runner/work/xadupre.github.io/xadupre.github.io/yet-another-onnx-builder/docs/examples/torch/plot_export_report.py:147: UserWarning: Tight layout not applied. The left and right margins cannot be made large enough to accommodate all Axes decorations. plt.tight_layout() .. rst-class:: sphx-glr-timing **Total running time of the script:** (0 minutes 0.848 seconds) .. _sphx_glr_download_auto_examples_torch_plot_export_report.py: .. only:: html .. container:: sphx-glr-footer sphx-glr-footer-example .. container:: sphx-glr-download sphx-glr-download-jupyter :download:`Download Jupyter notebook: plot_export_report.ipynb ` .. container:: sphx-glr-download sphx-glr-download-python :download:`Download Python source code: plot_export_report.py ` .. container:: sphx-glr-download sphx-glr-download-zip :download:`Download zipped: plot_export_report.zip ` .. include:: plot_export_report.recommendations .. only:: html .. rst-class:: sphx-glr-signature `Gallery generated by Sphinx-Gallery `_