命令

Command

class ltp.exe.commands.Command(config, device=None)[source]

Bases: object

命令行交互指令

train(epoch=None)[source]

进行训练操作

Parameters

epoch – 训练的轮数,默认10轮或者从配置文件中指定

eval(file=None, checkpoint=None, task=None)[source]

进行 Evaluation 操作

Parameters
  • task – 任务,默认为default

  • checkpoint – 使用的 checkpoint,默认是采用Best ckpt(需要启用Checkpoint Mannger best plugin)

  • file – 要进行 evaluation 的文件,默认是test数据集

predict(input, output, checkpoint=None, task='default')[source]

进行预测操作

Parameters
  • task – 任务,默认为default

  • input – 输入文件

  • output – 输出文件

  • checkpoint – 使用的 checkpoint,默认是采用Best ckpt(需要启用Checkpoint Mannger best plugin)

deploy(path='deploy.model', vocab=None)[source]

将模型中不需要的部分都清理掉,仅仅保留需要预测的部分 :param path: 最终保存的模型的路径 :param vocab: 词典名字,从 huggingface 加载

test()[source]

测试配置文件是否正确,目前只对Dataset进行验证。

Executer

class ltp.exe.executor.Executor(config)[source]

Bases: object

实际训练器的一个简单包装

train_wrapper(dataloaders, epochs=30, tau=1.0)[source]

通过给定的 data loader 进行训练,训练会进行到epochs或者 stop condition = True

Parameters
  • tau – 放大指数

  • dataloaders – PyTorch DataLoader

  • epochs – 训练的最大轮数

evaluate_(data_loader, metrics, task)[source]

评估一个模型 :param task: 任务信息 :param data_loader: PyTorch DataLoader :param metrics: 进行评估的 Metrics :return: 计算得到的各项指标

predict_(dataloader, outputs, task)[source]

进行预测操作

Parameters
  • dataloader – PyTorch DataLoader

  • outputs – 输出的文件名