Skip to content

任务管理

任务是对一批数据进行标注生产管理的模块。

任务列表

在项目详情-任务页面,可以查看归属该项目的所有任务。包含了名称、ID、创建人、类型、创建时间等信息,以及新建、编辑、删除等操作。

任务列表

新建任务

入口:任务列表-新建任务按钮。

基础配置

基础信息 任务名称:用于在任务列表中标识任务,1-50个字,允许的字符:中文、字母、数字、-、_或他们的组合。 描述:简单描述任务内容、备注信息,不超过500个字,该信息不会展示给任务作业人员。

新建任务1

作业配置 模板:选择任务作业界面的模板,详情参见模板管理部分。 任务模式:按照任务的作业模式,分为标注任务和质检任务。

标注任务:该模式下,通常是输入待标注数据及预标注结果(可选)至任务,由作业人员对数据对数据进行打标,输出标注结果。

质检任务:该模式下,通常是输入已标注的数据及标签至任务,由作业人员对标注的结果质量进行判断,输出质检结果。

任务说明:描述任务的打标规则,可以结合实际案例( Good Case 和 Bad Case )进行详细说明。该信息会展示给任务作业人员,作为任务执行的参考标准。 单条数据超时时长:作业人员领取一条任务数据后,需要在该指定时间内完成提交。超时未提交的数据将释放至任务题目池,由后续领取任务的作业人员答题。 允许放弃:开启后,允许作业人员主动放弃该条数据。放弃的数据将释放至任务题目池,由后续领取任务的作业人员答题。

质检配置 仅任务模式选择质检任务时可配置。 允许修改:开启后,允许质检任务的作业人员对质检不通过的结果进行修改,并提交修改后的标注结果。 质检不通过原因:预设部分质检不通过的原因共质检人员选择,一行填写一项原因。 原因允许多选:开启后,允许多选质检不通过原因。

新建任务2

分发策略

配置任务中数据分发的策略,目前支持题目下发顺序、多人交叉策略、真值题三类策略,可以叠加生效。 新增策略入口:分发策略页面新增按钮。

新建任务3

题目下发顺序 配置数据下发顺序,其中时间指数据上传至任务题库的时间。

按时间正序:优先下发最早流入任务的题目。

按时间倒序:优先下发最新流入任务的题目。

随机顺序:系统随机顺序下发题目(注:在一定时间范围内随机)。

按优先级权重顺序:按照用户指定权重下发题目,权重字段在传入数据中定义。

多人交叉策略 开启该策略后,一道题目会下发给 N(配置值)个不同作业人员进行作答,即输出 N 份标注结果。后续可以在流程中对这 N 份结果进行拟合。

真值题 该策略允许在任务答题过程中,随机插入一定比例的真值题(已知标准答案)。当作业人员领取并提交了结果后,系统将对比作业人员提交的结果和标准答案,如不一致则标记该题答错。 真值题默认占比:插入的真值题比例,如配置 10%,则每 10 道题中会下发1道真值题。 阻止低正确率用户答题:开启后,答错一定真值题数量的作业人员将不允许继续参与该任务。

作业人员

配置参与任务的作业人员,目前支持组织下白名单、作业团队两类作业人员。允许同时配置多种作业人员。

新建任务4

白名单 组织下所有成员:勾选后,当前组织下所有成员都可以参与本任务。 白名单:不勾选组织下所有成员时,可以选择允许参与本任务的组织人员名单。不在名单中的成员无参与任务资格。

作业团队 选择参与本任务的团队,允许多选。配置后,团队管理员可以在团队任务列表进行人员分配,具体参见团队管理章节。

编辑任务

入口:任务列表-编辑。 允许对任务配置进行编辑,注:部分配置仅对编辑后下发的数据生效。

删除任务

入口:任务列表-删除。 删除指定的任务,删除后,作业人员将无法再参与该任务。

查看任务

入口:任务列表-点击任务名称。

概览

展示当前任务的统计信息,包含任务的总量、提交题目量、提交/领取人数、每题平均耗时等信息。以及指定时间范围内的提交数据、提交人员明细。

概览

真值题

用于管理当前任务的真值题,支持导入真值题、管理真值题等。

导入真值题 允许上传真值题库(包含数据和标准答案),格式参考下载示例文件:

第一行为字段表头,必须保留。格式为:字段名:数据格式,如text:string,text为字段名,string为数据格式。

真值题题库需包含三类数据:数据字段、标准答案字段、真值题配置字段。

数据字段:任务模板中定义的输入字段名。

标准答案字段:任务模板中定义的输出字段名。注:必须加上“groundTruth.”前缀,如不添加该前缀,则将作为预标注结果输入。

真值题配置字段:当前可配置字段为groundTruthRequireList,表示平台对真值题答案对比时需要校验的字段,多个字段用;(半角分号)分隔。

管理真值题 已上传的真值题,将以列表形式展示。点击查看,可以在线预览该真值题的数据和标准答案。

配置

可以查看任务的配置信息。