跳转至

Intl segmenter API

简介

Intl.Segmenter 是浏览器内置的用于文本分词的 API。

使用时，先用Intl.Segmenter()新建一个分词器对象。

const segmenter = new Intl.Segmenter(
  'en',
  { granularity: 'word' }
);

Intl.Segmenter()接受两个参数，第一个是所要分词的语言简称（上例是en），第二个参数是一个配置对象，有以下两个属性。

  • localeMatcher：指定分词算法，有两个可能的值，一个是lookup，表示采用特定的算法（BCP 47），另一个是best fit（默认值），表示采用操作系统或浏览器现有的尽可能适用的算法。
  • granularity：表示分词的颗粒度，有三个可能的值：grapheme（字符，这是默认值），word（词语），sentence（句子）。

拿到分词器对象以后，就可以进行分词了。

const segmenter = new Intl.Segmenter(
  'en',
  { granularity: 'word' }
);

const segments = segmenter.segment('This has four words!');

Array.from(segments).map((segment) => segment.segment);
// ['This', ' ', 'has', ' ', 'four', ' ', 'words', '!']

上面示例中，变量segmenter是分词器对象，可以对英语进行分词，颗粒度是词语。所以，“This has four words!”被分成了8个部分，包括4个词语、3个空格和1个标点符号。

分词器对象的segment()方法是实际的分词方法，它的参数是需要分词的文本，返回值是一个具有迭代器接口的分词结果对象。Array.from()将这个分词结果对象转成数组，也可以采用[...segments]的写法。

下面的例子是过滤掉非词语字符。

const segments = segmenter.segment('This has four words!');

Array.from(segments)
  .filter((segment) => segment.isWordLike)
  .map((segment) => segment.segment);
// ['This', 'has', 'four', 'words']

上面示例中，Array.from()将分词结果对象转成一个数组，变量segment是数组的每个成员，它也是一个对象。该对象的isWordLike属性是一个布尔值，表示当前值是否为一个真正的词，而该对象的segment属性（上例的segment.segment）则是真正的分词结果。

Intl Segmenter 支持各种语言，下面是日语分词的例子。

const segmenter = new Intl.Segmenter('ja', { granularity: 'word' });
const segments = segmenter.segment('これは日本語のテキストです');

Array.from(segments).map((segment) => segment.segment);
// ['これ', 'は', '日本語', 'の', 'テキスト', 'です']

下面是法语的例子。

const segmenterFr = new Intl.Segmenter('fr', { granularity: 'word' });
const string1 = 'Que ma joie demeure';

const iterator1 = segmenterFr.segment(string1)[Symbol.iterator]();

iterator1.next().value.segment // 'Que'
iterator1.next().value.segment // ' '

静态方法

Intl.Segmenter.supportedLocalesOf()

Intl.Segmenter.supportedLocalesOf()返回一个数组，用来检测当前环境是否支持指定语言的分词。

const locales1 = ['ban', 'id-u-co-pinyin', 'de-ID'];
const options1 = { localeMatcher: 'lookup', granularity: 'string' };

Intl.Segmenter.supportedLocalesOf(locales1, options1)
// ["id-u-co-pinyin", "de-ID"]

它接受两个参数，第一个参数是一个数组，数组成员是需要检测的语言简称；第二个参数是配置对象，跟构造方法的第二个参数是一致的，可以省略。

上面示例中，需要检测的三种语言分别是巴厘岛语（ban）、印度尼西亚语（id-u-co-pinyin）、德语（de-ID）。结果显示只支持前两者，不支持巴厘岛语。

实例方法

resolvedOptions()

实例对象的resolvedOptions()方法，用于获取构造该实例时的参数。

const segmenter1 = new Intl.Segmenter('fr-FR');
const options1 = segmenter1.resolvedOptions();

options1.locale // "fr-FR"
options1.granularity // "grapheme"

上面示例中，resolveOptions()方法返回了一个对象，该对象的locale属性对应构造方法的第一个参数，granularity属性对应构造方法第二个参数对象的颗粒度属性。

segment()

实例对象的segment()方法进行实际的分词。

const segmenterFr = new Intl.Segmenter('fr', { granularity: 'word' });
const string1 = 'Que ma joie demeure';

const segments = segmenterFr.segment(string1);

segments.containing(5)
// {segment: 'ma', index: 4, input: 'Que ma joie demeure', isWordLike: true}

segment()方法的返回结果是一个具有迭代器接口的分词结果对象，有三种方法进行处理。

（1）使用Array.from()或扩展运算符（...）将分词结果对象转成数组。

const segmenterFr = new Intl.Segmenter('fr', { granularity: 'word' });
const string1 = 'Que ma joie demeure';

const iterator1 = segmenterFr.segment(string1);

Array.from(iterator1).map(segment => {
  if (segment.segment.length > 4) {
    console.log(segment.segment);
  }
})
// demeure

上面示例中，segmenterFr.segment()返回一个针对string1的分词结果对象，该对象具有迭代器接口。Array.from()将其转为数组，数组的每个成员是一个分词颗粒对象，该对象的segment属性就是分词结果。分词颗粒对象的介绍，详见后文。

（2）使用for...of循环，遍历分词结果对象。

const segmenterFr = new Intl.Segmenter('fr', { granularity: 'word' });
const string1 = 'Que ma joie demeure';

const iterator1 = segmenterFr.segment(string1);

for (const segment of iterator1) {
  if (segment.segment.length > 4) {
    console.log(segment.segment);
  }
}
// demeure

上面示例中，for...of默认调用分词结果对象的迭代器接口，获取每一轮的分词颗粒对象。

由于迭代器接口是在Symbol.iterator属性上面，所以实际执行的代码如下。

const segmenterFr = new Intl.Segmenter('fr', { granularity: 'word' });
const string1 = 'Que ma joie demeure';

const iterator1 = segmenterFr.segment(string1)[Symbol.iterator]();

for (const segment of iterator1) {
  if (segment.segment.length > 4) {
    console.log(segment.segment);
  }
}
// "demeure"

for...of循环每一轮得到的是一个分词颗粒对象，该对象的segment属性就是当前的分词结果，详见下文。

（3）使用containing()方法获取某个位置的分词颗粒对象。

const segmenterFr = new Intl.Segmenter('fr', { granularity: 'word' });
const string1 = 'Que ma joie demeure';

const segments = segmenterFr.segment(string1);

segments.containing(5)
// {segment: 'ma', index: 4, input: 'Que ma joie demeure', isWordLike: true}

containing()方法的参数是一个整数，表示原始字符串的指定位置（从0开始计算）。如果省略该参数，则默认为0。

containing()的返回值是该位置的分词颗粒对象，如果参数位置超出原始字符串，则返回undefined。分词颗粒对象有以下属性。

  • segment：指定位置对应的分词结果。
  • index：本次分词在原始字符串的开始位置（从0开始）。
  • input：进行分词的原始字符串。
  • isWordLike：如果分词颗粒度为word，该属性返回一个布尔值，表示当前值是否一个真正的词。如果分词颗粒度不为word，则返回undefined。
const input = "Allons-y!";

const segmenter = new Intl.Segmenter("fr", { granularity: "word" });
const segments = segmenter.segment(input);

let current = segments.containing();
// { index: 0, segment: "Allons", isWordLike: true }

current = segments.containing(4);
// { index: 0, segment: "Allons", isWordLike: true }

current = segments.containing(6);
// { index: 6, segment: "-", isWordLike: false }

current = segments.containing(current.index + current.segment.length);
// { index: 7, segment: "y", isWordLike: true }

current = segments.containing(current.index + current.segment.length);
// { index: 8, segment: "!", isWordLike: false }

current = segments.containing(current.index + current.segment.length);
// undefined

上面示例中，分词结果中除了空格和标点符号，其他情况下，isWordLike都返回false。