test add tokenizer

test-cases.js

@@ -0,0 +1,35 @@
+// testCases.map(c=>mecab.parse(c.sentence).filter(t=>t.pos.some(p=>/^[NVM]/.test(p))).map(t=>t.lemma));
+export const testCases = [
+  {
+    sentence: "학교에서 공부했어요",
+    expected: ["학교", "공부"],
+  },
+  {
+    sentence: "맛있는 김치찌개를 먹었어요",
+    expected: ["맛있다", "김치찌개", "먹다"],
+  },
+  {
+    sentence: "사랑하는 가족에게 선물을 줬어요",
+    expected: ["사랑", "가족", "선물", "주다"],
+  },
+  {
+    sentence: "빨리 달려가자",
+    expected: ["빨리", "달려가다"],
+  },
+  {
+    sentence: "예쁜 꽃이 피었어요",
+    expected: ["예쁘다", "꽃", "피다"],
+  },
+  {
+    sentence: "그는 학교에 갔다",
+    expected: ["그", "학교", "가다"],
+  },
+  {
+    sentence: "열심히 공부하는 학생입니다",
+    expected: ["열심히", "공부", "학생", "이다"],
+  },
+  {
+    sentence: "어제 영화를 봤어요",
+    expected: ["어제", "영화", "보다"],
+  },
+];