Metody ewaluacji chatbotów można podzielić na dwie grupy - ewaluację w zakresie lingwistycznym i pozalingwistycznym.
Ewaluacja w zakresie lingwistycznym Można do tej ewaluacji wykorzystać test Turinga, który określa zdolności maszyny do posługiwania się językiem naturalnym.
W przypadku oceny z zakresu lingwistycznego linguaboty można także potraktować jako swego rodzaju system Question Answering, z tą różnicą, że chatbot zwraca tylko jedną odpowiedź. Do ewaluacji można zastosować metody opracowane w ramach konferencji TREC.
Ewaluacja w zakresie pozalingwistycznym Kryteria ewaluacji w tym zakresie nie zostały jeszcze w pełni usystematyzowanepatrz Granström i House w bibliografii. Proponowane kryteria to ewaluacja: zrozumiałości i prezentacji informacji znaczenia wizualnych wskazówek prozodii i interakcji
wyrazistości i pozy linguabotów
Ewaluacja zrozumiałości i prezentacji informacji Badania wykazałypatrz Granström i House w bibliografii str.