lm_polygraph.stat_calculators.extract_claims module
- class lm_polygraph.stat_calculators.extract_claims.Claim(claim_text: str, sentence: str, aligned_token_ids: List[int])[source]
Bases:
object- aligned_token_ids: List[int]
- claim_text: str
- sentence: str
- class lm_polygraph.stat_calculators.extract_claims.ClaimsExtractor(openai_chat: OpenAIChat, sent_separators: str = '.?!。？！\n', language: str = 'en', progress_bar: bool = False, extraction_prompts: Dict[str, str] = {'ar': 'فكك النص التالي الى ادعاءات منفصلة.\n\nExample:\nSentence: "طارق ذياب هو لاعب كرة قدم تونسي سابق."\nClaims:\n- طارق ذياب لاعب كرة قدم.\n- طارق ذياب تونسي.\n- طارق ذياب لاعب سابق.\n\nالجملة: "{sent}"\nالادعاءات:', 'de': 'Bitte zerlegen Sie den Satz in unabhängige Behauptungen.\n\nBeispiel:\nSatz: "Er wurde in London geboren und bis zu seinem 11. Lebensjahr von seiner Mutter und seinem Vater aufgezogen."\nBehauptungen:\n- Er wurde in London geboren.\n- Er wurde von seiner Mutter und seinem Vater aufgezogen.\n- Er wurde bis zu seinem 11. Lebensjahr von seiner Mutter und seinem Vater aufgezogen.\n\nSatz: "{sent}"\nBehauptungen:', 'en': 'Please breakdown the sentence into independent claims.\n\nExample:\nSentence: "He was born in London and raised by his mother and father until 11 years old."\nClaims:\n- He was born in London.\n- He was raised by his mother and father.\n- He was raised by his mother and father until 11 years old.\n\nSentence: "{sent}"\nClaims:', 'ru': 'Пожалуйста разбей предложение на независимые утверждения.\n\nExample:\nSentence: "Он родился в Лондоне и воспитывался матерью и отцом до 11 лет."\nClaims:\n- Он родился в Лондоне.\n- Он воспитывался матерью и отцом.\n- Он воспитывался матерью и отцом до 11 лет.\n\nSentence: "{sent}"\nClaims:', 'zh': '请将下面的句子(sentence)分解成独立的命题(independent claim)。\n\n例子(Example):\nSentence: "他出生在伦敦并且十一岁之前由他的父母抚养长大。"\n\nClaims:\n- 他出生在伦敦。\n- 他由他的父母抚养长大。\n- 直到11岁前他由他的父母抚养长大。\n\nSentence: "{sent}"\nClaims:'}, matching_prompts: Dict[str, str] = {'ar': 'بناءً على الحقيقة، حدد الكلمات المقابلة في الجملة الأصلية التي تساعد في استنتاج هذه الحقيقة. يرجى سرد جميع الكلمات المتعلقة بالحقيقة، بالترتيب الذي تظهر به في الجملة الأصلية، وكل كلمة مفصولة بفاصلة.\nالحقيقة: {claim}\nالجملة: {sent}\nالكلمات من الجملة التي تساعد في استنتاج الحقيقة، مفصولة بفاصلة: ', 'de': 'Identifizieren Sie die entsprechenden Wörter im ursprünglichen Satz, die zur Ableitung dieser Tatsache beitragen. Listen Sie bitte alle Wörter auf,die mit der Tatsache in Zusammenhang stehen, in der Reihenfolge, in der sie imursprünglichen Satz erscheinen, wobei jedes Wort durch Komma getrennt ist.\nTatsache: {claim}\nSatz: {sent}\nWörter aus dem Satz, die zur Ableitungder Tatsache beitragen, durch Komma getrennt: ', 'en': 'Given the fact, identify the corresponding words in the original sentence that help derive this fact. Please list all words that are related to the fact, in the order they appear in the original sentence, each word separated by comma.\nFact: {claim}\nSentence: {sent}\nWords from sentence that helps to derive the fact, separated by comma: ', 'ru': 'Используя факт, определи соответствующие слова в исходном предложении, которые помогают получить этот факт Пожалуйста, перечисли все слова через запятую, имеющие отношение к данному не изменяя форм словв том порядке, в котором они появляются в исходном предложении. Не используй кавычки при перечислении.Не меняй форму слова\nFact: {claim}\nSentence: {sent}\nСлова из предложения, которые помогают получить факт, через запятую без кавычек: ', 'zh': '给定一个事实(Fact)，找出原句子中帮助推导出这个事实的相应词。请按照它们在原句子中出现的顺序列出所有与事实相关的词，每个词之间用空格分隔。\nFact: {claim}\nSentence: {sent}\n: Output:'}, n_threads: int = 1)[source]
Bases:
StatCalculatorExtracts claims from the text of the model generation.