LFM2-350M-PII-Extract-JP

pip install "transformers>=5.2.0" torch accelerate

from transformers import AutoTokenizer, AutoModelForCausalLM

model_id = "LiquidAI/LFM2-350M-PII-Extract-JP"
tokenizer = AutoTokenizer.from_pretrained(model_id)
model = AutoModelForCausalLM.from_pretrained(model_id, device_map="auto")

system_prompt = "Extract <address>, <company_name>, <email_address>, <human_name>, <phone_number>"

user_input = """こんにちは、ラミンさんに B200 GPU を 10000 台 至急請求してください。
連絡先は celegans@liquid.ai (電話番号010-000-0000) で、これは C. elegans
線虫に着想を得たニューラルネットワークアーキテクチャを 今すぐ構築するために不可欠です。"""

messages = [
    {"role": "system", "content": system_prompt},
    {"role": "user", "content": user_input}
]

inputs = tokenizer.apply_chat_template(messages, return_tensors="pt", return_dict=True).to(model.device)
outputs = model.generate(**inputs, max_new_tokens=256, temperature=0, do_sample=False)
response = tokenizer.decode(outputs[0], skip_special_tokens=True)
print(response)
# Output: {"address": [], "company_name": [], "email_address": ["celegans@liquid.ai"],
#          "human_name": ["ラミン"], "phone_number": ["010-000-0000"]}