Với sự phát triển nhanh chóng của công nghệ trí tuệ nhân tạo (AI), các mô hình ngôn ngữ lớn (Large Language Models – LLM) đang thay đổi cách người dùng tiếp cận thông tin. Những hệ thống sử dụng AI như ChatGPT, Google Gemini, Claude, Perplexity,… hướng tới mục tiêu xử lý nội dung web phức tạp để cung cấp cho người dùng các câu trả lời nhanh hơn, chính xác hơn và có ngữ cảnh. Tuy nhiên, trong quá trình này có những trở ngại với AI, do các cấu trúc HTML phức tạp, mã không cần thiết và việc chặn từ robots.txt trên một số trang web.
Llms.txt file là gì?
Llms.txt là một tập tin văn bản đặc biệt giúp các website được hiểu tốt hơn bởi các hệ thống trí tuệ nhân tạo và các mô hình ngôn ngữ lớn. Tập tin này được đặt trong thư mục gốc (root directory) của website, giúp các hệ thống AI như ChatGPT, Google Gemini, Claude, Perplexity xử lý nội dung trang web một cách chính xác và hiệu quả hơn.
- Định dạng llms.txt được coi là xuất hiện nhằm khắc phục những hạn chế của các chuẩn web truyền thống đối với hệ thống AI. Chuẩn này được đề xuất bởi Jeremy Howard vào tháng 9 năm 2024 qua trang llmstxt.org.
- Mục đích là để mô hình AI có thể sử dụng nội dung web một cách hiệu quả hơn, bởi vì các trang HTML thường có cấu trúc phức tạp, kích thước lớn, và chứa nhiều phần như menu điều hướng, quảng cáo, script, v.v., điều này gây khó khăn cho việc hiểu và xử lý nội dung.
- Cho đến thời điểm bài viết, chưa có thông tin cho thấy Google chính thức hỗ trợ llms.txt.
Llms.txt làm gì?
- Llms.txt giúp các mô hình ngôn ngữ lớn hiểu và xử lý website tốt hơn bằng cách tóm tắt các nội dung quan trọng của website, dẫn dắt chúng tới những thông tin thiết yếu, để phản hồi các truy vấn của người dùng chính xác và hiệu quả hơn.
- Trang web thường chứa HTML phức tạp, menu, quảng cáo, JavaScript, và các thành phần khác gây “nhiễu” khi xử lý nội dung. Llms.txt nhằm loại bỏ phần nào sự phức tạp này, cung cấp dữ liệu rõ ràng, dễ xử lý hơn cho AI.
Ví dụ llms.txt (bằng tiếng Việt)
Giả sử bạn có website SEODAO.VN, bạn có thể tạo file llms.txt như sau:
Điểm khác nhau giữa llms.txt và robots.txt
Mặc dù cả hai tập tin đều nằm ở thư mục gốc của website và đều có cấu trúc có thể đọc được bởi máy, nhưng chúng có mục đích và cách sử dụng khác nhau:
| Tiêu chí | llms.txt | robots.txt |
|---|---|---|
| Mục đích | Hướng dẫn các mô hình AI/LLM (ChatGPT, Gemini, Claude, Perplexity…) hiểu nội dung chính xác hơn. | Hướng dẫn bot tìm kiếm (Googlebot, Bingbot…) về việc crawl và index nội dung. |
| Định dạng | Markdown (dễ đọc, dễ hiểu, có thể dùng heading, list, link). | Văn bản thuần với cú pháp User-agent, Disallow, Allow. |
| Đối tượng chính | AI Search, Generative AI, công cụ hỏi đáp dựa trên LLM. | Công cụ tìm kiếm truyền thống (Google Search, Bing Search). |
| Nội dung | Tóm tắt nội dung quan trọng, cung cấp liên kết chính, loại bỏ yếu tố gây nhiễu (quảng cáo, script). | Quy định phần nào của website có thể / không thể crawl. |
| Ảnh hưởng SEO | Liên quan đến GEO (Generative Engine Optimization) – tối ưu hiển thị trên AI Search. | Liên quan trực tiếp đến SEO truyền thống – ảnh hưởng index và ranking trên Google. |
| Vị trí | /llms.txt trong thư mục gốc. | /robots.txt trong thư mục gốc. |
| Tương tác với nhau | Có thể được tham chiếu từ robots.txt để AI dễ tìm thấy. | Có thể dẫn link tới llms.txt để hỗ trợ thêm cho AI. |
Những điều nên cân nhắc khi tạo llms.txt
Để tập tin llms.txt được xử lý đúng và hiệu quả bởi các hệ thống AI, cần đảm bảo các yếu tố sau:
- Viết bằng định dạng Markdown, sao cho đơn giản và dễ hiểu.
- Chỉ bao gồm những nội dung quan trọng, tránh chi tiết thừa.
- Tránh sử dụng các cấu trúc phức tạp như HTML hoặc JavaScript trong nội dung.
- Thông tin phải chính xác, cập nhật, mô tả rõ ràng.
- Nếu có nội dung phụ hoặc không quá quan trọng, thì nên đặt ở phần riêng, để hệ thống AI có thể ưu tiên.
- Tránh thông tin mâu thuẫn giữa llms.txt và robots.txt. Ví dụ: nếu robots.txt chặn truy cập một trang nào đó, llms.txt không nên cung cấp liên kết tới trang mà thực tế bot AI không thể truy cập.
- Cập nhật llms.txt thường xuyên khi website thay đổi nội dung.
Nội dung nên có trong llms.txt
Để llms.txt có hiệu quả, nó nên được cấu trúc rõ ràng, bao gồm các phần sau:
- Tiêu đề H1: Tên của dự án hoặc tên website.
- Đoạn tóm tắt (Excerpt Block): Tóm tắt về dự án và các thông tin chính.
- Thông tin chi tiết: Các đoạn văn hoặc danh sách cung cấp thêm thông tin cụ thể về dự án hoặc website.
- Danh sách liên kết (Link Lists): Liệt kê các URL tới các tài liệu, trang hoặc nguồn quan trọng, mỗi liên kết nếu có thể nên có mô tả ngắn kèm theo.
Ngoài ra, có thể thêm thông tin phụ thông qua các directive – tức là các chỉ dẫn thêm nếu cần.
Cách tích hợp llms.txt vào website
Quá trình tích hợp llms.txt vào website nên theo các bước sau:
- Soạn file llms.txt ở định dạng Markdown như đã nói.
- Tải lên thư mục gốc (root directory) của website.
- Thêm tham chiếu tới llms.txt trong robots.txt, để bot AI biết có file này.
- Kiểm tra tính truy cập của file qua trình duyệt – đảm bảo khi gõ đường dẫn https://domain.com/llms.txt sẽ hiển thị được.
- Định nghĩa quyền truy cập cần thiết để các bot AI có thể phát hiện file này. Ví dụ, không chặn truy cập vào llms.txt qua robots.txt.
- Thường xuyên cập nhật file khi nội dung website thay đổi, và kiểm tra nó bằng các công cụ xác thực (validation tools) để đảm bảo file không bị lỗi.
Nếu website của bạn sử dụng WordPress:
- Bạn có thể thêm llms.txt thủ công vào thư mục public_html hoặc thư mục gốc.
- Nếu không muốn làm thủ công, có thể dùng plugin để tạo và quản lý llms.txt.
Tại sao cần theo dõi các yêu cầu truy cập sau khi tích hợp llms.txt?
Sau khi đã tích hợp llms.txt, việc giám sát các yêu cầu từ các hệ thống AI là rất quan trọng để đánh giá xem file có hoạt động đúng hay không:
- Không chỉ đơn giản kiểm tra rằng file tồn tại, mà cần xem hệ thống AI nào đang truy cập file này, họ sử dụng thông tin như thế nào.
- Theo dõi lượng truy cập từ AI có thể ảnh hưởng đến traffic tổng thể của site. Có thể giúp bạn hiểu xem việc sử dụng llms.txt có giúp cải thiện khả năng hiển thị nội dung trong các công cụ AI nữa hay không.
Tóm lại, llms.txt là một chuẩn mới nổi nhằm giúp website tương thích tốt hơn với các mô hình ngôn ngữ lớn của AI, bằng cách cung cấp nội dung quan trọng theo cách rõ ràng, đơn giản. Nó khác với robots.txt về mục đích và đối tượng, không thay thế mà bổ sung cho nhau. Việc triển khai llms.txt đòi hỏi chú ý đến cấu trúc, nội dung, định dạng và phải được cập nhật thường xuyên. Đồng thời, theo dõi sau khi tích hợp để đảm bảo hiệu quả thực tế.
Chào mọi người, mình là Thiện. Hiện tại mình đang là một SEO freelancer, với mong muốn chia sẻ kiến thức cũng như tư vấn rõ hơn những kinh nghiệm về SEO đến với các bạn SEO newbie cũng như khách hàng. Hy vọng sẽ giúp ích được cho mọi người trong việc nghiên cứu và triển khai các công việc liên quan đến SEO.