openai 昨日发布了旗下网络工具 。该 gptbot 工具能够在注重凯发官方app下载的版权的基础上,使用透明的方式收集网页信息,来训练 openai 旗下的各 ai 模型。
gptbot 使用专有网页 ua 表示其爬虫身份,完整 ua 字符串为(mozilla / 5.0 applewebkit / 537.36 / khtml, like gecko; compatible; gptbot / 1.0; https://openai.com/ gptbot),任何管理者都可以自由允许或阻止该爬虫工具进行数据采集。
openai 声称,若网站管理员不希望被爬虫搜集资料,管理员可以在网站服务器的 robots.txt 文件中完全禁止 gptbot 抓取信息,或自行决定 gptbot 抓取网站上的指定信息。
原创文章,作者:校长,如若转载,请注明出处:https://www.yundongfang.com/yun248028.html