როცა OpenAI-ის, Anthropic-ისა და Google-ის სამი უმსხვილესი AI გიგანტის ფლაგმანური მოდელები ერთსა და იმავე ასპარეზზე ერთვებიან შეჯიბრში, რომელი უფრო კარგად მართავს რობოტს?
20 ოქტომბერს, მიფენგ ტექნოლოგიის, Hugging Face-ის, NVIDIA-ს, ცინხუას უნივერსიტეტისა და მსოფლიოს დაახლოებით 20 უნივერსიტეტის, კომპანიისა და სამეცნიერო-კვლევითი ინსტიტუტის მიერ ერთობლივად წამოწყებულმა ემბოდიმენტურმა ასპარეზმა RoboColiseum-მა გამოაქვეყნა ამ რაუნდის შეფასების შედეგები: Claude Opus 5.5 ოთხ ფლაგმანურ მოდელს შორის კომპლექსური შეფასებით პირველ ადგილზეა, GPT-6 Astra კი მას მჭიდროდ მოჰყვება.
ცალკეული მაჩვენებლებით, ოთხ ფლაგმანურ მოდელს შორის GPT-6 Astra ლიდერობს ინსტრუქციის დაცვასა და საერთო დეზორგანიზაციასთან ადაპტაციაში, სადაც ინსტრუქციის დაცვის ქულამ 99.35-ს მიაღწია; Opus უკეთესად ამჟღავნებს თავს სივრცით გაგებასა და ზოგად ოპერაციებში და ყველა რაუნდის შეფასების ტოკენების მინიმალური ხარჯით დაიკავა პირველი ადგილი ფლაგმანურ ჯგუფში. გამოსახულების ხარისხის დეზორგანიზაციის ტესტში GPT-6.1 Sol მკვეთრად ჩამორჩა დანარჩენ სამ მოდელს, რაც აჩვენებს განსხვავებას სხვადასხვა მოდელის სტაბილურობაში ვიზუალური ინფორმაციის ცვლილებების მიმართ.
მაგრამ ამ რაუნდის კომპლექსური რეიტინგის პირველი ორი ადგილი მაინც ემბოდიმენტულ სტრატეგიულ მოდელებს უკავიათ, განსაკუთრებით ზოგადი ოპერაციების განზომილებაში უპირატესობის შენარჩუნებით.
ეს ერთსა და იმავე ასპარეზზე შეჯიბრი ინდუსტრიას აძლევს თვალსაჩინო ცნობარს იმის შესახებ, თუ რა უპირატესობები და სუსტი მხარეები აქვთ ზოგად დიდ მოდელებსა და ემბოდიმენტულ სტრატეგიულ მოდელებს.
RoboColiseum ინსტრუქციის დაცვის, სივრცითი გაგების, დეზორგანიზაციასთან ადაპტაციისა და ზოგადი ოპერაციების ირგვლივ გვთავაზობს ოთხი ტიპის შესაძლებლობის ქვერეიტინგს და 78 მაღალი სიზუსტის სიმულაციური შეფასების დავალებას, რაც აჩვენებს როგორც მოდელების ცალკეულ მაჩვენებლებს, ისე აღრიცხავს დავალების შესრულების ნაბიჯებსა და წარუმატებლობის ადგილებს, რათა დეველოპერებმა სწრაფად დაადგინონ მოდელის შესაძლებლობების სუსტი მხარეები.
როგორც ერთობლივი დამფუძნებელი, მიფენგი RoboColiseum-ს აწვდის მაღალი სიზუსტის ობიექტურ აქტივებსა და სიმულაციურ სცენარებს, მხარს უჭერს რთული რობოტული ოპერაციების დავალებების შეფასების გარემოს აგებას და უზრუნველყოფს საბაზისო რესურსებს სხვადასხვა ობიექტის ურთიერთქმედების, სივრცითი განლაგებისა და გარემო პირობების ქვეშ მოდელის შესაძლებლობების ტესტირებისთვის.
თუ რამდენად ასახავს მოდელის შედეგები სიმულაციაში რეალურ ოპერაციულ შესრულებას, ასევე შეფასების გასაღებია. პლატფორმის მიერ გამოქვეყნებული ფაქტობრივი ტესტირების შედეგების მიხედვით, RoboColiseum-ის სიმულაციური შეფასებისა და რეალურ მოწყობილობაზე განლაგების კორელაცია 89.5%-ს აღწევს, ერთი და იმავე მოდელის შეფასების სხვაობა სიმულაციასა და რეალურ სამყაროში 10%-ზე ნაკლებია, რაც დეველოპერებს საშუალებას აძლევს რეალურ მოწყობილობაზე ტესტირებამდე მოახდინონ მოდელის შერჩევა და პრობლემების ლოკალიზაცია.
მიფენგ ტექნოლოგია გვთავაზობს „სრულ, კარგ და სწრაფ“ მონაცემთა მიწოდების სისტემას, რომელიც მოიცავს სამ ძირითად მონაცემთა პარადიგმას: რეალური მოწყობილობა, სიმულაცია და უსხეულო. სიმულაციის მიმართულებით, მიფენგი გვთავაზობს ორი ტიპის რესურსს — ობიექტური აქტივები და გარემოს აქტივები, რომლებიც მოიცავს სხვადასხვა ყოველდღიურ ნივთსა და შიდა სივრცის სცენარს, ასევე უზრუნველყოფს სცენის რეკონსტრუქციის, ექსპერტული ტრაექტორიის მონაცემების მოპოვებისა და შეფასების შედეგების ვიზუალიზაციის შესაძლებლობებს, რაც ეხმარება მოდელების გუნდებს მრავალფეროვანი ვარჯიშისა და შეფასების განხორციელებაში.
Coliseum თავდაპირველად ძველი რომის წრიულ ამფითეატრს ნიშნავს; RoboColiseum ამ ხატოვანებას იყენებს მრავალგანზომილებიანი სისტემური შეფასების სისტემის ასაგებად, რათა რეალურ მოწყობილობაზე შესრულებასთან მაღალკორელირებული სიმულაციური შეფასებით ემბოდიმენტული ინტელექტის მოდელებისთვის შექმნას საჯარო, ნეიტრალური და რეპროდუცირებადი „ასპარეზი“ და „სავარჯიშო მოედანი“. ნებისმიერ უნივერსიტეტს, კვლევით ინსტიტუტს ან კომპანია-დეველოპერს შეუძლია წარადგინოს თავისი მოდელი და გაიაროს სტანდარტიზებული „გამოცდა“. აგვისტოში გაშვებიდან დღემდე, 100-ზე მეტმა გუნდმა ქვეყნის შიგნით და მის ფარგლებს გარეთ უკვე განახორციელა მოდელების ვარჯიში და შეფასება პლატფორმაზე.
RoboColiseum ახლა უკვე ღიაა მსოფლიო დეველოპერებისთვის და მოდელების გუნდებს შეფასებაში მონაწილეობის მისაღებად იწვევს.
