TOP500 - TOP500

TOP500
Top500 logo.svg
Действующие лица
Учредил 24 июня 1993 г. ( 1993-06-24 )
Веб-сайт www .top500 .org

В TOP500 рангах проекта и детали 500 самых мощных не- распределенных компьютерных систем в мире. Проект стартовал в 1993 году и дважды в год публикует обновленный список суперкомпьютеров . Первое из этих обновлений всегда совпадает с июньской Международной конференцией по суперкомпьютерам , а второе представлено на конференции по суперкомпьютерам ACM / IEEE в ноябре. Проект направлен на обеспечение надежной основы для отслеживания и выявления тенденций в высокопроизводительных вычислениях и основание рейтингов на HPL, портативной реализации высокопроизводительного теста LINPACK, написанного на языке Fortran для компьютеров с распределенной памятью.

В настоящее время последний список TOP500 является 57 - й , опубликованный в июне 2021 г. С июня 2020 года, японская Fugaku является мировым самым мощным суперкомпьютером, достигая первоначально 415,53 PETA FLOPs и 442.01 петафлопс после обновления в ноябре 2020 года на Linpack тестах . В настоящее время в списке доминирует Китай с 188 суперкомпьютерами, занимая второе место ( США ).

Список TOP500 не компилируется Джек Dongarra из Университета Теннесси , Ноксвилл , Эрих Стромайер и Хорст Саймон из Национальной энергетической научно - исследовательским вычислительным центром (NERSC) и Национальной лаборатории Лоренса Беркли (LBNL), и вплоть до его смерти в 2014 году, Ханс Meuer из Мангеймского университета , Германия .

Проект TOP500 включает также список тестов Green500 и HPCG .

История

Быстрый рост производительности суперкомпьютеров, по данным сайта top500.org. Логарифмическая ось Y показывает производительность в G FLOPS .
  Совместная производительность 500 крупнейших суперкомпьютеров
  Самый быстрый суперкомпьютер
  Суперкомпьютер на 500 месте

В начале 1990-х годов потребовалось новое определение суперкомпьютера для получения достоверной статистики. После экспериментов с показателями, основанными на количестве процессоров, в 1992 году в Мангеймском университете возникла идея использовать в качестве основы подробный список установленных систем. В начале 1993 года Джека Донгарра убедили присоединиться к проекту со своими тестами LINPACK . Первая тестовая версия была выпущена в мае 1993 года, частично на основе данных, доступных в Интернете, включая следующие источники:

  • «Список самых мощных компьютерных сайтов в мире», составленный Гюнтером Арендтом
  • Дэвид Каханер , директор Азиатской программы технологической информации (ATIP); опубликовал в 1992 году отчет под названием «Отчет Кахнера о суперкомпьютере в Японии», в котором содержалось огромное количество данных.

Информация из этих источников была использована для первых двух списков. С июня 1993 года TOP500 составляется два раза в год только на основании информации, предоставленной сайтом и поставщиком.

С 1993 года показатели позиции №1 в рейтинге неуклонно росли в соответствии с законом Мура , удваиваясь примерно каждые 14 месяцев. В июне 2018 года Summit был самым быстрым с Rpeak 187,6593 P FLOPS . Для сравнения, это более чем в 1432513 раз быстрее, чем Connection Machine CM-5/1024 (1024 ядра), которая была самой быстрой системой в ноябре 1993 года (двадцать пять лет назад) с Rpeak 131,0 G FLOPS .

Архитектура и операционные системы

Доля семейств процессорных архитектур в ТОП500 суперкомпьютеров по временному тренду

По состоянию на ноябрь 2020 года все суперкомпьютеры в TOP500 являются 64-разрядными , в основном на базе процессоров с архитектурой набора команд x86-64 (из которых 459 - на базе Intel EMT64, а 22 - на базе AMD AMD64 . RISC- архитектуры). Тринадцать суперкомпьютеров, в том числе №2 и №2. 3 основаны на ISA мощности , используемого микропроцессорами IBM Power , три на Fujitsu -разработаны SPARC 64 чипов. Один компьютер использует другой не- США дизайн, японский PEZY-SC (на основе британской ARM ) в качестве ускорителя в паре с Intel, Xeon.

В последние годы в гетерогенных вычислений , главным образом с использованием Nvidia «ы графических процессоров (GPU) или на базе x86 от Intel Xeon Phi , как сопроцессоры , доминировал в TOP500 из - за лучшего производительности на ватт соотношениях и часто обеспечивая более высокую абсолютную производительность. Единственный основные недавние исключения вышеупомянутой Fugaku , Sunway TaihuLight и K компьютер . Tianhe-2 также является интересным исключением, поскольку, хотя он использует ускорители (только не графические процессоры), то есть Xeon Phi , санкции США заблокировали обновление, но все же обновленный Tianhe-2 A работает быстрее с Matrix-2000, не базирующимся в США. , ускорители, которые были введены в эксплуатацию с опережением графика. Суперкомпьютер Frontera, занявший 5-е место на момент дебюта, на основе 28-ядерного (56-поточного) Intel Xeon Platinum также является исключением, поскольку он был измерен без помощи графических процессоров, которые были позже добавлены, но имеет две подсистемы, обе с графическими процессорами Nvidia, и один из них дополнительно с процессорами POWER9 , а другой жидкостным иммерсионным охлаждением .

Два компьютера, впервые появившихся в списке в 2018 году, основаны на архитектурах, никогда ранее не встречавшихся в Top500. Один из них был новый x86-64 микроархитектуры от китайского производителя Sugon, используя Hygon Дхьяны ЦП (эти результаты от сотрудничества с AMD, а также незначительный вариант дзен -На AMD EPYC ) и занимает 38 - е место , а другой был первым Компьютер на базе ARM в списке (затем обновленный в июне 2019 г.) - с процессорами Cavium ThunderX 2. До появления 32-разрядной архитектуры x86, а затем 64-разрядной архитектуры x86-64 в начале 2000-х годов, различные семейства процессоров RISC составляли большинство суперкомпьютеров TOP500, включая архитектуры RISC, такие как SPARC , MIPS , PA-RISC и Alpha .

Доля семейств операционных систем в ТОП500 суперкомпьютеров по временному тренду

Все самые быстрые суперкомпьютеры за десятилетие после суперкомпьютера Earth Simulator использовали операционные системы на базе Linux . С ноября 2017 года все перечисленные суперкомпьютеры используют операционную систему на базе ядра Linux .

С ноября 2015 года ни один компьютер в списке не работает под управлением Windows (в то время как Microsoft снова появилась в списке в 2021 году с Ubuntu на основе Linux). Не в ноябре 2014 года, Windows Azure облако компьютер уже не в списке самых быстрых суперкомпьютеров (его лучший ранг был сто шестьдесят пятой в 2012 году), не выходя из Шанхайского суперкомпьютерного центра «S Magic Cube , как только для Windows на основе суперкомпьютера в списке, пока он также выпал из списка. Он занимал 436-е место в своем последнем появлении в списке, выпущенном в июне 2015 года, в то время как его лучший рейтинг был 11-м в 2008 году. В списке больше нет компьютеров Mac OS . Одновременно у него было не более пяти таких систем, на одну больше, чем у систем Windows, появившихся позже, в то время как общая доля производительности для Windows была выше. Однако их относительная доля производительности во всем списке была одинаковой и никогда не была высокой ни для того, ни для другого. Суперкомпьютер на базе Mac OS X ( XServe , с 2200 процессорами PowerPC 970 ) когда-то занимал 7-е место в 2004 году.

Прошло уже более десяти лет с тех пор, как системы MIPS полностью выпали из списка, в то время как суперкомпьютер Gyoukou, который поднялся на 4-е место в ноябре 2017 года (после огромного обновления и с тех пор снят с производства), имел MIPS в качестве небольшой части сопроцессоров. Использование 2048-ядерных сопроцессоров (плюс 8 × 6-ядерных MIPS для каждого, которые «больше не требуют использования внешнего хост-процессора Intel Xeon E5») делает суперкомпьютер гораздо более энергоэффективным, чем другие топ-10 (т. Е. занимает 5 место в рейтинге Green500, а другие системы на базе ZettaScaler-2.2 занимают первые три места). Имея 19,86 миллиона ядер, это была самая большая система по количеству ядер, и ни одна из них не стала больше: почти вдвое больше, чем у лучшей на тот момент многоядерной системы в TOP500, китайская Sunway TaihuLight , занявшая 3-е место.

ТОП 500

После обновления для 56-го ТОП500 в ноябре 2020 г.

Fugaku увеличила производительность HPL до 442 петафлопс, что является скромным увеличением с 416 петафлопс, достигнутых системой при дебюте в июне 2020 года. Что еще более важно, Fugaku увеличила свою производительность в новом эталонном тесте HPC-AI смешанной точности до 2,0 экзафлопс, превзойдя свои 1,4 экзафлопс. отметка записана полгода назад. Это первые эталонные измерения выше одного экзафлопа для любой точности на любом типе оборудования.

Из 52-го списка (ноябрь 2018 г.) до 53-го списка (июнь 2019 г.) Frontera на базе Xeon Platinum является единственным новым суперкомпьютером из первой десятки , затем 5-м по скорости, а модернизированный Лассен на базе POWER9 переместился с 11-го на 10-е. Sequoia стала последней моделью Blue Gene / Q, полностью выпавшей из списка; он занял 10-е место в 52-м списке (и 1-е место в списке июня 2012 года, 41-е место после обновления).

Впервые все 500 систем обеспечивают производительность в петафлопс или более в тесте High Performance Linpack (HPL), при этом начальный уровень в списке теперь составляет 1,022 петафлопс. "Однако для другого теста" Summit и Sierra остаются единственными двумя систем, чтобы превысить один петафлопс в тесте HPCG , обеспечивая 2,9 и 1,8 петафлопс соответственно. Средний результат HPCG в текущем списке составляет 213,3 терафлопс, что незначительно больше, чем 211,2 шесть месяцев назад.

В 57-м рейтинге TOP500 в июне 2021 года новый суперкомпьютер Perlmutter занимает 5-е место на базе процессоров AMD и графических процессоров Nvidia, и это самый быстрый компьютер в списке Green500 , он занял 6-е место и 3-е место в списке HPCG . Microsoft снова в списке с четырьмя экземплярами Microsoft Azure (которые используют Ubuntu , поэтому все суперкомпьютеры по-прежнему основаны на Linux), с процессорами и графическими процессорами от тех же поставщиков, самый быстрый из которых занял 26-е место. А Amazon с одним экземпляром AWS заняла 41-е место. Количество суперкомпьютеров на базе ARM достигает 6, все, кроме одного, основаны на том же процессоре Fujitsu, что и в первом рейтинге, а следующий занимает 13-е место.

С июня 2021 года последний компьютер в списке обеспечивает производительность 1,5 петафлопс (Rmax).

Топ-10 позиций 57-го ТОП500 в июне 2021 г.
Ранг (предыдущий) Rmax
Rpeak
(P FLOPS )
Имя Модель Ядра процессора Ядра ускорителя (например, GPU) Соединить Производитель
Страна сайта
Год Операционная
система
1 442.010
537.212
Фугаку Суперкомпьютер Fugaku 158,976 × 48 A64FX @ 2,2 ГГц 0 Межблочный тофу D Fujitsu Центр вычислительных наук RIKEN, Япония
 
2020 г. Linux ( RHEL )
2 Снижаться(1) 148,600
200,795
Саммит IBM Power System
AC922
9216 × 22 POWER9 @ 3,07 ГГц 27,648 × 80 Тесла V100 InfiniBand EDR IBM Национальная лаборатория Ок-Ридж, США
 
2018 г. Linux ( RHEL )
3 Снижаться(2) 94,640
125,712
Сьерра IBM Power System
S922LC
8640 × 22 POWER9 при 3,1 ГГц 17,280 × 80 Тесла V100 InfiniBand EDR IBM Ливерморская национальная лаборатория Лоуренса США
 
2018 г. Linux ( RHEL )
4 Снижаться(3) 93,015
125,436
Sunway
TaihuLight
Sunway MPP 40,960 × 260 SW26010 @ 1,45 ГГц 0 Sunway NRCPC Национальный суперкомпьютерный центр в Уси, Китай
 
2016 г. Linux (поднять)
5 Увеличивать(новый) 64,590
89,795
Перлмуттер HP ? × 64 Epyc 7763 @ 2,45 ГГц ? × 108 Ампер A100 Рогатка-10 Nvidia NERSC США
 
2021 г. Linux ( среда Cray Linux )
6 Снижаться(5) 63,460
79,215
Селена Nvidia 1120 × 64 Epyc 7742 @ 2,25 ГГц 4480 × 108 ампер A100 Mellanox HDR Infiniband Nvidia Nvidia США
 
2020 г. Linux ( Ubuntu )
7 Снижаться(6) 61,445
100,679
Тяньхэ-2 А TH-IVB-FEP 35 584 × 12 Xeon E5–2692 v2 @ 2,2 ГГц 35,584 × 128 Матрица-2000 ТД Экспресс-2 NUDT Национальный суперкомпьютерный центр в Гуанчжоу, Китай
 
2013 Linux ( Kylin )
8 Снижаться(7) 44,120
70,980
JUWELS
(бустерный модуль )
БыкSequana XH2000 1872 × 24 AMD Epyc 7402 @ 2,8 ГГц 3744 × 108 ампер A100 Mellanox HDR Infiniband Атос Forschungszentrum Jülich Германия
 
2020 г. Linux ( CentOS )
9 Снижаться(8) 35,450
51,721
HPC5 Dell 3640 × 24 Xeon Gold 6252 @ 2,1 ГГц 7280 × 80 Тесла V100 Mellanox HDR Infiniband Dell EMC Eni Италия
 
2020 г. Linux ( CentOS )
10 Снижаться(9) 23,516
38,746
Frontera Dell C6420 16016 × 28 Xeon Platinum 8280 @ 2,7 ГГц (подсистемы, например, с процессорами
POWER9 и графическими процессорами Nvidia были добавлены после официального тестирования)
0 InfiniBand HDR Dell EMC Техасский вычислительный центр США
 
2019 г. Linux ( CentOS )

Легенда:

  • Ранг - позиция в рейтинге TOP500. В таблице списка TOP500 компьютеры упорядочены первыми по их значению Rmax. В случае одинаковой производительности (значение Rmax) для разных компьютеров порядок определяется по Rpeak. Для сайтов с одним и тем же компьютером порядок определяется объемом памяти, а затем в алфавитном порядке.
  • Rmax - наивысший балл, измеренный с помощью набора тестов LINPACK . Это номер, который используется для ранжирования компьютеров. Измеряется в квадриллионах 64-битных операций с плавающей запятой в секунду , т. Е. В пета FLOPS .
  • Rpeak - это теоретическая пиковая производительность системы. Вычислено в петафлопсах.
  • Имя - некоторые суперкомпьютеры уникальны, по крайней мере, по своему местоположению, и поэтому названы их владельцем.
  • Модель - вычислительная платформа в том виде, в котором она продается.
  • Процессор - архитектура набора команд или микроархитектура процессора , а также графический процессор и ускорители, если они доступны.
  • Межсоединение - соединение между вычислительными узлами. InfiniBand используется больше всего (38%) по доле производительности, тогда как Gigabit Ethernet используется больше всего (54%) по количеству компьютеров.
  • Производитель - производитель платформы и оборудования.
  • Сайт - название объекта, на котором работает суперкомпьютер.
  • Страна - страна, в которой находится компьютер.
  • Год - год установки или последнего крупного обновления.
  • Операционная система - операционная система, которую использует компьютер.

Другие рейтинги

Лучшие страны

Цифры ниже представляют количество компьютеров в TOP500, которые находятся в каждой из перечисленных стран или территорий.

По состоянию на 2021 год совокупная производительность США составляет 856,8 пфлоп / с Rmax (Япония занимает 2-е место с Rmax 631 пфлоп / с, а 3-е место после Китая по Rpeak), что почти вдвое превышает производительность машин Китая, произведенных с производительностью 445,3 пфлоп / с, в то время как Китай по-прежнему имеет наибольшее количество систем.

Распределение суперкомпьютеров в списке TOP500 по странам (по состоянию на июнь 2021 г.)
Страна или территория Системы
 Китай
188
 Соединенные Штаты
122
 Япония
34
 Франция
23
 Германия
16
 Нидерланды
16
 Ирландия
14
 Объединенное Королевство
11
 Канада
11
 Италия
6
 Саудовская Аравия
6
 Бразилия
6
 Польша
5
 Южная Корея
4
 Сингапур
4
 Россия
3
  Швейцария
3
 Норвегия
3
 Швеция
3
 Индия
2
 Словения
2
 Австралия
2
 Люксембург
2
 Объединенные Арабские Эмираты
2
 Финляндия
2
 Чехия
2
 Тайвань
1
 Болгария
1
 Марокко
1
 Австрия
1

Самый быстрый суперкомпьютер в ТОП500 по странам

(По состоянию на июнь 2021 г.)

Systems занимает первое место с 1976 года.

Дополнительная статистика

По количеству систем на июнь 2021 г .:

Пятерка лучших ускорителей / сопроцессоров
Ускоритель Системы
NVIDIA TESLA V100 (запущен в 2017 г.)
80
NVIDIA AMPERE A100 (запущен: 2020 г.)
15
NVIDIA TESLA V100 SXM2 (запущен в 2017 г.)
12
NVIDIA TESLA P100 (запущен в 2016 г.)
8
NVIDIA AMPERE A100 SXM2 40 ГБ (запущен: 2020 г.)
5
Пятерка ведущих производителей по количеству систем
Производитель Системы
Lenovo
184
Inspur
58
Sugon
45
Hewlett Packard Enterprise
39
Атос
36
Пятерка лучших операционных систем
Операционная система Системы
Linux
264
CentOS
89
Среда Cray Linux
31 год
bullx SCS
12
Red Hat Enterprise Linux
12

Примечание: все операционные системы систем TOP500 основаны на семействе Linux , но Linux, указанный выше, является общим Linux.

Самой старой системой в настоящее время является Endeavour в отделе NASA Advanced Supercomputing (NAS) в исследовательском центре NASA Ames Research Center . Первоначально он появился в 35-м списке в июне 2010 года с Rmax 50,3 терафлопс, что было оценено как нет. 112. После нескольких обновлений эта система достигла пика. 44 в 2013 году, затем опустился на 377-е место по состоянию на 2021 год с Rmax 1,654 терафлопс.

Sunway TaihuLight - это система с наибольшим количеством ядер ЦП (10 649 600). У Tianhe-2 больше всего ядер графического процессора / ускорителя (4554752). Fugaku - это система с наибольшим энергопотреблением - 29 900 мегаватт.

Новые разработки в суперкомпьютинге

В ноябре 2014 года было объявлено, что Соединенные Штаты разрабатывают два новых суперкомпьютера, которые превзойдут китайский Tianhe-2, став самым быстрым суперкомпьютером в мире. Два компьютера, Sierra и Summit , будут превышать пиковую производительность Tianhe-2 в 55 петафлопс. Summit, более мощный из двух, будет обеспечивать 150–300 пиковых петафлопс. 10 апреля 2015 года правительственные агентства США запретили продажу чипов от Nvidia суперкомпьютерным центрам в Китае как «действия, противоречащие национальной безопасности ... интересам Соединенных Штатов»; и Intel Corporation от предоставления чипов Xeon Китаю в связи с их использованием, по словам США, в исследовании ядерного оружия - исследования, в котором закон США об экспортном контроле запрещает американским компаниям участвовать - »Министерство торговли отказалось, заявив, что оно обеспокоено ядерным оружием. с машиной проводятся исследования ".

29 июля 2015 года президент Обама подписал указ о создании Национальной стратегической вычислительной инициативы, в которой содержится призыв к ускоренному развитию экзафлопсной системы (1000 петафлоп) и финансированию исследований в области постполупроводниковых вычислений.

В июне 2016 года японская фирма Fujitsu объявила на Международной конференции по суперкомпьютерам, что в ее будущем суперкомпьютере exascale будут использоваться процессоры собственной разработки, реализующие архитектуру ARMv8 . Программа Flagship2020, разработанная Fujitsu для RIKEN, планирует к 2020 году преодолеть экзафлопсный барьер с помощью суперкомпьютера Fugaku (и «похоже, что у Китая и Франции есть шанс сделать это, и что Соединенные Штаты довольны - по крайней мере, на данный момент - подождать до 2023 года, чтобы преодолеть барьер в экзафлопсах ». Эти процессоры также будут реализовывать расширения архитектуры ARMv8, эквивалентные HPC-ACE2, которую Fujitsu разрабатывает совместно с ARM Holdings .

В июне 2016 года Sunway TaihuLight стала системой № 1 с показателем 93 петафлоп / с (PFLOP / s) в тесте Linpack.

В ноябре 2016 года Piz Daint был обновлен, переместив его с 8-го на 3-е, оставив США без систем в ТОП-3 только второй раз.

Inspur был одним из крупнейших производителей систем высокопроизводительных вычислений в Цзинане , Китай. По состоянию на май 2017 года Inspur стал третьим производителем, выпустившим 64-процессорные системы - рекорд, который ранее был достигнут IBM и HP . Компания получила доход более 10 миллиардов долларов и успешно поставила ряд систем высокопроизводительных вычислений в страны за пределами Китая, такие как Судан, Зимбабве, Саудовская Аравия, Венесуэла. Inspur также был основным технологическим партнером обоих суперкомпьютеров из Китая, а именно Tianhe-2 и Taihu, которые до ноября 2017 года возглавляли две верхние позиции в списке суперкомпьютеров Top500. Inspur и Supermicro выпустили несколько платформ, предназначенных для высокопроизводительных вычислений с использованием графических процессоров, таких как SR -AI и AGX-2 в мае 2017 года.

В ноябре 2017 года второй раз подряд в ТОП3 не попала система из США. №1 и №2 были установлены в Китае, система в Швейцарии на №3, а новая система в Японии была №4, продвигая ведущую систему США на №5.

В июне 2018 года Summit, система, созданная IBM в Национальной лаборатории Ок-Ридж (ORNL) в Теннесси, США, заняла первое место с производительностью 122,3 петафлоп / с (PFLOP / s), а Sierra - очень похожей. Система в Ливерморской национальной лаборатории им. Лоуренса, Калифорния, США заняла третье место. Эти две системы также заняли первые два места в тесте HPCG. Благодаря Summit и Sierra США вернули себе лидерство в качестве потребителя производительности высокопроизводительных вычислений с 38,2% от общей установленной производительности, в то время как Китай занял второе место с 29,1% от общей установленной производительности. Впервые в истории ведущим производителем высокопроизводительных вычислений стала не американская компания. Компания Lenovo стала лидером с 23,8% установленных систем. За ним следуют HPE с 15,8%, Inspur с 13,6%, Cray с 11,2% и Sugon с 11%.

18 марта 2019 года Министерство энергетики США и Intel объявили, что первый суперкомпьютер exaFLOP будет введен в эксплуатацию в Аргоннской национальной лаборатории к концу 2021 года. Компьютер под названием Aurora будет доставлен в Аргонн компаниями Intel и Cray .

7 мая 2019 года Министерство энергетики США объявило о заключении контракта с Cray на создание суперкомпьютера Frontier в Национальной лаборатории Ок-Ридж. Ожидается, что Frontier будет введен в эксплуатацию в 2021 году и, с производительностью более 1,5 экзафлопс, должен стать самым мощным компьютером в мире.

По состоянию на июнь 2019 года все системы TOP500 обеспечивают производительность в петафлопс или более в тесте High Performance Linpack (HPL), при этом начальный уровень в списке составляет 1,022 петафлопс.

Большие машины не в списке

Некоторых основных систем нет в списке. Самым ярким примером является организация Blue Waters NCSA, которая публично объявила о своем решении не участвовать в списке, поскольку не считает, что это точно указывает на способность любой системы выполнять полезную работу. Другие организации решают не включать системы в список по соображениям безопасности и / или коммерческой конкурентоспособности. Дополнительные специализированные машины, которые не поддерживают или не запускают эталонный тест, не включались, такие как RIKEN MDGRAPE-3 и MDGRAPE-4 . Модуль Google Tensor Processing Unit v4 обеспечивает максимальную производительность 1,1 экзафлопс, однако эти модули являются узкоспециализированными для выполнения рабочих нагрузок машинного обучения.

Компьютеры и архитектуры, выпавшие из списка

IBM Roadrunner больше не в списке (равно как и других, использующих сопроцессор Cell или PowerXCell ).

Хотя в 2004 году системы на базе Itanium вышли на второе место, в настоящее время не осталось ни одной.

Аналогичным образом (не в стиле SIMD ) векторные процессоры (на основе NEC, такие как симулятор Земли, который был самым быстрым в 2002 году) также выпали из списка. Также больше не появляются компьютеры Sun Starfire, которые раньше занимали много мест.

Последние компьютеры без Linux в списке - два компьютера AIX - работающие на POWER7 (в июле 2017 года занимали 494-е и 495-е места, первоначально 86-е и 85-е), выпали из списка в ноябре 2017 года.

Смотрите также

использованная литература

внешние ссылки