КЛАСС АРМАТУРЫ А1 А2 А3
КЛАСС АРМАТУРЫ А1 А2 А3
В зависимости от диаметра, может производиться в виде: Проволоки, поставляется в бухтах (до 12 миллиметров включительно), Стержней различной длины. Также арматура может быть: ненапрягаемой и напрягаемой, канатной, стержневой, проволочной, в виде арматурных изделий. Арматура класса А2 (A300) Арматурная сталь, или как ее называют арматура класса А 2 , используется при армировании различного типа железобетонных конструкций. Рассматриваемый профиль может использоваться для армирования обычных и предварительно напрягаемых конструкций, в зависимости от типа возводимой конструкции. Для производства используются следующие марки стали: ст5сп(пс) – углеродистая конструкционная сталь обыкновенного качества, используемая в клепаных конструкциях и для изготовления арматурных стержней, ст18Г2С – низколегированная конструкционная сталь, используемая для изготовления сварных конструкций.
Класс арматуры а1 а2 а3
Цена на арматуру класса А2 (А300) за тонну и за метр.
Контактный номер телефона компaнии «ТРАСТ МЕТАЛЛ» (г. Имеет рифленую поверхность – выступы, которые обеспечивают надлежащее сцепление стали с бетоном при укладке стержней в опалубку. Именно наличие таких рифлений делает рассматриваемый класс изделий такими востребованными в современном строительстве. Москва), который находится в столице, цены указаны в таблице. Москва) для получения дополнительной информации: Продажа рассматриваемого проката осуществляется со склада компaнии «ТРАСТ МЕТАЛЛ» (г.
Поскольку при возведении любого типа зданий и сооружений необходимо для начала возвести надежный и долговечный фундамент, арматура А 2 не теряет своей актуальности. Все цены на арматуру класса A 2 вы можете узнать по телефону в Москве: Технические характеристики и требования к арматуре класса А2. Арматура класса А2 применяется при: малоэтажном, коттеджном гражданском строительстве, возведении промышленных сооружений и зданий производственных цехов, торговых центров, складов и т.д. Может использоваться и как продольная, и как поперечная, в зависимости от цели ее укладки в бетон – либо для предотвращения наклонных трещин, либо для предотвращения поперечных.
Рассматриваемая арматура является рифленой, холоднокатаной или горячекатаной. Как и другие типы строительной арматуры, рассматриваемая арматура А 300 незаменима при строительстве металлических и железобетонных конструкций, она призвана сделать их прочнее, надежнее, долговечнее.
Сфера применения.
Смотрите также
АРМАТУРА А3 ВЕС
За счет этого становится возможным применять дуговую сварку без дефектов выходного продукта. Применение технологии ТМУ позволяет изготавливать арматурную…
АРМАТУРА СТАЛЬ 12 КЛАСС А3 А500С ВЕС
Во время работы вам также могут понадобиться гибочные станки. Серповидный А500с с редкими выступами более удобен для проведения сварочных работ. Ярким…
АРМАТУРА СТАЛЬ 10 КЛАСС А3 А500С ВЕС
Помимо этого, при изготовлении допускается добавка титана: от 0,01% до 0,06%. Гладкий профиль в основном производится по индивидуальным заказам. Арматура…
АРМАТУРА А3 8 ММ ВЕС
Рифленая арматура класса 500С имеет серповидные выступы, которые не пересекаются с продольными ребрами.
Применение технологии ТМУ позволяет изготавливать…ВЕС АРМАТУРЫ А1 Ф6
Для производства AIII применяются низколегированные марганцем и бором марки: 32Г2Рпс, 35ГС, 25Г2С, механические свойства — За счет легирующих добТРАСТ…
Применение технологии ТМУ позволяет изготавливать…Отличие арматуры а2 от а3. Арматура — классификация и применение
[REQ_ERR: OPERATION_TIMEDOUT] [KTrafficClient] Something is wrong. Enable debug mode to see the reason.
Это существенно увеличивает прочность несущей конструкции. Недостатком же является более низкая коррозионная стойкость, из-за чего арматуру марки А3 не рекомендуется применять в сочетании с некоторыми типами бетона, в местах с высокой влажностью и агрессивной химической средой.
Арматура А1 и А3 отличается не только характеристиками, но и ценой. Спектр применения обоих марок широк, и зачастую они используются в комбинации друг с другом.
Что нужно знать о маркировке и видах арматуры?
А1 считается универсальным решением, которое рассматривают в первую очередь.
Ее используют для изготовления множества железобетонных изделий: плит, колец, балок, блоков. Также продукцию с гладким профилем используют при заливке стяжки, отделке фасадов и для укрепления колонн.
Рекомендуется использовать её для фундамента здания в роли конструктивной и монтажной. А3 применяют в тех случаях, когда от железобетона требуется повышенная прочность. Ее используют при возведении мостов, плотин и других массивных объектов. Также высокопрочная арматура способна выдержать нагрузки монолитных зданий и фундаментов, которые испытывают высокое давление.
Спецификация арматуры А2
Марку А3 рекомендуют использовать и для изготовления железобетонных перекрытий. Кроме того, ее используют для усиления каркаса на основе А1.
Комбинированная сетка обеспечивает высокую прочность при доступной цене. Помимо арматуры А1 и А3, отличия которых мы уже рассмотрели, предприятия выпускают и другие марки изделий, которые могут оказаться оптимальными для вашей задачи.
Все они, как и А3, имеют периодический профиль и не столь устойчивы к коррозии в этом плане А1 уникальна.
Марка А2 изготавливается из стали с меньшим количеством легирующих добавок, что делает ее дешевой, но менее прочной.
Ее активно используют при строительстве частных домов и малоэтажных коммерческих построек. А4, А5 и А6 способны выдерживать огромные нагрузки, но из-за высокой цены их применение оправдано только в высоконагруженных конструкциях. Немаловажно и то, в каком виде вы будете приобретать продукцию.
Она выпускается как прутьями, так и мотками. Разберемся, в чем разница.
Выбор марки
Предельная длина прутьев составляет 12 метров. С ними проще работать, так как их удобнее резать и не нужно выпрямлять, но есть и недостаток.
После нарезания прутьев неизбежно остаются обрезки и часть материала уходит на свалку. С мотками такой проблемы нет.
Кроме того, они незаменимы, когда в конструкции требуется арматурная сетка длиннее 12 метров. Подведя итоги, можно сказать, что отличия арматуры А1 от А3 делают ее более универсальной.
Отличие классов арматуры
Она подойдет в большинстве случаев и позволит обойтись меньшими затратами, но тогда, когда требуется высокая прочность, лучше не экономить и использовать.
Если же после прочтения статьи у вас остались сомнения, какую марку арматуры выбрать, то лучше обратиться за советом к профессионалу, который подберет оптимальное решение для вашего проекта. Есть огромное множество видов арматуры, в которых потребитель может запутаться.
Самые распространенные, употребляемые и применяемые — это арматура А1 и арматура А3. Задачи у них разные, состав разные, внешний вид разный — так что мы пройдемся по всем отличиям подробнее. А1 — это гладкая арматура. Связано это с задачами, которые стоят перед данным видом армированной стали — они используются как составные части железобетонных каркасов и сеток.
Отличительные особенности поверхности
Это свойство связано с тем, что их достаточно легко соединять электросваркой. Соответственно, гладкая поверхность имеет и свои недостатки — к примеру, не самое лучшее сцепление с бетоном. А3 она же армированная сталь А в первую очередь от А1 А отличается профилем. Он у данного вида арматуры рифленый. Имеются поперечные выступы и продольные ребра.
Они расположены под строго определенным углом по отношению друг к другу и равномерно по всей длине стержня. Именно эти ребра и выступы помогают намертво сцепить арматуру и бетон.
Это позволяет делать более прочные железобетонные конструкции. Поэтому в отличие от своего гладкого собрата, А3 можно использовать в качестве основного армирующего материала. Собственно говоря, и из-за этого арматура А3 является самым используемым видом арматуры.
Арматура А3 намного прочнее А1.
Арматура рифленая класса А2. Различия между арматурой а1 и а3
Все дело в том, что при изготовлении А3 используется высоколегированная сталь, содержащая примеси таких металлов, как хром, марганец, титан, кремний. Поэтому подобная арматура используются там, где требуется большая прочность — изготовление полов, потолков, а также высотные конструкции и такая серьезная инфраструктура, как мосты и эстакады.
Металлопрокатные заводы производят сортамент арматуры свыше 12 видов. Основным назначением ее остается рассредоточение напряжений в железобетонных изделиях для предупреждения деформирующих разрушений конструкций.
Производится в виде прутков диаметром мм с гладкой поверхностью. Арматура строительная согласно ГОСТ выпускается горячекатаной или холоднотянутой со следующими основными, обязательными характеристиками:.
Под арматурой класса А3 принято понимать изделия, которые относятся к сортовому прокату. За счет своей многофункциональности, такое изделие получило распространение на строительных объектах по всему миру.
Применяя такую арматурную сталь допустимо армирование обычных и преднапряженных железобетонных изделий. По требованию заказчика может быть выполнена из гладкого или периодического профиля рифленая , с левым и правым заходами. Гладкий профиль не имеет никаких засечек или выступов на поверхности арматуры. Характеристики периодического профиля предполагают два ребра, а также имеется рифленая поверхность из поперечных выступов , которые располагаются на винтовой линии с тремя заходами.
Имеет рифленую поверхность — выступы, которые обеспечивают надлежащее сцепление стали с бетоном при укладке стержней в опалубку.
Именно наличие таких рифлений делает рассматриваемый класс изделий такими востребованными в современном строительстве. В зависимости от диаметра, может производиться в виде:. Рассматриваемый профиль может использоваться для армирования обычных и предварительно напрягаемых конструкций, в зависимости от типа возводимой конструкции.
Арматура А2 выпускается диаметром от 10мм до 80мм. Область применения прокатного прута класса А2 мало отличается от области применения класса А1. Арматура А2, или как еще ее называют, арматурная сталь, как и прочие классы строительной арматуры, используется при армировании железобетонных конструкций, делая их прочнее, долговечнее и надежнее. Она не заменима при строительстве малоэтажных и коттеджных зданий, при возведении промышленных сооружений, производственных цехов, торговых складов и т. Арматура А2 имеет рифленую поверхность с серповидным рисунком.
Поскольку при возведении любого типа зданий и сооружений необходимо для начала возвести надежный и долговечный фундамент, арматура А2 не теряет своей актуальности.
Продажа рассматриваемого проката осуществляется со склада, цены указаны в таблице. Изделия данного вида выпускаются с диаметрами от 6 до 40 мм. Если вы хотите купить арматуру А2 диаметром меньшим 12 мм вы можете приобрести ее в виде проволоки в бухтах или же обычных стержней различной длины, если же вы хотите купить арматуру А2 диаметром более 12 мм, то вы должны знать, что она производиться лишь в стержнях.
Цена на арматуру А2 варьируется и зависит от метода производства. В отличие от арматуры А3, класс А4 выдерживает больше нагрузок, и лучше справляется с ролью каркаса для сильно напряженных конструкций, к примеру, фундамента дома.
Классы А5 и А6 в гражданском строительстве своего применения не нашли.
Заказать обратный звонок
Для него они слишком дороги, если так конечно можно выражаться. Предел их рабочих характеристик превышает любые возможные требования и нормы в гражданском строительстве.
Закупают их для промышленности, где необходимо возводить прочнейшие несущие конструкции под масштабные проекты, типа огромных цехов, заводов выдерживающих массу тяжелого оборудования и т.
Нами уже были рассмотрены основные виды арматуры, а также таблица классов. Однако на этом различия между ними не заканчиваются.
Существуют дополнительные маркировочные знаки, обозначающие те или иные особенности конкретного стержня. К примеру, запись типа А3К — это определение стержня арматуры класса А3 с дополнительной защитой от коррозии.
Стойкая к коррозии арматура А4 на складе. Различить запись очень легко, достаточно взглянуть на последнюю букву в аббревиатуре. Например, арматура класса АС , типичный образец сварных строительных стержней. Тут нужно понимать, что далеко не каждый класс такой арматурной продукции легко соединяется с другими металлами посредством сваривания. В некоторых ситуациях сталь плохо держит сварку, да и не всегда такие задачи перед ней стоят.
Вязка большинства арматурных каркасов сводится к соединению стержней проволокой или муфтами.
Арматура рифленая класса А2
Сварке в ней отводится второстепенная роль. Это впрочем, не значит, что можно обойтись совсем без сварных изделий, для чего и придумали выпускать дополнительный подкласс, предназначенный в том числе, и для удобного сваривания с другими металлоконструкциями.
Есть и другие, менее популярные элементы аббревиатуры, но их мы рассматривать не будем. Интересующимся, поможет полная таблица классов. Существует и понятие, запорная или трубопроводная арматура. Это отдельная разновидность оборудования, используемая в сантехнике. В ней есть свои классы, в том числе самый важный — класс герметичности.
Класс герметичности влияет на то, насколько качественно узел отрабатывает в трубопроводе.
Арматура класса А3 и АС производится на средне- и мелкосортных станах методом горячей прокатки. Для этого заготовку требуемого сечения нагревают в методической печи и направляют сначала в черновую, а затем в чистовую группу клетей. После формирования геометрии согласно технологической карты, готовая продукция либо сматывается в бунты на специальной моталке, либо охлаждается, режется на стержни необходимой длины и пакетируется. Требования ГОСТа более жесткие чем у ТУ, кроме того, существует ключевая разница — использование легирующих элементов в химическом составе стали.
Арматура АС производится из полуспокойной или спокойной стали с содержанием углерода 0,,22, где 3 — это условный номер и маркируется она ст.
Без герметичности невозможно осуществить сборку нормального трубопровода, поэтому на показатель герметичности, обращают серьезное внимание. Вам же нужно знать только то, что уровень герметичности узла указывается в его характеристиках, которые можно просмотреть при покупке. Любая армированная строительная конструкция, так или иначе, состоит из арматуры. Дабы не путаться в типах конструкций и их каркасах, желательно уметь различать стержни на глаз, хотя бы их основные характеристики.
Пример гладкой арматуры класса А1. Такое умение поможет вам в будущем. К тому же, развить его не так сложно. Строительная арматура сильно отличается от промышленной, а стержни первых классов с их отличием в профиле и вовсе распознаются без какого-либо труда. Все что от вас требуется — запомнить несколько правил, и дальше следовать им каждый раз, когда от вас требуется распознать, что же за продукция лежит под ногами.
Расчет ответвлений: ASME B31.3 Para. 304.3.2
Расчет ответвлений: ASME B31.3, пар. 304.3.2 — Всякий раз, когда к основному участку трубы (коллектору) добавляется ответвление, создается отверстие путем удаления заранее определенного количества металла. Мы используем ответвительные соединения: ASME B31.3 Para. 304.3.2 рассмотреть дизайн. Коллекторная труба ослаблена, так как удаленный металл больше не может противостоять силам внутреннего и/или внешнего давления. Удаленная площадь должна быть компенсирована достаточным восстановлением потери металла с помощью:
• ответвление перечисленного типа; или
• с использованием «концепции замены области».
Соединения ответвлений считаются имеющими достаточную прочность, чтобы противостоять приложенным нагрузкам от внутреннего давления, если они выполнены для перечисленных компонентов в соответствии с одним из следующих стандартов; Тройник ASME B16.9, ASME B16.11 или фитинг ответвления MSS SP-97.
Однако есть несколько других ожиданий, которые всегда должны выполняться для обеспечения полного соответствия ASME B31.3 параграфу 304.3.2. Это означает, что никаких дополнительных расчетов арматуры не требуется.
• Соединение ответвления выполняется путем приваривания перечисленных резьбовых или муфтовых соединений непосредственно к коллектору в соответствии с требованиями к сварке, подробно изложенными в параграфе 328.5.4, при условии, что ответвление ограничено максимальным размером NPS 2 или одним- четвертая часть номинального размера жатки;
• минимальная толщина муфты (в любом месте) не может быть меньше, чем коллектор;
• Можно использовать только муфты класса 3000 и выше в соответствии с ASME B16.11; и• Могут использоваться отводные соединения, не указанные в списке, если материал указан в таблице A-1 и ответвительное соединение квалифицировано такими методами, как; опыт обслуживания, экспериментальный анализ напряжений, контрольные испытания или анализ методом конечных элементов (МКЭ).
Концепция замены площади используется для замены удаленного металла за счет использования избыточного материала из коллектора, ответвления, сварных швов крепления угловой крышки или усиливающей прокладки при ее установке. Кодекс обеспечивает метод ограничения того, откуда можно брать материал, как по параллельной, так и по перпендикулярной оси к напорной трубе. Существуют правила в отношении геометрии соединения заголовка и ответвления, которые должны соблюдаться (304.3.1) при применении минимальных требований к конструкции ответвления. Это;
• отношение диаметра коллекторной трубы к толщине (𝐷ℎ/𝑇ℎ) < 100 и отношение диаметра патрубка к диаметру участка (𝐷𝑏/𝐷ℎ) не более 1;
• для напорной трубы с (𝐷ℎ/𝑇ℎ) ≥ 100 (𝐷𝑏/𝐷ℎ) должно быть меньше 0,5;
• угол между осями ответвления и жатки (ß) должен быть не менее 45˚; и
• ось ветки должна пересекать ось заголовка.
Если приведенные выше правила не выполняются, разработчик может использовать один из альтернативных методов для квалификации соединения, подробно описанного в неуказанных ответвлениях (304.
7.2). Следует также рассмотреть другие варианты дизайна, такие как; интегральная арматура или полная арматура окружения.
Площадь удаленного металла называется «Требуемой площадью армирования» (A1). Площадь армирования, необходимая для того, чтобы отводное соединение противостояло внутреннему давлению, математически выражается в соответствии с 304.3.3 (b)
A1 = th x d1(2−sinβ)
Где;
d1= эффективная длина, удаленная от коллектора на отводе
th = расчетная толщина коллектора по давлению
β = меньший угол между осями отвода и трубы
• Для ответвления под углом 90° d1 фактически представляет собой максимально возможный внутренний диаметр ответвления. Это внутренний диаметр трубы в корродированном состоянии за вычетом допуска производителей.
• Угол ß используется при оценке, поскольку может использоваться боковое соединение. Диск материала, снятого с жатки, будет больше, если угол между осью жатки и ответвлением меньше 90˚.
• Для бокового отводного соединения d1 фактически представляет собой внутренний диаметр отводной трубы с учетом припуска на коррозию и допуска на фрезерование, деленный на sin ß.
• Термин (2 – sin ß) используется для обеспечения дополнительной арматуры, соответствующей геометрии ответвления. (Дополнительное напряжение).
• th – расчетная толщина коллекторной трубы под давлением. Если разветвление не пересекает сварной шов в коллекторе, при расчете минимальной толщины стенки не следует принимать во внимание E или W.
• Удаленная область (A1) должна быть заменена свободной областью (A2, A3, A4) вокруг отверстия. Следующие области следует рассматривать как следующие;
o Избыток материала в трубопроводе (A2)
O Избыток материала в ветви труб (A3)
O Унряжение и сварные швы с прикреплением (A4)
) должен быть в достаточной степени заменен материалом, имеющимся в пределах зоны армирования.
A2 + A3 + A4 ≥ A1
𝐴2=(2𝑑2− 𝑑1) (𝑇ℎ− 𝑡ℎ− 𝑐)
𝐴3=2𝐿4(𝑇𝑏− 𝑡𝑏− 𝑐)/sinβ
A4 = Площадь сварных швов и правильно закрепленной арматуры.
Примечание. Сварные патрубки под внешним давлением требуют замены только половины A1.
Добавленная арматура
•Материал, используемый для армирования, может отличаться от материала нитки при условии, что он совместим с ветвями и патрубками в отношении свариваемости, требований к термической обработке, гальванической коррозии и теплового расширения;
• Если допускаемое напряжение для материала арматуры меньше, чем для направляющей трубы, ее расчетная площадь должна быть уменьшена на отношение величин допускаемых напряжений при определении ее вклада в площадь А4;
• Никакие дополнительные баллы не могут быть приняты за материал, имеющий более высокое значение допустимого напряжения, чем у направляющей трубы.
Крепежные сварные швы
Соединения ответвлений, включая соединительные фитинги, которые примыкают к внешней стороне коллектора или вставляются (вставляются в отверстие коллектора), должны быть присоединены сварными швами с пазами полного проплавления. Они должны заканчиваться угловым сварным швом крышки с минимальными размерами, указанными в ASME B31.3, абз. 328.5.4.
Примечания:
• Сварная сварка покрытия должна иметь размер горла не менее чем 𝑡𝑐
• Сварное сварное обеспечение для покрытия должно обеспечить плавный переход от филиала в заголовок
Зона подкрепления
Кодекс в основном ограничивает область, где любое подкрепление особенно эффективно. B31.3 утверждает, что эта область принимает форму параллелограмма в результате повышенных напряжений вокруг несплошности, которые считаются наибольшими на краях отверстия.
Пределы армирования (две стороны параллелограмма) определяются следующим образом;
• Длина напорной трубы берется от центральной линии ответвительной трубы и проходит в любом направлении, как определено 𝑑2;
- 𝑑2 = большее из;
- 𝑑1 (размер открытия в заголовке) или
- (𝑇𝑏 — 𝑐)+ (𝑇ℎ — 𝑐)+ 𝑑1/2
.
диаметр напорной трубы (𝐷ℎ)
• Ограничения по ширине арматуры (перпендикулярно коллектору) начинаются от внутренней поверхности коллекторной трубы (в корродированном состоянии) и проходят вдоль оси ответвления на расстояние, определяемое 𝐿4;
o 𝐿4 = меньшее из;
- 2,5 (𝑇𝑏 — 𝑐) или
- 2,5 (𝑇ℎ — 𝑐)+𝑇𝑟
Подключение к расчету ветвей: ASME B31.3 Para. 304.3.2. Рабочий пример:
Вы должны определить, достаточно ли поддерживается проем, созданный для ответвления, с помощью деталей, представленных ниже, или необходимо добавить усиливающее кольцо в зависимости от кольцевого напряжения?
Система трубопроводов: Пластовая вода
Конфигурация: Главный коллектор NPS 10 с примыкающим ответвлением (NPS 4), приваренным под прямым углом
Спецификация трубопровода: A106 Gr B (и коллектор, и ответвление) )
Расчетное давление: 350 фунтов на кв. дюйм
Расчетная температура: 250°F.
Допуск на коррозию: 0,12 дюйма 328.5.4.
Этап 1:
Рассчитайте требуемую площадь (A1) для ответвительного соединения под внутренним давлением, используя;
A1= th x d1(2−sinβ)
Перед вычислением A1 определите следующие переменные; 𝑡ℎ,𝑑1,𝑇𝑏& sinβ
Шаг 2:
Определите, есть ли избыточная толщина в коллекторе (A2) в зоне армирования, которую можно использовать для замены удаленного материала;
𝐴2=(2𝑑2− 𝑑1) (𝑇ℎ− 𝑡ℎ− 𝑐)
Перед вычислением A2 определите следующие переменные; 𝑇ℎ,𝑑2
Шаг 3:
Определите, есть ли избыточная толщина патрубка (A3) в пределах зоны армирования, которую можно использовать для замены снятого материала;
𝐴3=2𝐿4(𝑇𝑏− 𝑡𝑏− 𝑐)/sinβ
Перед вычислением A3 определите следующие переменные; 𝐿4, 𝑡𝑏
Этап 4:
Определите, есть ли избыточная толщина в сварных швах крепления угловой крышки (A4) между ответвлением и коллектором, которую можно использовать для замены удаленного материала;
Перед расчетом A4 необходимо определить критерии для 𝑡𝑐 в пункте 328.
5.4;
Сварная сварная шва для покрытия должен иметь размер горла не менее чем 𝑡𝑐
• 𝑡𝑐 𝑖𝑠 𝑡ℎ𝑒 𝑙𝑒𝑠𝑠𝑒𝑟 𝑜𝑓 0,7𝑇𝑏 𝑜𝑟 0,25 𝑖𝑛. (6 𝑚𝑚)
• 𝑡𝑐 𝑖𝑠 𝑡ℎ𝑒 𝑙𝑒𝑠𝑠𝑒𝑟 𝑜𝑓 (0,7)(0,207) 𝑜𝑟 0,25 𝑖𝑛. 0,145
• Размер углового сварного шва на основе минимального размера полки составляет 0,145/0,707=0,205 𝑖𝑛.
• 𝐴4=2(0,5)(0,205)2= 0,04202 𝑖𝑛.
Этап 5: (Выводы и выводы)
Достаточно ли удаленная область (A1) заменена материалом, доступным в пределах зоны армирования, т. е. A2 + A3 + A4 ≥ A1.
A1 = 0,0405² дюйма
A2 = 0,456² дюйма
A3 = 0,0209² дюйма
A4 = 0,0420² дюйма
• Мы должны были заметить, что имеется лишний материал только из A2, чтобы заменить область требуется, и для этого рабочего примера не требуется дополнительное армирование (прокладка).
• Общий материал, доступный в пределах определенной зоны армирования (A2+A3+A4), рассчитывается как 0,5189² в
Мы рассмотрим многие из этих более сложных технических вопросов в нашем курсе ASME Plant Inspector Level 3.
Хотите стать главным инспектором завода, уровень 3 — отличное место для начала.
Введение в различные алгоритмы обучения с подкреплением. Часть II (ТРПО, ППО) | Автор Kung-Hsiang, Huang (Steve)
В первой части этой серии Введение в различные алгоритмы обучения с подкреплением. Часть I (Q-Learning, SARSA, DQN, DDPG) , I рассказывала о некоторых основных концепциях обучения с подкреплением (RL), а также представляла несколько основных алгоритмов RL. В этой статье я продолжу обсуждение еще двух продвинутых алгоритмов RL, оба из которых были опубликованы только в прошлом году. В конце я собираюсь провести краткое сравнение каждого алгоритма, который я обсуждал.
Определение:
- Преимущество (A): A(s, a) = Q(s, a)- V(s)
Преимущество — это термин, который обычно используется в многочисленных продвинутых алгоритмах RL, таких как A3C , NAF и алгоритмы, которые я собираюсь обсудить (возможно, я напишу еще одну запись в блоге для этих двух алгоритмов).
Чтобы рассматривать его более интуитивно, подумайте о нем как о том, насколько хорошо действие по сравнению со средним действием для определенного состояния.
Но зачем нам преимущество? Разве Q-value недостаточно?
Я буду использовать пример, опубликованный на этом форуме, чтобы проиллюстрировать идею преимущества.
Вы когда-нибудь играли в игру под названием «Поймай»? В игре сверху экрана будут падать фрукты. Вам нужно переместить корзину вправо или влево, чтобы поймать их.
Catch (https://datascience.stackexchange.com/questions/15423/understanding-advantage-functions) На изображении выше показан эскиз игры. Круг вверху представляет собой фрукт, а маленький прямоугольник внизу — корзину. Есть три действия: а1, а2 и а3. Судя по всему, лучшее действие — a2, вообще не двигаясь, так как фрукт прямо упадет в корзину. Теперь предположим, что за какое-либо действие нет отрицательного вознаграждения. В этом случае у агента нет стимула выбирать оптимальное действие a2 в описанном выше сценарии.
Почему? Давайте используем Q*(s, a) для обозначения оптимального значения Q для состояния s и действия a. Тогда у нас будет:
Предположим, что коэффициент дисконтирования 𝛾 лишь немного меньше 1. Мы можем получить
(https://datascience.stackexchange.com/ вопросов/15423/понимание-преимущества-функций)Поскольку отрицательного вознаграждения нет, r(a3) и r(a1) больше или равны 0, подразумевая, что Q*(s, a3) и Q*(s, а2) не сильно отличаются. Таким образом, в этой ситуации у агента будет лишь небольшое предпочтение а2 перед а3.
Чтобы решить эту проблему, мы можем сравнить значение Q для каждого действия со средним из них, чтобы узнать, насколько хорошо действие по отношению друг к другу. Напомним из предыдущего блога, что среднее Q-значение состояния определяется как Значение (V). По сути, мы создаем новый оператор с именем преимущество , который определяется путем вычитания значения Q для каждого действия со значением этого состояния.
2.1 Оптимизация политики доверенного региона (TRPO)
Глубокий детерминированный градиент политики (DDPG), обсуждавшийся в последнем сообщении, был прорывом, который позволяет агенту выполнять действия в непрерывном пространстве, сохраняя при этом производительность снижения. Однако основная проблема DDPG заключается в том, что вам нужно выбрать размер шага, который попадает в правильный диапазон. Если он слишком мал, прогресс обучения будет крайне медленным. И наоборот, если он слишком велик, он имеет тенденцию подавляться шумом, что приводит к трагическому исполнению. Напомним, что целью расчета ошибки временной разницы (TD) является следующее:
Цель для ошибки TD (https://arxiv.org/pdf/1509.02971.pdf)Если размер шага выбран неправильно, цель yi , полученная из сетей или оценок функций, не будет хорошей, что приведет к даже худшая выборка и худшая оценка функции ценности.
Поэтому нам нужен способ обновления параметров, гарантирующий улучшение политики.
А именно, мы хотим, чтобы ожидаемое дисконтированное долгосрочное вознаграждение η всегда увеличивалось.
ПРЕДУПРЕЖДЕНИЕ: В этом разделе будет много математических уравнений и формул. Если вас это не устраивает, смело переходите к концу этого раздела.
Подобно DDPG, TRPO также относится к категории полиса градиента. Он принимает архитектуру актер-критик , но изменяет способ обновления параметров политики субъекта.
Для новой политики π’ η(π’) можно рассматривать как ожидаемую отдачу от политики π’ с точки зрения преимущества перед π, которая является старой политикой. (Поскольку я не могу найти π с кривой на клавиатуре, я буду использовать π’ в следующих абзацах)
η Для новой политики π’ (https://arxiv.org/pdf/1509.02971.pdf) Вы можете задаться вопросом, почему используется преимущество.
Интуитивно вы можете думать об этом как о измерении того, насколько хороша новая политика в отношении средней эффективности старой политики. η новой политики можно переписать в следующем виде, где ⍴ — это частот посещений со скидкой .
Однако приведенную выше формулу трудно оптимизировать, поскольку ⍴ сильно зависит от новой политики π’. Поэтому в статье введено приближение к η(π’), Lπ(π’):
Аппроксимация η (https://arxiv.org/pdf/1509.02971.pdf)Обратите внимание, что мы заменяем ⍴π на ⍴π’, предполагая, что частота посещений штата не слишком отличается для новой и старой политики. Это уравнение можно объединить с хорошо известным методом обновления политики:
.
CPI (https://arxiv.org/pdf/1509.02971.pdf) Здесь π_{old} — текущая политика, а π’ — аргумент max политики, которая максимизирует L_{πold}. Получим следующую теорему (обозначим ее теоремой 1). 9{max}_{KL} обозначает максимальное расхождение KL двух параметров для каждого состояния.
Концепция дивергенции KL возникла из теории информации, описывающей потерю информации. Проще говоря, вы можете увидеть, насколько различны эти два параметра, π и π’.
Приведенная выше формула подразумевает, что ожидаемое долгосрочное вознаграждение η монотонно улучшается до тех пор, пока член в правой части максимизируется. Почему? Определим правую часть неравенства как M_{i}.
(https://arxiv.org/pdf/1509.02971.pdf)Тогда мы можем доказать следующее неравенство.
(https://arxiv.org/pdf/1509.02971.pdf) Первую строку можно получить, просто подставив определение M_{i} в теорему 1. Вторая строка верна, поскольку KL-расхождение между π_{i} а π_{i} равно 0. Объединив первую и вторую строки, мы получим третью строку. Это показывает, что пока M_{i} максимизируется на каждой итерации, целевая функция η всегда улучшается. (Я думаю, что последний термин в конце третьей строки должен быть Mi вместо M. Не уверен, что это опечатка в статье). Поэтому сложная задача, которую мы сейчас пытаемся решить, сводится к максимизации Ми.
А именно,
Следующий график наглядно иллюстрирует приближение η с L:
Визуальная иллюстрация приближения (https://www.youtube. com/watch?v=xvRrgxcpaHY&t=363s)На практике, если в целевую функцию включен штрафной коэффициент, размер шага будет очень маленьким, что приведет к увеличению времени обучения. Следовательно, ограничение на расходимость KL используется, чтобы позволить больший размер шага, гарантируя устойчивую производительность.
Целевая функция 2 (https://arxiv.org/pdf/1509.02971.pdf)Ограничение дивергенции KL накладывается на каждое состояние в пространстве состояний, максимум которого должен быть меньше небольшого числа 𝜹. К сожалению, она неразрешима, так как существует бесконечно большое количество состояний. В документе предложено решение, которое обеспечивает эвристическое приближение с ожидаемым расхождением KL по состояниям, в отличие от нахождения максимального расхождения KL.
Дивергенция KL с частотой посещений штата ⍴ (https://arxiv.
org/pdf/1509.02971.pdf)Теперь, когда мы расширим первую строку, целевая функция станет следующей: над действиями с оценкой выборки важности, которая равна старой политике при использовании метода единого пути, мы можем переписать вышеприведенное как:
Окончательная целевая функция (https://arxiv.org/pdf/1509.02971.pdf) Цель Функция также называется «суррогатной» целевой функцией, поскольку она содержит отношение вероятностей между текущей политикой и следующей политикой. TPRO успешно решает проблему, связанную с DDPG, заключающуюся в том, что производительность не улучшается монотонно. Подмножество области находится в пределах ограничения, называемого доверительной областью. Пока изменение политики достаточно мало, аппроксимация не сильно отличается от истинной целевой функции. Путем выбора новых параметров политики, которые максимизируют ожидание с учетом ограничения дивергенции KL, гарантируется нижняя граница ожидаемого долгосрочного вознаграждения η. Это также означает, что вам не нужно слишком беспокоиться о размере шага с TRPO.
2.2 Проксимальная оптимизация политики (PPO, версия OpenAI)
Несмотря на то, что TRPO обеспечивает большую и стабильную высокую производительность, его вычисление и реализация чрезвычайно сложны. В TRPO ограничение, накладываемое на суррогатную целевую функцию, представляет собой расхождение KL между старой и новой политикой.
Информационная матрица Фишера, производная второго порядка дивергенции КЛ, используется для аппроксимации термина КЛ. Это приводит к вычислению нескольких матриц второго порядка, что требует большого объема вычислений. В статье TRPO алгоритм сопряженного градиента (CG) использовался для решения задачи оптимизации с ограничениями, поэтому информационная матрица Фишера не требует явного вычисления. Тем не менее, CG усложняет реализацию.
PPO избавляется от вычислений, созданных оптимизацией с ограничениями, поскольку предлагает усеченную суррогатную целевую функцию.
Пусть rt(𝜽) обозначает соотношение между новой и старой политикой.
Идея ограничения TRPO заключается в том, чтобы запретить слишком сильное изменение политики. Таким образом, вместо добавления ограничения PPO немного изменяет целевую функцию TRPO со штрафом за слишком большое обновление политики.
Обрезанная целевая функция (https://arxiv.org/pdf/1707.06347.pdf)Справа вы можете видеть, что отношение вероятностей rt(𝜽) обрезается между [1- 𝜖, 1+𝜖]. Это указывает на то, что если rt (𝜽) вызывает увеличение целевой функции до определенной степени, ее эффективность уменьшится (ограничится). Давайте обсудим два различных случая:
- Случай 1: Когда преимущество Ȃt больше 0
Если Ȃt больше 0, это означает, что действие лучше, чем среднее значение всех действий в этом состоянии.
Следовательно, действие следует поощрять, увеличивая rt(𝜽), чтобы у этого действия было больше шансов быть принятым. Поскольку знаменатель rt(𝜽) постоянен, старая политика, увеличивающая rt(𝜽), также подразумевает увеличение новой политики π𝜽(a, s). А именно, увеличить вероятность совершения этого действия в данном состоянии. Однако из-за клипа rt(𝜽) вырастет только до 1+𝜖.
- Случай 2: Когда преимущество Ȃt меньше 0
Напротив, если Ȃt меньше 0, то это действие не рекомендуется. В результате rt(𝜽) должно уменьшаться. Точно так же из-за клипа rt (𝜽) уменьшится всего лишь до 1-𝜖.
Иллюстрация клипа (https://arxiv.org/pdf/1707.06347.pdf) По сути, ограничивает диапазон, в котором новая политика может отличаться от старой; таким образом, устраняется стимул для отношения вероятностей rt (𝜽) выходить за пределы интервала. 9{CLIP} на самом деле является нижней границей первого. Это также снимает ограничение расхождения KL. Следовательно, вычисление для оптимизации этой целевой функции PPO намного меньше, чем вычисление TRPO.
Все обсуждаемые алгоритмы RL не содержат моделей. То есть ни один из них не пытается оценить целевую функцию. Вместо этого они обновляют свои знания методом проб и ошибок. Среди всех них только SARSA соответствует политике, ценность обучения основана на ее текущих действиях. DQN был огромным шагом вперед от дискретного пространства наблюдения к непрерывному, позволяя агенту обрабатывать невидимое состояние. DDPG стал еще одним прорывом, который позволяет агенту выполнять непрерывные действия с градиентом политик, расширяя применение RL для большего количества задач, таких как управление. TRPO улучшает производительность DDPG, поскольку вводит суррогатную целевую функцию и ограничение дивергенции KL, гарантируя неубывающее долгосрочное вознаграждение.
